KVキャッシュのメモリ階層とアクセラレータ別のデータ移動の仕組みを解説

トークンを一語ずつ生成するたびに、モデルは会話全体を振り返る必要があり、その再計算を避けるための仕組みがKVキャッシュです。容量の大きい遅いメモリと、高速だが小さいローカルメモリの間で、必要なデータをどう移動させるかが効率を左右します。本編では、この問題をGPU・TPU・IBM Spyreの3つのアーキテクチャで比較し、データ移動を誰が制御するかを整理します。

■ KVキャッシュの基礎
- トークン生成と注意機構における履歴の再利用
- キーと値を保持し、コンテキストの増加に伴うメモリ使用量の変化
- 大容量メモリと高速なローカルメモリの特性と、その間のデータ移動の問題

■ アクセラレータ別のオーケストレーション
- GPU: HBMとオンチップメモリ、サービングランタイムとカーネルの役割、vLLMのブロック割当方式
- TPU: HBMとVMEM、コンパイラによるタイリングとパイプラインの設計
- IBM Spyre: LPDDR5とSRAMスクラッチパッド、コンパイル時にロード・ストアを明示的に管理する方式

■ 共通する論点
- 同じKVキャッシュでも、メモリ階層と制御層が異なると生成時の挙動が変わる点

LLMの推論効率に関心を持つエンジニアや、アクセラレータの選定・比較を行う方向けです。視聴後は、演算性能だけでなくメモリ状態の移動方法に注目してハードウェアを評価できるようになります。