大きなAIモデルの知識を小さなモデルへ移す「モデル蒸留」の仕組みを解説

スマホやノートPCなど、限られた計算資源でも高度なAIを使えるようにする手法の一つがモデル蒸留です。大型モデル（教師）が学んだ知識を小型モデル（生徒）へ移し替えることで、高速・低コストかつ実用的な性能を引き出す基本的な考え方と、その学習プロセスを段階的に解説します。

■ 蒸留の基礎
- モデルの「小ささ」とはパラメータ数の話
- 教師モデルと生徒モデルという役割分担
- パラメータが少ないことで得られる利点

■ 学習の仕組み
- LLMがトークンごとに確率分布を出力する仕組み
- 教師モデルは正解ラベル（ハードラベル）で学習する
- 生徒モデルは教師の出力（ソフトラベル）を学習する

■ ソフトラベルの価値と全体像
- 「ダークナレッジ」と呼ばれる、候補間の関係性の情報
- ソフトラベルで学習する場合とハードラベルのみの場合の違い
- 性能と効率のトレードオフ、能力と軽量さのバランス

ソフトラベルは「何が正解か」だけでなく「どの候補が近いのか」まで含むため、生徒モデルは教師の理解の形を効率よく吸収できます。AIモデルの軽量化や蒸留の基本原理を、具体例を交えて整理したい方、効率化の方向性を理解したい方向けです。視聴後は、蒸留で何が得られ、どのような場面で使われるのかを自分なりに説明できるようになります。