torch.compile の内部動作: Dynamo・AOT Autograd・Inductor の3段階と実践的な確認ポイント

torch.compile の一行で PyTorch モデルはどこまで高速化できるのか、その背後で何が起きるのかを解説します。コンパイルが有効な場合と効果が限定的な場合の違いを、コンパイルの3段階の処理と実践的な確認事項に沿って整理しています。

■ コンパイルの基本動作
- レイジーなコンパイルの流れと、初回呼び出しの入力情報によるコード特化
- 小さな演算のカーネル起動や中間データ移動がもたらすオーバーヘッド

■ 3つのコンパイル段階
- Dynamo: FX グラフへの計算のキャプチャと、再利用条件としてのガードの記録
- AOT Autograd: グラフの分解と、学習時のバックwardグラフの準備
- Inductor: ハードウェア向けコード生成、カーネルの融合、Triton・C++・最適化ライブラリの活用

■ 実践的な考慮点
- グラフブレークが最適化の範囲に与える影響と fullgraph オプションの使いどころ
- 入力変化による再コンパイル、動的形状サポート、コンパイル時間と定常実行時間の切り分け
- GPU 測定時の同期の取り方と、効果が出ない場合に確認すべき4つの質問

PyTorch でモデルを実運用や学習時に高速化を図る開発者向けの内容です。視聴後は、単にコンパイルしたかどうかではなく、キャプチャ範囲・グラフブレーク・再コンパイル・測定方法という観点から性能を評価し、次に確認すべき項目を選べるようになります。