モデルの準備

量子化：精度を下げ、すべてを小さくする

量子化は数値をより少ないビット数で保存します。1パラメータはFP32で4バイト、FP16/BF16で2バイト、FP8/INT8で1バイト、INT4で0.5バイトなので、7Bモデルは精度が下がるにつれて約28 GBから14、7、3.5 GBへと縮みます。利点は3つです。購入するメモリが減ること、トークンあたりに動かすデータが減ること（decodeは帯域律速です）、そして低精度をネイティブに扱えるハードウェアでは演算自体が速くなることです。

代償は精度です。8ビットでは通常わずかですが、小さいモデルや難しいタスクほど早く目立ちます。perplexityだけで量子化ビルドを採用してはいけません。自分の評価セットでフル精度のベースラインと比較してください。

蒸留：大きなモデルから小さなモデルを育てる

蒸留は、より大きな教師モデルを模倣するように小型の生徒モデルを学習させ、能力をより安価な成果物へ移す手法です。同じモデルを圧縮する量子化とは異なり、蒸留はレイテンシ、メモリ、リクエストあたりコストのいずれも小さい、実際に別の小型モデルを生み出します。

• 学習信号：生徒は最終的な答えだけでなく、教師の出力分布全体（ソフトラベル）から学べます。学習では通常、模倣損失と通常の交差エントロピーを組み合わせます。
• 手法の種類：最終応答を合わせる、中間表現を合わせる、あるいは教師の推論過程を学習させて段階的な振る舞いを継承させる、といった選択肢があります。
• 効果が大きい場面：範囲が明確なタスクで、リクエストごとに大きなモデルを使うのが過剰な場合です。蒸留された小型モデルは、推論能力を実運用可能なサイズに収める手段でもあります。
• 注意点：実際の計算コストがかかる学習プロジェクトであること、生徒がすべての面で教師に並ぶわけではないこと、教師のライセンス条項がその出力での学習を制限する場合があることです。

ファインチューニング：モデルの振る舞いを変える

ファインチューニングは、既存モデルの学習を自分の例データで継続する手法です。ドメイン特有の言い回し、出力形式、トーン、あるいはプロンプトでは安定して得られないタスク挙動を対象にします。プロンプト、few-shotの例、検索を試したうえで検討し、効果を証明できるよう学習前に評価セットを用意してください。

当サイトには、手法、フレームワーク、ローカル学習とクラウド学習の選択を詳しく扱う専用ハブがあります。ファインチューニングをご覧ください。

どのレバーをいつ使うか