まずプロンプト
挙動を明確に表現でき、追加した文脈がレイテンシと費用の制約に収まるうちは、プロンプトやfew-shotの例を使います。
ファインチューニングガイド
ファインチューニング チートシート
統制された実験のための、フレームワークに依存しないチェックリストです。ハイパーパラメータと必要メモリは、モデル、データ、学習目的、ハードウェアの組み合わせで変わります。値は、その組み合わせについて保守されているレシピからのみ引用し、パイロットで検証してください。
検索するかツールを呼ぶ
変化する知識、非公開の知識、出典が必要な知識には検索を、計算、操作、システムの正となる状態にはツールを使います。
ファインチューニングは意図的に
繰り返し現れる挙動については、代表的な事例、封をしたテストセット、超えるべき計測済みのベースラインがそろってから学習します。
データの取り決め
学習の前に
- • 許可された取得元、ライセンス、同意、保存期間、削除方法を定める
- • 実際の入力分布、言語、書式、境界事例に合わせる
- • 機密情報、不要な個人データ、重複、壊れた例を取り除く
- • ラベル方針と判断の不一致は隠さず検討する
- • 学習用、検証用、テスト用の各セットをまたいで重複を除く
テストセットは封をしたままにする
- • 成功、失敗、境界、安全性、分布外の事例
- • 重要な利用者、言語、コンテンツ種別ごとのスライスラベル
- • 文書化した採点基準と裁定の手順
- • テスト出力から生成した例や、テスト出力に合わせて調整した例を入れない
- • 比較の意味が保たれるよう、リビジョンを版管理する
調整する対象と観察する対象
| 調整項目 | 重要な理由 | 確認するシグナル |
|---|---|---|
| 学習率 | 更新の大きさを決める | 不安定さ、学習の遅さ、検証時の品質 |
| 学習の長さ | 例に触れる回数を左右する | ホールドアウトの頭打ちと退行の増加 |
| 実効バッチ | 勾配ノイズとスループットを変える | 毎秒ステップ数、メモリ、収束 |
| 系列長 | メモリと学習時の分布に強く影響する | 切り詰め、パディングの無駄、長文入力の品質 |
| LoRAのランクと対象モジュール | アダプターの容量と配置を決める | 学習可能パラメータ数、タスク品質、過学習 |
| 精度と量子化 | メモリ、互換性、数値挙動のトレードオフ | NaN、速度、メモリ、書き出したモデルの品質 |
実験の記録
- ベースチェックポイント
- リポジトリ、正確なリビジョン、トークナイザー、チャットテンプレート、ライセンス確認
- データ
- 変更不可のマニフェスト、来歴、フィルタリング、重複除去、分割、権利関係
- 学習目的
- SFT、選好最適化、強化学習の目的関数と損失マスク
- 更新手法
- フルチューニング、LoRA、QLoRAと、対象モジュールおよびアダプター設定
- 最適化
- 学習率、スケジュール、実効バッチ、ステップ数、精度、乱数シード
- 実行環境
- コードのリビジョン、依存のロック、コンテナ、ドライバー、アクセラレータ、トポロジー
- 評価
- ホールドアウトのリビジョン、採点基準、スライス指標、安全性テスト一式、基礎能力の退行テスト一式
- 成果物
- チェックポイントのハッシュ、アダプターまたはマージの方式、サービング用テンプレート、ロールバック先
リリース判定
- 封をしたホールドアウトで、学習済み候補が必要なベースラインをすべて上回っている。
- スライス別の結果が文書化した閾値を満たし、サンプル数も示されている。
- 基礎能力、安全性、プライバシー、悪用に関する試験が退行の許容範囲に収まっている。
- サービングでは、オフラインで検証したものと同じトークナイザーとテンプレートを使う。
- レイテンシ、スループット、メモリ、総費用を本番同等の環境で計測している。
- カナリア、監視の担当者、アラート閾値、ロールバック用の成果物が用意されている。
学習を止める条件
損失が有限でなくなる、または勾配が不安定なまま続く。
学習損失は下がっているのに、検証時の品質が悪化する。
データやライセンスの確認で、未解決の問題が見つかる。
チェックポイントを再現可能な形で読み込み、評価し、再開できない。
安全性やプライバシーの確認が、合意した閾値を超える。
パイロットの結果から見て、配備時の費用やレイテンシの目標に届く見込みがない。