NVIDIA / CUDA
パッケージを入れる前に、フレームワークが求めるCUDA、ドライバー、Compute Capability、精度、任意カーネルの条件を確認します。
PyTorchのインストール選択ツールファインチューニングガイド
ローカル環境でのファインチューニング
対象のモデルと学習レシピを、自分のハードウェアで検証します。パラメータ数からVRAMを引く汎用の表は当てになりません。系列長、精度、オプティマイザの状態、活性化、アダプター、Attentionカーネル、バッチ処理のすべてが結果を変えるためです。
対応している構成を選ぶ
AMD / ROCm
OS、GPU、ROCmのリリース、フレームワークの対応表を確認します。CUDA専用の量子化ライブラリやカーネルに同等の経路があるとは考えないでください。
ROCmのインストール手順Apple silicon
MLXを使うワークフローはユニファイドメモリと別のツールチェーンを使います。採用を決める前に、対象のモデルアーキテクチャと書き出し経路を確認してください。
MLX LM リポジトリ長時間の学習を始める前の確認
- 1.ドライバー、ランタイム、コンパイラ、フレームワーク、アクセラレータが相互に対応していることを確認します。
- 2.必要なチェックポイントのリビジョンだけを取得し、空き容量を確認します。
- 3.整形済みの例をいくつか使い、トークン化と損失マスクを確認します。
- 4.順伝播と逆伝播を1ステップ実行し、デバイスとホストのピークメモリを記録します。
- 5.ごく小さなサンプルで過学習させ、壊れたラベル、テンプレート、オプティマイザ設定を洗い出します。
- 6.データセットを広げる前に、チェックポイントの保存、再開、読み込み、生成を確認します。
- 7.最初の数ステップだけでなく、発熱と持続的なスループットを計測します。
- 8.チェックポイント、ログ、評価、再試行のために、ディスクと時間の余裕を確保します。
メモリとスループットの調整手段
メモリを減らす
- • より小さいチェックポイントかアダプター系の手法を使う
- • 系列長かマイクロバッチサイズを下げる
- • 対応している混合精度と勾配チェックポイントを有効にする
- • 速度低下を計測したうえで、オプティマイザや状態のオフロードを検討する
稼働率を上げる
- • データ読み込みとサンプル長の分布をプロファイルする
- • パッキングは正しいマスクと対応するAttentionがある場合にだけ使う
- • 正しさを確認してからバッチや勾配累積を増やす
- • 実機のGPUで任意カーネルをベンチマークする
再現性を保つ
- • パッケージとモデルのリビジョンを固定する
- • 設定一式と乱数シードを記録する
- • その場限りのフォルダーをコピーせず、データのマニフェストを版管理する
- • ハードウェア、ドライバー、環境の詳細を記録する
ローカルであることは、そのまま機密性を意味しない
- 利用の前に、モデルのダウンロード条件とデータセットの権利を確認します。
- 生データ、キャッシュ、ログ、チェックポイント、書き出したアダプターへのアクセスを制限します。
- 学習データと成果物を、機密情報と個人データについて走査します。
- バックアップを暗号化し、削除と保存期間の手順を定めます。