モデル蒸留
自社で持てるモデルで、呼び出し1回あたりのコストを下げる
高コストなLLM呼び出しを、自社のトラフィックで学習し、いま使っているモデルと比較検証した小型のオープンウェイトモデルへ蒸留します。
1タスク€2,900・固定価格。手元に残しておいた自社の評価用データで現行モデルと同等だった場合のみお支払いいただきます。
進め方
1
実際の呼び出しのサンプルを送る
入力と、現行モデルが返した出力のセットです。入力しかない場合は、提供元の利用規約が認めていれば現行モデルで、認めていなければオープンウェイトモデルで、こちらでラベル付けします。
2
小型モデルを学習し、検証する
サンプルで小型のオープンウェイトモデルを学習し、学習に使っていない例で現行モデルと比較します。
3
数字を見てから判断する
品質と呼び出し1回あたりのコストを並べた文書レポートをお渡しします。同等だった場合のみお支払いいただきます。
向いているタスクか
向いているもの
大量に繰り返し実行するタスク:
- 分類
- 情報抽出
- ルーティング
- 要約
- 構造化出力
向いていないもの(はっきりお伝えします)
次のような場合は、最初にそうお伝えします:
- 自由度の高い推論
- 毎週内容が変わるタスク
- 件数が少なく、削減額が費用に見合わない場合
運用方法は選べます
モデルが同等と確認できたら、お好きな方をお選びください。
重みと配信設定一式
モデルの重みと、すぐ使える配信設定をお渡しします。どこででも動かせます。
こちらでホスティング
こちらで運用します。料金は利用量に応じた月額で、別途となります。
よくある質問
- 何を用意すればよいですか
- 実際の呼び出しのサンプルです。入力と、それに対して現行モデルが返した出力をご用意ください。入力しかない場合は、提供元の利用規約が認めていれば現行モデルで、認めていなければオープンウェイトモデルで、こちらでラベル付けします。
- 対象となるモデルは
- 御社側は、いま呼び出しているモデルです。その入力と出力をもとに作業します。こちらからお渡しするのは、サンプルで学習した小型のオープンウェイトモデルです。重みを受け取るか、こちらでホスティングするかを選べます。
- 現在のモデル提供元の出力で学習できますか
- 提供元の利用規約が認めている場合に限ります。自社モデルの出力を他のモデルの学習に使うことを制限している提供元もあるため、作業開始前に御社と一緒に利用規約を確認します。制限されている場合は、代わりにオープンウェイトモデルでサンプルにラベル付けします。その場合も、お支払いが必要かどうかは現行モデルとの比較で決まります。
- 「同等」はどう判断しますか
- 作業開始前に、御社のタスクで何をもって「同等」とするかを書面で合意します。そのうえで、学習に一度も使っていない自社の評価用データで、小型モデルを現行モデルと比較します。基準を満たさなければ、お支払いは不要です。
- データはどう扱われますか
- 御社のモデルを作るためだけに使い、プロジェクト終了時に削除します。
料金
€2,900 1タスクあたり・固定価格
手元に残しておいた自社の評価用データで、小型モデルが現行モデルと同等だった場合にのみお支払いいただきます。
何をもって「同等」とするかは、作業開始前に書面で合意します。
お預かりしたデータは御社のモデルのためだけに使い、プロジェクト終了時に削除します。
まずはここから
コストを下げたい呼び出しについて教えてください
数行で十分です。実際に担当するエンジニア本人から、1営業日以内に返信します。