模型蒸馏
每次调用花得更少,模型归你所有
我们把你昂贵的 LLM 调用蒸馏成一个小型开放权重模型:用你自己的流量训练,并与你现在使用的模型对比测试。
每个任务 €2,900,固定价格。只有在你自己预留的测试样例上达到当前模型的水平,你才需要付款。
如何进行
1
你发来一批真实调用样本
包括输入,以及你当前模型给出的输出。如果只有输入,在其提供方条款允许时我们用你当前的模型来标注,不允许时改用开放权重模型标注。
2
我们训练并测试一个小模型
我们用你的样本训练一个小型开放权重模型,再在它从未见过的样例上与你当前的模型对比测试。
3
看到数据,再做决定
书面报告把质量和每次调用成本并排列出。只有达到水平,你才付款。
你的任务适合吗?
适合
大量重复执行的任务:
- 分类
- 信息抽取
- 路由
- 摘要
- 结构化输出
不适合,我们会直说
如果你的任务属于以下情况,我们会直接告诉你:
- 开放式推理
- 每周都在变的任务
- 调用量小,省下的钱抵不上费用
按你的方式运行
模型达到水平后,由你选择。
模型权重加部署配置
你拿到模型权重和一份现成的部署配置,可以在任何地方运行。
由我们托管
我们替你运行,按你的调用量另收月费。
常见问题
- 你们需要我们提供什么?
- 一批真实调用样本:输入,以及你当前模型对这些输入给出的输出。如果只有输入,在其提供方条款允许时我们用你当前的模型来标注,不允许时改用开放权重模型标注。
- 涉及哪些模型?
- 你这边,是你现在调用的模型:我们依据它的输入和输出来工作。我们这边,是用你的样本训练的小型开放权重模型。你可以拿走权重,也可以交给我们托管。
- 你们能用我当前模型提供方的输出来训练吗?
- 仅在提供方条款允许的情况下。有些提供方限制用其输出训练其他模型,所以开工前我们会和你一起核对提供方的条款。如果条款有限制,我们会改用开放权重模型来标注你的样本,是否付款仍然取决于与你当前模型的对比结果。
- “达到水平”怎么判定?
- 开工前,我们会和你以书面形式约定:对你的任务来说,什么算达到水平。然后在你自己预留、训练中从未见过的样例上,把小模型和你当前的模型对比测试。达不到这个标准,你就不用付款。
- 我们的数据会怎样处理?
- 只用于构建你的模型,项目结束时删除。
价格
€2,900 每个任务,固定价格
只有当小模型在你自己预留的测试样例上达到你当前模型的水平时,你才需要付款。
什么算“达到水平”,在开工前以书面形式约定。
你的数据只用于你的模型,项目结束时删除。
从这里开始
说说你想降低成本的那些调用
几行字就够了。将由实际承接工作的工程师本人,在一个工作日内回复你。