Дистилляция модели
Платите меньше за каждый вызов, с моделью, которая принадлежит вам
Мы дистиллируем ваши дорогие LLM-вызовы в небольшую модель с открытыми весами, обученную на вашем собственном трафике и проверенную против модели, которой вы пользуетесь сейчас.
€2 900 за задачу, фиксированная цена. Вы платите, только если она не уступает вашей текущей модели на ваших собственных отложенных примерах.
Как это работает
1
Вы присылаете выборку реальных вызовов
Входные данные и ответы вашей текущей модели. Если есть только входные данные, мы разметим их вашей текущей моделью, если это допускают условия её провайдера, а если нет, то моделью с открытыми весами.
2
Мы обучаем небольшую модель и проверяем её
Мы обучаем небольшую модель с открытыми весами на вашей выборке, а затем сравниваем её с вашей текущей моделью на примерах, которых она не видела.
3
Вы видите цифры и принимаете решение
Письменный отчёт показывает качество и стоимость одного вызова рядом. Вы платите, только если она не уступает.
Подходит ли ваша задача?
Подходит
Повторяющаяся задача с большим объёмом:
- Классификация
- Извлечение данных
- Маршрутизация
- Суммаризация
- Структурированный вывод
Не подходит, и мы скажем об этом прямо
Если ваша задача из этого списка, мы скажем об этом сразу:
- Открытые рассуждения
- Задачи, которые меняются каждую неделю
- Небольшой объём, при котором экономия не покроет стоимость
Запускайте как удобно
Выбор за вами, когда модель подтвердит уровень.
Веса и готовая конфигурация
Вы получаете веса модели и готовую конфигурацию для развёртывания и запускаете её где угодно.
Мы размещаем её у себя
Мы обслуживаем её за вас, за отдельную ежемесячную плату в зависимости от вашего объёма.
Вопросы
- Что нужно от нас?
- Выборка реальных вызовов: входные данные и ответы, которые на них даёт ваша текущая модель. Если есть только входные данные, мы разметим их вашей текущей моделью, если это допускают условия её провайдера, а если нет, то моделью с открытыми весами.
- О каких моделях речь?
- С вашей стороны это модель, которую вы вызываете сейчас: мы работаем с её входами и выходами. С нашей стороны это небольшая модель с открытыми весами, обученная на вашей выборке. Вы забираете веса, или мы размещаем её у себя.
- Можно ли обучать модель на ответах моего текущего провайдера?
- Только если это допускают условия вашего провайдера. Некоторые провайдеры ограничивают обучение других моделей на своих ответах, поэтому до начала работы мы вместе с вами проверяем условия вашего провайдера. Если они это ограничивают, мы размечаем вашу выборку моделью с открытыми весами, а платить или нет, по-прежнему решает сравнение с вашей текущей моделью.
- Как решается, что модель «не уступает»?
- До начала работы мы письменно согласуем с вами, что считается «не уступает» для вашей задачи. Затем небольшая модель сравнивается с вашей текущей на ваших собственных отложенных примерах, которых она не видела при обучении. Если критерий не выполнен, вы не платите.
- Что будет с нашими данными?
- Они используются только для создания вашей модели и удаляются по завершении проекта.
Цена
€2 900 за задачу, фиксированная цена
Вы платите, только если небольшая модель не уступает вашей текущей модели на ваших собственных отложенных примерах.
Что считается «не уступает», мы письменно согласуем до начала работы.
Ваши данные используются только для вашей модели и удаляются по завершении проекта.
С чего начать
Расскажите о вызовах, которые хотите удешевить
Нескольких строк достаточно. Личный ответ в течение одного рабочего дня, от инженера, который и будет делать работу.