Modell-Destillation
Weniger pro Aufruf zahlen, mit einem Modell, das Ihnen gehört
Wir destillieren Ihre teuren LLM-Aufrufe in ein kleines Open-Weight-Modell, trainiert auf Ihrem eigenen Traffic und getestet gegen das Modell, das Sie heute nutzen.
2.900 € pro Aufgabe, Festpreis. Sie zahlen nur, wenn es auf Ihren eigenen zurückgehaltenen Beispielen mit Ihrem aktuellen Modell mithält.
So funktioniert es
1
Sie schicken eine Stichprobe echter Aufrufe
Eingaben plus die Ausgaben Ihres aktuellen Modells. Haben Sie nur die Eingaben, beschriften wir sie mit Ihrem aktuellen Modell, sofern die Bedingungen seines Anbieters das erlauben, sonst mit einem Open-Weight-Modell.
2
Wir trainieren ein kleines Modell und testen es
Wir trainieren ein kleines Open-Weight-Modell auf Ihrer Stichprobe und testen es dann gegen Ihr aktuelles Modell, auf Beispielen, die es nie gesehen hat.
3
Sie sehen die Zahlen, dann entscheiden Sie
Ein schriftlicher Bericht stellt Qualität und Kosten pro Aufruf nebeneinander. Sie zahlen nur, wenn es mithält.
Passt Ihre Aufgabe?
Passt gut
Eine wiederkehrende Aufgabe mit Volumen:
- Klassifikation
- Extraktion
- Routing
- Zusammenfassung
- Strukturierte Ausgabe
Passt nicht, und das sagen wir Ihnen
Gehört Ihre Aufgabe dazu, sagen wir es Ihnen offen:
- Offenes Schlussfolgern
- Aufgaben, die sich jede Woche ändern
- Geringes Volumen, bei dem die Ersparnis die Gebühr nicht deckt
Betrieb nach Ihrer Wahl
Sie entscheiden, sobald das Modell mithält.
Gewichte und eine Serving-Konfiguration
Sie bekommen die Modellgewichte plus eine fertige Serving-Konfiguration und betreiben es, wo Sie wollen.
Wir hosten es
Wir betreiben es für Sie, gegen eine separate monatliche Gebühr nach Ihrem Volumen.
Fragen
- Was brauchen Sie von uns?
- Eine Stichprobe echter Aufrufe: die Eingaben und die Ausgaben, die Ihr aktuelles Modell dazu liefert. Haben Sie nur die Eingaben, beschriften wir sie mit Ihrem aktuellen Modell, sofern die Bedingungen seines Anbieters das erlauben, sonst mit einem Open-Weight-Modell.
- Um welche Modelle geht es?
- Auf Ihrer Seite um das Modell, das Sie heute aufrufen: Wir arbeiten mit seinen Ein- und Ausgaben. Auf unserer um ein kleines Open-Weight-Modell, trainiert auf Ihrer Stichprobe. Sie übernehmen die Gewichte, oder wir hosten es für Sie.
- Können Sie mit den Ausgaben meines aktuellen Anbieters trainieren?
- Nur, wenn die Bedingungen Ihres Anbieters das erlauben. Manche Anbieter schränken ein, dass mit ihren Ausgaben andere Modelle trainiert werden, deshalb prüfen wir die Bedingungen Ihres Anbieters vor Beginn gemeinsam mit Ihnen. Wo sie das einschränken, beschriften wir Ihre Stichprobe stattdessen mit einem Open-Weight-Modell, und ob Sie zahlen, entscheidet weiterhin der Vergleich mit Ihrem aktuellen Modell.
- Wie wird entschieden, ob es „mithält“?
- Vor Arbeitsbeginn vereinbaren wir mit Ihnen schriftlich, was für Ihre Aufgabe als „hält mit“ gilt. Dann wird das kleine Modell gegen Ihr aktuelles Modell getestet, auf Ihren eigenen zurückgehaltenen Beispielen, die es im Training nie gesehen hat. Erfüllt es dieses Kriterium nicht, zahlen Sie nicht.
- Was passiert mit unseren Daten?
- Sie werden nur für den Bau Ihres Modells verwendet und zum Projektende gelöscht.
Preis
2.900 € pro Aufgabe, Festpreis
Sie zahlen nur, wenn das kleine Modell auf Ihren eigenen zurückgehaltenen Beispielen mit Ihrem aktuellen Modell mithält.
Was als „hält mit“ gilt, wird vor Arbeitsbeginn schriftlich vereinbart.
Ihre Daten werden nur für Ihr Modell verwendet und zum Projektende gelöscht.
Hier starten
Erzählen Sie uns von den Aufrufen, die günstiger werden sollen
Ein paar Zeilen genügen. Sie bekommen innerhalb eines Werktags eine persönliche Antwort, von dem Ingenieur, der die Arbeit machen würde.