Sampling
temperature, top_p, top_k und optional ein Seed. Niedrige Temperatur passt zu Extraktion, Klassifikation und Code; höhere Werte passen zu Ideenfindung und kreativem Text.
Leitfaden KI-Inferenz
Modellinteraktion und APIs
Der Vertrag zwischen Anwendung und Modell: wie Anfragen geformt werden, wie Ausgaben in maschinell nutzbare Form gezwungen werden, wie Modelle Tools aufrufen, und welche API-Oberflächen das Ganze portabel halten.
Anatomie einer Anfrage
- Nachrichten und Rollen: Eine System-Nachricht setzt dauerhafte Anweisungen, Nutzernachrichten tragen die Eingabe, Assistant-Nachrichten tragen frühere Modellzüge. Das Modell sieht die gesamte übergebene Liste, nicht nur die letzte Frage.
- Vorlagen und Prefill: Anwendungen bauen Prompts aus Vorlagen mit dynamischen Feldern; den Beginn des Assistant-Zuges vorzubelegen steuert Format und Tonfall.
- Kontextverwaltung: Das Fenster ist endlich, deshalb werden lange Gespräche gekürzt oder zusammengefasst. Was Sie weglassen, verändert die Antwort; treffen Sie diese Regel bewusst.
- Auswirkung aufs Serving: Die Promptstruktur ist eine Performanceentscheidung. Stabile Inhalte (System-Prompt, Beispiele) nach vorn und veränderliche Inhalte ans Ende zu stellen ist das, was Prefix Caching wirksam macht; siehe Serving-Optimierung.
Die Prompting-Technik selbst (Zero-Shot, Few-Shot-Beispiele, Chain-of-Thought, Rollenrahmung) ist als Musterkatalog behandelt unter Patterns.
Inferenzparameter
Jede Anfrage trägt Stellschrauben, die die Ausgabeverteilung und den Ausgabevertrag umformen:
Länge und Abbruch
max_tokens begrenzt Generierung und Ausgaben; Stoppsequenzen beenden sie früher. Beides verändert die Ergebnisse, nicht nur die Kosten.
Formung und Introspektion
Repetition-, Presence- und Frequency-Penalties; logit_bias, um Tokens zu fördern oder zu sperren; logprobs für Konfidenzsignale; n oder best_of für mehrere Kandidaten.
Parameterunterstützung und genaue Semantik unterscheiden sich je nach Anbieter und Runtime. Wie diese Einstellungen mit Reproduzierbarkeit zusammenwirken, behandelt ausführlich Nichtdeterminismus.
Strukturierte Ausgaben
Pipelines brauchen JSON, keine Prosa. Zwei Familien von Techniken führen dorthin:
Validieren und wiederholen
Die Antwort gegen ein Schema parsen und bei Fehlschlag erneut prompten (das Instructor-Muster). Funktioniert mit jeder API, auch gehosteten, aber fehlgeschlagene Versuche kosten Latenz und Tokens.
Constrained Decoding
In jedem Schritt ungültige Tokens maskieren, sodass nur schemakonforme Ausgabe entstehen kann (Outlines, XGrammar, Guidance; in vLLM und SGLang eingebaut und von gehosteten Anbietern als JSON-Schema-Modus angeboten). Garantiert die Form, auch wenn eine syntaktisch gültige Antwort semantisch falsch sein kann.
Ein bloßer „JSON-Modus“ ohne Schema verspricht nur parsebares JSON, nicht Ihr JSON; bevorzugen Sie Schemadurchsetzung plus Wertprüfung auf Anwendungsebene.
Function Calling und MCP
Function Calling
Sie beschreiben verfügbare Tools (Name, Zweck, Parameterschema); das Modell gibt einen strukturierten Aufruf statt Prosa aus; Ihr Code führt ihn aus und liefert das Ergebnis als neue Nachricht zurück; das Modell arbeitet mit echten Daten weiter. Es ist Next-Token-Vorhersage in einem eingeschränkten Format, deshalb bestimmen Schemaqualität und Toolbeschreibungen die Zuverlässigkeit. In eine Schleife aus Planen, Ausführen und Bewerten gepackt, ist das der Mechanismus hinter Agenten; siehe agentische Patterns. Unterstützung und Qualität schwanken zwischen offenen Modellen; prüfen Sie es mit Ihrer Runtime.
Model Context Protocol
MCP standardisiert, wie Assistenten externe Systeme erreichen: Eine Host-Anwendung betreibt MCP-Clients, die sich mit MCP-Servern verbinden, von denen jeder Tools, Datenressourcen und Prompts über ein gemeinsames Protokoll bereitstellt, lokal oder entfernt. Statt maßgeschneiderter Integrationen je Anwendung und je Dienst wird jede Seite des Protokolls einmal geschrieben. Mehrere Server können gleichzeitig an einem Host hängen.
Kompatible API-Oberflächen
Selbst gehostete Engines und Gateways bilden die HTTP-APIs der großen Anbieter nach, sodass vorhandene SDKs allein durch Ändern der Basis-URL funktionieren. Genau das hält Anwendungen zwischen gehosteten und selbst gehosteten Backends portabel.
OpenAI-kompatibel
- Endpunkte für Chat Completions und Modellauflistung; Streaming über ein Stream-Flag
- Der De-facto-Standard: vLLM, SGLang und die meisten Gateways bedienen ihn
- Richten Sie das offizielle SDK per Basis-URL-Override auf Ihren Endpunkt; bei selbst gehosteten Servern ist der API-Schlüssel oft ein Platzhalter
Anthropic-kompatibel
- Endpunkt im Messages-Stil; Authentifizierung über x-api-key plus einen anthropic-version-Header
- Der System-Prompt ist ein Feld auf oberster Ebene, Tool-Nutzung kommt als typisierte Content-Blöcke an
- Fortgeschrittene Funktionen (Prompt Caching, Extended Thinking, Bild- und Dokumenteingabe) bilden offene Backends nur teilweise nach
Kompatibilität ist ein Spektrum, keine Garantie: Parameterabdeckung und Funktionsumfang unterscheiden sich je Backend, testen Sie also die Funktionen, auf die Sie sich verlassen, bevor Sie Endpunkte tauschen.