Training
- Aktualisiert Gewichte per Backpropagation über Datenbatches
- Läuft Stunden bis Wochen auf Multi-Node-Clustern
- Werkzeuge wie PyTorch, JAX, DeepSpeed, Megatron
- Nur dann selbst sinnvoll, wenn kein vorhandenes Modell passt
Leitfaden KI-Inferenz
Grundlagen der Inferenz
Was zwischen Prompt und Antwort tatsächlich passiert: die Generierungsschleife, die beiden Phasen, die die Latenz bestimmen, die Hardware, auf der die Arbeit landet, und die Metriken, die sie beschreiben.
Training und Inferenz sind verschiedene Aufgaben
Training passt Modellgewichte über einen großen Datensatz an, in der Regel einmalig, auf einem großen Beschleunigercluster. Inferenz wendet die eingefrorenen Gewichte fortlaufend auf neue Eingaben an, für jede Anfrage, die Ihr Produkt bedient. Trainingskosten sind meist eine einmalige Investition; Inferenzkosten wachsen mit dem Traffic, weshalb die Serving-Effizienz über die Wirtschaftlichkeit eines KI-Produkts entscheidet.
Inferenz
- Gewichte bleiben fest; jede Anfrage ist ein Forward-Pass
- Latenz im Bereich von Millisekunden bis Sekunden, pro Anfrage
- Serving-Stacks wie vLLM, SGLang, TensorRT-LLM, LMDeploy
- Kosten skalieren mit dem Traffic und wachsen über die gesamte Produktlebensdauer
Eine verwandte Unterscheidung: Ein Inferenz-Framework führt das Modell effizient aus, während ein Inferenz-Server es mit Batching, Queueing, Streaming, Health Checks, Autoscaling und einer HTTP- oder gRPC-API umgibt. Produktive Systeme brauchen beides.
Wie ein Modell aus einem Prompt Text macht
- 1. TokenisierungDer Prompt wird in Tokens zerlegt und auf IDs eines festen Vokabulars abgebildet. Die Tokenzahl, nicht die Zeichenzahl, bestimmt Kosten und Kontextgrenzen.
- 2. EmbeddingToken-IDs werden zu Vektoren; Positionsinformation (zum Beispiel Rotary Embeddings) sagt dem Modell, wo jedes Token in der Sequenz steht.
- 3. PrefillDer gesamte Prompt wird in einem parallelen Durchlauf durch die Transformer-Schichten verarbeitet. Self-Attention vergleicht jedes Token mit allen früheren Tokens; eine kausale Maske verhindert, dass Tokens sehen, was nach ihnen kommt. Diese Phase ist rechenlimitiert und bestimmt die Zeit bis zum ersten Token.
- 4. DecodeTokens werden einzeln erzeugt. Jeder Schritt liest die Modellgewichte und den zwischengespeicherten Attention-Zustand, daher ist diese Phase speicherbandbreitenlimitiert und bestimmt die Latenz zwischen Tokens.
- 5. KV-CacheAttention-Keys und -Values früherer Tokens werden zwischengespeichert, sodass jedes neue Token nur auf gespeicherten Zustand zugreift, statt die gesamte Sequenz neu zu berechnen. Der Cache wächst linear mit der Kontextlänge und konkurriert mit den Gewichten um GPU-Speicher.
- 6. Sampling und StreamingDas nächste Token wird aus der Wahrscheinlichkeitsverteilung gewählt (Greedy, Temperature, Top-k, Top-p), angehängt und meist an den Client gestreamt, bis eine Abbruchbedingung oder das Tokenlimit erreicht ist.
Die Aufteilung in Prefill und Decode erklärt das meiste Serving-Verhalten: Lange Prompts verschlechtern die Zeit bis zum ersten Token, lange Ausgaben die Gesamtlatenz, und fast jede Optimierung auf der Seite Serving-Optimierung zielt auf eine der beiden Phasen. Die Token-für-Token-Generierung ist das dominierende Paradigma, aber nicht das einzige: Diffusionsbasierte Sprachmodelle erzeugen stattdessen ganze Passagen durch iterative Verfeinerung, eine aktive Forschungsrichtung mit anderem Latenzverhalten.
Wo Inferenz läuft
CPU
Universell, überall verfügbar, begrenzter paralleler Durchsatz. Tragfähig für kleine oder stark quantisierte Modelle, Prototypen und Edge-Geräte ohne Beschleuniger.
GPU
Der Standard für LLM-Serving: Tausende paralleler Kerne und High Bandwidth Memory (HBM), passend zu den Matrixmultiplikationen, die den Workload dominieren. Ökosysteme: CUDA, ROCm.
TPU und andere ASICs
Speziell gebaute Tensorbeschleuniger (zum Beispiel TPUs mit XLA/JAX) können in großem Maßstab effizient sein, zum Preis eines engeren Software-Ökosystems und einer Bindung an den Anbieter.
Auswahlkriterien sind Modellgröße, Anfragevolumen, Latenzziele, Kosten und die Infrastruktur, die Sie bereits betreiben. Ausführung im Browser, am Edge und auf Mobilgeräten behandeln Web-Inferenz und Edge und Mobile.
Die Metriken, die einen Inferenzdienst beschreiben
| Metrik | Bedeutung | Wann sie am meisten zählt |
|---|---|---|
| TTFT | Zeit bis zum ersten Token, dominiert von Queueing plus Prefill | Chat und jede interaktive Oberfläche |
| ITL / TPOT | Latenz zwischen Tokens; die Zeit pro Ausgabetoken mittelt sie über die Antwort | Wahrgenommene Streaming-Geschwindigkeit |
| E2EL | Ende-zu-Ende-Latenz einer Anfrage; TPOT ist etwa (E2EL - TTFT) / (Ausgabetokens - 1) | Batch-Schritte und Ketten von Tool-Aufrufen |
| TPS / RPS | Ausgabetokens pro Sekunde und Anfragen pro Sekunde bei gegebener Nebenläufigkeit | Kapazitäts- und Kostenplanung |
| Goodput | Nur die Anfragen, die ihr Latenzziel erreicht haben | Produktive Dienste mit SLO-Bindung |
- Berichten Sie Median und Randwerte (P95/P99); Mittelwerte verbergen die langsamen Anfragen, an die sich Nutzende erinnern.
- Latenz und Durchsatz gehen gegeneinander, und die Batchgröße ist der wichtigste Hebel dazwischen.
- Nennen Sie zu jeder Zahl Modell, Hardware, Sequenzlängen und Nebenläufigkeit; ohne den Workload sind Metriken bedeutungslos.