Was quantisiert wird
Zuerst die Gewichte; Aktivierungen und der KV-Cache können folgen. Jedes weitere Ziel spart mehr Speicher und setzt mehr Qualität aufs Spiel, deshalb sind es getrennte Entscheidungen.
Leitfaden KI-Inferenz
Modellvorbereitung
Die Arbeit am Modell, bevor es Traffic bedient. Drei Hebel verändern, was ein Deployment kostet und wie es sich verhält: die Zahlen verkleinern (Quantisierung), das Modell verkleinern (Distillation) oder das Verhalten ändern (Fine-Tuning).
Quantisierung: weniger Präzision, alles kleiner
Quantisierung speichert Zahlen in weniger Bits. Da ein Parameter bei FP32 4 Byte kostet, bei FP16/BF16 2, bei FP8/INT8 1 und bei INT4 ein halbes Byte, schrumpft ein 7B-Modell mit sinkender Präzision von etwa 28 GB auf 14, 7 und 3,5 GB. Der Gewinn ist dreifach: weniger Speicher zu kaufen, weniger Daten pro Token zu bewegen (Decode ist bandbreitenlimitiert) und schnellere Arithmetik auf Hardware mit nativer Unterstützung niedriger Präzision.
Benannte Verfahren
Post-Training-Verfahren dominieren das Serving: GPTQ (schichtweise Fehlerminimierung), AWQ (schützt den kleinen Anteil der wichtigsten Gewichte), SmoothQuant (verlagert die Schwierigkeit von Aktivierungen zu Gewichten für W8A8). Quantisierungsbewusstes Training gibt es, ist bei LLMs aber selten.
In der Praxis
Die meisten Teams laden vorquantisierte Checkpoints herunter (Hub-Releases, GGUF-Stufen Q4/Q5/Q8 für lokale Runtimes), statt selbst zu quantisieren. Prüfen Sie, ob Ihre GPU-Generation die Zielpräzision nativ unterstützt, sonst verpufft der Geschwindigkeitsvorteil.
Der Preis ist Genauigkeit: bei 8 Bit meist gering, bei kleineren Modellen und schwierigeren Aufgaben früher spürbar. Akzeptieren Sie einen quantisierten Build nie allein aufgrund der Perplexität; prüfen Sie ihn mit Ihrem eigenen Evaluierungsset gegen die Vollpräzisionsbasis.
Distillation: ein kleineres Modell an einem größeren trainieren
Distillation trainiert ein kompaktes Schülermodell darauf, ein größeres Lehrermodell nachzuahmen, und überträgt so Fähigkeit in ein günstigeres Artefakt. Anders als Quantisierung, die dasselbe Modell komprimiert, entsteht bei der Distillation ein tatsächlich anderes, kleineres Modell mit geringerer Latenz, weniger Speicherbedarf und niedrigeren Kosten pro Anfrage.
- Signal: Der Schüler kann aus der vollen Ausgabeverteilung des Lehrers lernen (Soft Labels) statt nur aus den Endantworten, und das Training mischt üblicherweise Imitationsverlust mit gewöhnlicher Kreuzentropie.
- Varianten: Endantworten nachbilden, Zwischenrepräsentationen nachbilden oder auf den Reasoning-Spuren des Lehrers trainieren, damit der Schüler schrittweises Verhalten übernimmt.
- Wo sie glänzt: bei einer klar umrissenen Aufgabe, für die ein großes Modell pro Anfrage überdimensioniert ist; über destillierte kleine Modelle erreicht auch Reasoning-Fähigkeit einsetzbare Größen.
- Vorbehalte: Es ist ein Trainingsprojekt mit realen Rechenkosten, der Schüler wird den Lehrer nicht überall erreichen, und die Lizenz des Lehrers kann Training auf seinen Ausgaben einschränken.
Fine-Tuning: ändern, was das Modell tut
Fine-Tuning setzt das Training eines vorhandenen Modells mit Ihren eigenen Beispielen fort: Fachsprache, Ausgabeformate, Tonfall oder Aufgabenverhalten, das sich durch Prompting nicht zuverlässig erzeugen lässt. Greifen Sie erst dazu, wenn Prompting, Few-Shot-Beispiele und Retrieval versucht wurden, und bauen Sie das Evaluierungsset vor dem Training auf, damit Sie den Nutzen belegen können.
Methoden
- Vollständiges Fine-Tuning aktualisiert jedes Gewicht: stärkste Verschiebung, höchster VRAM-Bedarf und höchste Kosten
- LoRA trainiert kleine Adaptermatrizen auf eingefrorenen Gewichten; QLoRA tut dies auf einer quantisierten Basis und erreicht damit Consumer-GPUs
- Adapter lassen sich in die Gewichte einbinden oder zur Serving-Zeit pro Anfrage laden, sodass ein Basismodell viele Verhaltensweisen tragen kann
- Daten schlagen Menge: einige tausend saubere, gut annotierte Beispiele übertreffen verrauschte Masse
Werkzeuge
- Axolotl: konfigurationsgetriebene Trainingsrezepte
- Unsloth: speicher- und geschwindigkeitsoptimierte Kernel für Tuning auf einer GPU
- Torchtune: PyTorch-native Fine-Tuning-Bibliothek
- LLaMA Factory: breite Modellunterstützung mit Oberfläche
- Gehostetes Fine-Tuning tauscht Bequemlichkeit gegen Bindung an den Lebenszyklus des Anbieters
Diese Website hat einen eigenen Hub, der Techniken, Frameworks und lokale gegenüber Cloud-Trainingswegen ausführlich behandelt: siehe Fine-Tuning.
Welcher Hebel, wann
| Symptom | Passender Hebel |
|---|---|
| Das Modell passt nicht auf die GPU, oder die Serving-Kosten sind bei akzeptabler Qualität zu hoch | Zuerst Quantisierung; günstig auszuprobieren und umkehrbar |
| Eine eng umrissene Aufgabe, für die das große Modell pro Anfrage überdimensioniert ist | Distillation zu einem kleinen Schüler, oder ein vorhandenes kleines Modell plus Fine-Tuning |
| Falsches Domänenverhalten, Format oder falscher Tonfall trotz guter Prompts und Retrieval | Fine-Tuning (zuerst LoRA, volles Tuning, wenn Adapter nicht reichen) |
| All das zugleich, im großen Maßstab | Die Hebel lassen sich kombinieren: Ein destilliertes oder feinabgestimmtes Modell wird fürs Serving routinemäßig quantisiert |