Die Entscheidungen, die vor dem ersten Release anstehen: wie das Modell gehostet wird, welches Modell und welche GPU zum Workload passen, ob die Speicherrechnung aufgeht und welches Serving-Framework es ausführt.
Ein Anbieter hostet das Modell und rechnet je Token ab. Schnellster Start, kein GPU-Betrieb, standardmäßig elastisch. Sie akzeptieren dessen Modelle, Limits, Datenbedingungen und Preiskurve; bei dauerhaft hohem Volumen ist das meist der teuerste Weg.
Sie mieten GPUs und betreiben einen Serving-Stack (vLLM, SGLang, TensorRT-LLM). Volle Kontrolle über Modelle, Versionen und Optimierungen wie Prefix-Caching oder Disaggregation, im Gegenzug echte DevOps-Last: Kapazität, Upgrades und Incident Response liegen bei Ihnen.
Ein Anbieter betreibt seine Serving-Plattform in Ihrem Cloud-Konto: seine Control Plane, Ihre Data Plane. Die Daten bleiben für Souveränität und Compliance in Ihrer VPC, Ihre Guthaben und Mengenrabatte werden genutzt, der Egress sinkt, und der Großteil des Betriebs ist ausgelagert.
Ihre Hardware, Ihr Rechenzentrum. Größte Datenkontrolle und planbare Investitionsausgaben; passt zu gleichmäßigen, volumenstarken oder regulierten Workloads. Die Kosten sind die anfängliche GPU-Investition, Beschaffungsvorlaufzeiten, die Alterung der Hardware sowie Betrieb und Fachkräfte dafür.
Entscheiden Sie entlang von vier Achsen: Datenschutz und Compliance, Kosten in Ihrer tatsächlichen Größenordnung, Bedarf an Anpassung (per Fine-Tuning angepasste Gewichte, Optimierungen auf Serving-Ebene) und die Betriebskapazität Ihres Teams. Vergleichen Sie die Optionen anhand gemessener TTFT, gemessenem Durchsatz und Kosten je erfolgreicher Aufgabe, nicht anhand von Listenpreisen; die Seite Anbieter enthält eine Bewertungscheckliste.
Rechnen Sie, bevor Sie Hardware mieten. Drei Verbraucher teilen sich den GPU-Speicher:
Validieren Sie das anschließend mit einem Lasttest bei Ihren echten Prompt- und Ausgabelängen, denn Fragmentierung und Scheduler-Verhalten drücken die praktische Grenze unter die rechnerische.
Das Framework verantwortet Batching, die Verwaltung des KV-Caches, Streaming und die Ausführung über mehrere GPUs; die meisten bieten eine OpenAI-kompatible API, damit Anwendungen portabel bleiben.
vLLM und SGLang sind die verbreiteten Open-Source-Engines (kontinuierliches Batching, Speicherverwaltung im Stil von PagedAttention, Unterstützung strukturierter Ausgaben). TensorRT-LLM holt auf NVIDIA-Hardware das Maximum an Leistung heraus, zu höheren Integrationskosten; LMDeploy setzt den Schwerpunkt auf quantisiertes Serving mit hoher Nebenläufigkeit.
llama.cpp (und Ollama darauf aufbauend) deckt CPU- und Einzelrechnernutzung mit GGUF-Quantisierung ab; MLC-LLM kompiliert Modelle für Smartphones und Browser. Diese priorisieren Footprint und Portabilität vor aggregiertem Durchsatz.