Mixture of Experts (MoE)

So wird trainiert

Der Hauptaufgabenverlust trainiert Experten und Router gemeinsam. Lastverteilungs- oder Routing-Regularisierungen verhindern das Kollabieren auf wenige Experten; verteilte Implementierungen müssen den Token-Dispatch koordinieren.

So läuft die Inferenz

Jedes Token besucht ausgewählte Experten. Die Arithmetik kann spärlich bleiben, während Modellgewichte, Inter-Device-Kommunikation, Routing-Ungleichgewicht und Batching weiterhin Latenz und Kosten beeinflussen.

Stärken

• •Mehr Parameterkapazität ohne Aktivierung jedes Parameters pro Token
• •Experten können sich durch gelerntes Routing spezialisieren
• •Passt natürlich in Transformer-Feedforward-Blöcke ein

Zielkonflikte

• •Großer Gewichtsspeicher und verteilte Kommunikation
• •Routing-Ungleichgewicht und Kapazitätsüberlauf erschweren das Training
• •Gemeldete Gesamtparameter geben keine Auskunft über die aktive Berechnungsleistung oder Serving-Effizienz

Geeignet, wenn

• Eine groß angelegte Trainings- und Serving-Infrastruktur kann spärliches Routing ausnutzen
• Die Kapazität ist stärker eingeschränkt als die Arithmetik pro Token
• Sie können die tatsächliche Hardwaretopologie benchmarken

Vermeiden oder hinterfragen, wenn

• Ein Single-Device- oder speicherbeschränkter Deployment erforderlich ist
• “Spärlich” wird fälschlicherweise als Garantie für geringere Latenz angesehen
• Betriebliche Einfachheit ist wertvoller als zusätzliche Kapazität