Lernen und Anpassung

Feintuning einer Policy mittels bestärkendem Lernen gegen ein Belohnungsmodell, das aus menschlichen Präferenzurteilen gelernt wurde

Offline-Präferenzoptimierung mit einer Klassifikations-Verlustfunktion über ausgewählte und abgelehnte Antworten, ohne ein explizites Belohnungsmodell zu trainieren

Konditionierung eines Modells anhand von Anweisungen und Demonstrationen im aktuellen Kontext, ohne die Modellparameter zu aktualisieren

Optimierung über eine Verteilung von Aufgaben, damit ein Modell sich mit begrenzten Daten an eine neue verwandte Aufgabe anpassen kann

Lernen aus einer Abfolge von Aufgaben oder Datenverteilungen bei gleichzeitiger Messung und Minderung des Verlusts früher erworbener Fähigkeiten

Kontrollierte Systeme, die Änderungen an Prompts, Werkzeugen oder Richtlinien vorschlagen und diese erst nach unabhängiger Bewertung und Freigabe übernehmen

Verwendung eines expliziten Satzes von Prinzipien, um Selbstkritik, Überarbeitung und KI-generiertes Präferenzfeedback während des Trainings zu steuern

Training einer Policy anhand von Präferenzurteilen, die von einem KI-Bewerter unter menschlich definierten Kriterien und Aufsicht erzeugt werden

Zuweisung zusätzlicher Rechenleistung zur Inferenzzeit für Kandidatengenerierung, Suche, Verifikation oder Verfeinerung

Referenzfreie Präferenzausrichtung, die dem Sprachmodellierungsziel für die gewählte Antwort eine Odds-Ratio-Strafe für abgelehnte Antworten hinzufügt

Referenzfreie Präferenzoptimierung, die die längennormierte Sequenz-Log-Wahrscheinlichkeit als implizite Belohnung mit einer Ziel-Belohnungsmarge verwendet

Anpassung einer Agentenkomponente anhand gelabelter Eingabe-Ausgabe-Beispiele mit expliziter Validierung und Fallback-Verhalten

Erlernen von Repräsentationen, Clustern oder Anomalie-Scores aus Daten ohne Aufgaben-Labels, gefolgt von einer Validierung im Fachbereich

Inkrementelle Aktualisierung eines Modells aus einem Datenstrom bei gleichzeitiger Kontrolle von Drift, Rückkopplungsschleifen und Rollback-Risiko

Verbessert das Verhalten des Agenten, indem gespeicherte Erfahrungen zum Entscheidungszeitpunkt abgerufen und wiederverwendet werden, statt die Modellgewichte zu aktualisieren. Vergangene Interaktionen, Ergebnisse und Nutzerfeedback werden als Erinnerungen indexiert und über Ähnlichkeit abgerufen, um neue Entscheidungen zu prägen, was eine kontinuierliche Personalisierung ohne erneutes Training ermöglicht.

Behandelt die Prompts und Anweisungen innerhalb einer Agenten-Pipeline als lernbare Parameter, die programmatisch anhand einer Metrik und eines gelabelten Datensatzes optimiert werden, statt von Hand angepasst zu werden. Optimierer erzeugen automatisch Few-Shot-Beispiele und durchsuchen verschiedene Formulierungen der Anweisungen, während reflektierende Methoden Prompts anpassen, indem sie die Ausführungsspuren vergangener Fehler auswerten.

Trainiert Reasoning-Modelle mit Reinforcement Learning anhand automatisch überprüfbarer Belohnungen (etwa ob eine mathematische Antwort mit der Ground Truth übereinstimmt oder Code seine Tests besteht) statt anhand gelernter Präferenzmodelle. Da die Belohnung nur die endgültige Korrektheit bewertet, entstehen lange Gedankenketten mit Backtracking und Selbstüberprüfung ohne überwachte Begründungen. Dies unterscheidet sich von RLHF, RLAIF und DPO, die menschliche oder KI-Präferenzen optimieren.

Verwendet ein Belohnungsmodell, das jeden Zwischenschritt der Argumentation bewertet (Prozessüberwachung) statt nur die endgültige Antwort (Ergebnisüberwachung). Die Bewertungen pro Schritt ordnen und beschneiden Kandidatenlösungen beim Best-of-N-Sampling oder der Baumsuche und konzentrieren die Rechenleistung zur Testzeit auf die vielversprechendsten Zweige und auf schwierigere Probleme.

Ein Agent schreibt wiederverwendbare, ausführbare Skills (Programme) für die Verhaltensweisen, die er entdeckt, speichert sie in einer Bibliothek, die über Embeddings ihrer Beschreibungen indexiert ist, und ruft sie später ab, um sie zu komplexeren Skills zusammenzusetzen. Die Bibliothek wächst als eine Form prozeduralen Gedächtnisses, sodass sich Fähigkeiten im Laufe der Zeit ohne Gradientenaktualisierungen oder katastrophales Vergessen aufsummieren.

Behandelt den Kontext eines Agenten als sich entwickelndes Playbook konkreter Strategien, das durch drei Rollen verbessert wird: einen Generator, der Argumentationsspuren zu realen Aufgaben erzeugt, einen Reflector, der aus Erfolgen und Misserfolgen Lehren zieht, und einen Curator, der diese Lehren als kompakte, strukturierte Delta-Aktualisierungen in das Playbook einfügt. Da die Aktualisierungen inkrementelle Ergänzungen und Bearbeitungen statt vollständiger Neuschreibungen sind, sammelt das Playbook fachliche Details an, statt unter Kontextkollaps und Kürze-Bias zu leiden, bei dem iteratives Neuschreiben mühsam erarbeitete Spezifika abschleift. Es benötigt keine gelabelte Überwachung und lässt sich sowohl offline als verbesserter System-Prompt als auch online als Agentengedächtnis einsetzen; das ACE-Paper von ICLR 2026 berichtet von rund +10.6% bei Agentenaufgaben und +8.6% im Finanzbereich. Zu unterscheiden von `prompt-optimization`: DSPy und GEPA optimieren ein Prompt-Artefakt anhand einer Metrik, während ACE ein Playbook in natürlicher Sprache durch Delta-Kuration wachsen lässt, mit einem expliziten Anti-Kollaps-Mechanismus, der Prompt und Gedächtnis umfasst; und anders als `skill-library` (ausführbare Skills) oder `self-improving-systems` (kontrollierte Prompt- und Tool-Änderungen hinter Freigabe-Gates) ist das verbesserte Artefakt ein kuratiertes Playbook in natürlicher Sprache.