Apprentissage et adaptation

Ajustement fin d'une politique par apprentissage par renforcement contre un modèle de récompense appris à partir de jugements de préférence humains

Optimisation hors ligne des préférences avec une fonction de perte de classification sur les réponses retenues et rejetées, sans entraîner de modèle de récompense explicite

Conditionnement d'un modèle à partir d'instructions et de démonstrations présentes dans le contexte actuel, sans mise à jour des paramètres du modèle

Optimisation sur une distribution de tâches afin qu'un modèle puisse s'adapter à une nouvelle tâche connexe à partir de données limitées

Apprentissage à partir d'une séquence de tâches ou de distributions de données tout en mesurant et en atténuant la perte des capacités antérieures

Systèmes encadrés qui proposent des modifications aux prompts, aux outils ou aux politiques et ne les conservent qu'après une évaluation et une approbation indépendantes

Utilisation d'un ensemble explicite de principes pour guider l'autocritique, la révision et les retours de préférence générés par l'IA pendant l'entraînement

Entraînement d'une politique à partir de jugements de préférence produits par un évaluateur IA, selon des critères et une supervision définis par l'humain

Attribution de ressources de calcul supplémentaires au moment de l'inférence pour la génération de candidats, la recherche, la vérification ou l'affinement

Alignement de préférences sans modèle de référence qui ajoute, à l'objectif de modélisation du langage sur la réponse choisie, une pénalité de rapport de cotes pour les réponses rejetées

Optimisation des préférences sans modèle de référence utilisant la log-probabilité de séquence normalisée par la longueur comme récompense implicite, avec une marge de récompense cible

Adaptation d'un composant d'agent à partir d'exemples entrée-sortie étiquetés, avec validation explicite et comportement de repli

Apprentissage de représentations, de regroupements ou de scores d'anomalie à partir de données sans étiquettes de tâche, suivi d'une validation dans le domaine

Mise à jour incrémentale d'un modèle à partir d'un flux de données tout en maîtrisant la dérive, les boucles de rétroaction et le risque de retour arrière

Améliore le comportement de l'agent en récupérant et en réutilisant des expériences stockées au moment de la décision, plutôt qu'en mettant à jour les poids du modèle. Les interactions passées, les résultats et les retours des utilisateurs sont indexés sous forme de souvenirs et rappelés par similarité pour orienter les nouvelles décisions, ce qui permet une personnalisation continue sans réentraînement.

Traite les prompts et les instructions d'un pipeline d'agent comme des paramètres apprenables, optimisés de façon programmatique en fonction d'une métrique et d'un jeu de données étiqueté, plutôt que réglés à la main. Les optimiseurs amorcent des démonstrations few-shot et explorent différentes formulations d'instructions, tandis que les méthodes réflexives modifient les prompts en analysant les traces d'exécution des échecs passés.

Entraîne des modèles de raisonnement par apprentissage par renforcement à partir de récompenses vérifiables automatiquement (par exemple si une réponse mathématique correspond à la vérité de terrain ou si du code passe ses tests) plutôt qu'à partir de modèles de préférence appris. Comme la récompense n'évalue que la justesse finale, de longues chaînes de raisonnement avec retours en arrière et auto-vérification émergent sans justifications supervisées. Cette approche se distingue de RLHF, RLAIF et DPO, qui optimisent des préférences humaines ou d'IA.

Utilise un modèle de récompense qui évalue chaque étape intermédiaire du raisonnement (supervision du processus) plutôt que la seule réponse finale (supervision du résultat). Les scores par étape classent et élaguent les solutions candidates lors d'un échantillonnage best-of-N ou d'une recherche arborescente, concentrant le calcul au moment du test sur les branches les plus prometteuses et sur les problèmes les plus difficiles.

Un agent écrit des compétences réutilisables et exécutables (des programmes) pour les comportements qu'il découvre, les stocke dans une bibliothèque indexée par les embeddings de leurs descriptions, puis les récupère et les compose pour former des compétences plus complexes. La bibliothèque grandit comme une forme de mémoire procédurale, si bien que les capacités se cumulent au fil du temps sans mise à jour de gradient ni oubli catastrophique.

Traite le contexte d'un agent comme un playbook évolutif de stratégies concrètes, amélioré par trois rôles : un Generator qui produit des traces de raisonnement sur des tâches réelles, un Reflector qui en extrait des leçons à partir des succès et des échecs, et un Curator qui fusionne ces leçons dans le playbook sous forme de mises à jour delta compactes et structurées. Comme les mises à jour sont des ajouts et des modifications incrémentaux plutôt que des réécritures complètes, le playbook accumule des détails métier au lieu de souffrir d'effondrement du contexte et de biais de concision, où la réécriture itérative érode des spécificités durement acquises. Il ne nécessite aucune supervision étiquetée et s'applique aussi bien hors ligne, comme un prompt système amélioré, qu'en ligne, comme mémoire de l'agent ; l'article ACE d'ICLR 2026 rapporte environ +10.6% sur des tâches d'agent et +8.6% en finance. À distinguer de `prompt-optimization` : DSPy et GEPA optimisent un artefact de prompt en fonction d'une métrique, tandis qu'ACE fait croître un playbook en langage naturel par curation delta, avec un mécanisme explicite anti-effondrement couvrant à la fois le prompt et la mémoire ; et contrairement à `skill-library` (compétences exécutables) ou `self-improving-systems` (modifications de prompt et d'outils encadrées par des points d'approbation), l'artefact amélioré est un playbook en langage naturel curé.