Loading...

👨‍🏫

Apprentissage supervisé pour les agents(SLA)

Adaptation d'un composant d'agent à partir d'exemples entrée-sortie étiquetés, avec validation explicite et comportement de repli

Complexité: mediumApprentissage et adaptation

In 30 seconds

What: Entraîne un composant de l'agent sur des exemples étiquetés, avec des garde-fous contre les fuites de données, puis oriente les cas incertains vers une revue humaine.
When to use: Vous disposez de suffisamment de données étiquetées propres et vous avez besoin d'une classification fiable, avec une supervision humaine pour les cas limites.
Watch out: Les fuites entre données d'entraînement et de test dues à des exemples similaires faussent les estimations de performance ; découpez par client ou par période, pas au hasard.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

👨‍🏫

Apprentissage supervisé pour les agents(SLA)

Adaptation d'un composant d'agent à partir d'exemples entrée-sortie étiquetés, avec validation explicite et comportement de repli

Complexité: mediumApprentissage et adaptation

In 30 seconds

What: Entraîne un composant de l'agent sur des exemples étiquetés, avec des garde-fous contre les fuites de données, puis oriente les cas incertains vers une revue humaine.
When to use: Vous disposez de suffisamment de données étiquetées propres et vous avez besoin d'une classification fiable, avec une supervision humaine pour les cas limites.
Watch out: Les fuites entre données d'entraînement et de test dues à des exemples similaires faussent les estimations de performance ; découpez par client ou par période, pas au hasard.

Aperçu en 30 secondes

Modèle : Adapter des modèles pré-entraînés à des tâches précises par entraînement supervisé sur des données annotées du domaine cible

Pourquoi : Exploite les connaissances déjà présentes dans le modèle tout en le spécialisant pour les tâches cibles, avec de hautes performances à un coût d'entraînement raisonnable

Idée clé : Le transfert d'apprentissage depuis des modèles pré-entraînés, combiné à une supervision propre à la tâche, offre l'équilibre optimal entre généralisation et spécialisation

Mise en œuvre rapide

1Collecter:Réunir des exemples d'entraînement annotés propres à la tâche

2Prétraiter:Formater les données selon le domaine cible et les exigences de la tâche

3Affiner:Adapter le modèle pré-entraîné avec des objectifs supervisés

4Valider:Tester la performance sur un jeu de validation réservé

5Déployer:Appliquer le modèle adapté à l'environnement de la tâche cible

Example: pretrained_model + labeled_data → supervised_fine_tuning → task_adapted_model

À faire et à éviter

✅Utiliser des jeux annotés de haute qualité et représentatifs du domaine cible

✅Mettre en place des découpages entraînement/validation/test corrects pour éviter le surapprentissage

✅Appliquer des techniques de régularisation adaptées (dropout, weight decay)

✅Surveiller le décalage de distribution entre entraînement et déploiement

✅Recourir au transfert d'apprentissage depuis des modèles pré-entraînés pertinents

✅Mettre en place un arrêt anticipé fondé sur la performance de validation

❌Entraîner sur des données annotées insuffisantes ou biaisées

❌Ignorer les problèmes de qualité des données et le bruit d'annotation

❌Surapprendre les données d'entraînement faute de validation correcte

❌L'appliquer sans tenir compte des contraintes de calcul

❌Négliger le réglage des hyperparamètres et la sélection de modèle

Quand l’utiliser

À utiliser quand

• Des données annotées de haute qualité existent pour la tâche cible
• La tâche présente des relations entrée-sortie claires
• Les exigences de performance justifient le coût d'un entraînement supervisé
• Une adaptation propre au domaine est nécessaire à partir de modèles généralistes
• Les métriques d'évaluation peuvent être clairement définies

À éviter quand

• Les données annotées sont rares, coûteuses ou de faible qualité
• La tâche exige un apprentissage en temps réel à partir de très peu d'exemples
• Des approches non supervisées ou auto-supervisées suffisent
• Des contraintes de confidentialité empêchent la collecte de données
• L'environnement de déploiement change fréquemment

Indicateurs clés

Précision sur la tâche

Performance sur la tâche cible vs modèles de référence

Efficacité d'entraînement

Vitesse de convergence et coût de calcul

Généralisation

Performance sur des données de test inédites

Qualité du transfert

Conservation des connaissances issues du pré-entraînement

Efficacité en données

Performance par exemple d'entraînement annoté

Robustesse

Performance en cas de décalage de distribution

Principaux cas d’usage

Classification propre à un domaine : adapter des classifieurs génériques à des domaines spécialisés (médical, juridique, scientifique)

Reconnaissance d'entités sur mesure : entraîner des modèles NER pour des entités et relations propres au domaine

Génération spécifique à une tâche : affiner des modèles de langage pour des styles ou formats d'écriture précis

Adaptation de l'analyse de sentiment : personnaliser des modèles de sentiment pour des secteurs ou contextes précis

Spécialisation de la génération de code : adapter des modèles de code à des langages ou frameworks précis

Systèmes de questions-réponses : entraîner des modèles QA sur des bases de connaissances de domaine

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs

Fine-Tuning Pre-trained Language Models: Weight Initializations, Data Orders, and Early Stopping (Dodge et al., 2020)

How to Fine-Tune BERT for Text Classification? (Sun et al., 2019)

Universal Language Model Fine-tuning for Text Classification (Howard & Ruder, 2018)

Attention Is All You Need (Vaswani et al., 2017)

Transfert d'apprentissage et pré-entraînement

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2018)

Language Models are Few-Shot Learners (Brown et al., 2020)

T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al., 2019)

RoBERTa: A Robustly Optimized BERT Pretraining Approach (Liu et al., 2019)

Méthodologies de réglage fin

LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)

Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)

The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al., 2021)

AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning (Zhang et al., 2023)

Techniques d'adaptation de domaine

Domain-Adversarial Training of Neural Networks (Ganin et al., 2016)

Deep Domain Confusion: Maximizing for Domain Invariance (Tzeng et al., 2014)

Unsupervised Domain Adaptation by Backpropagation (Ganin & Lempitsky, 2015)

AdaBound: Adaptive Gradient Methods with Bound for Domain Adaptation (Luo et al., 2019)

Avancées récentes (2023-2024)

QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023)

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention (Zhang et al., 2023)

Instruction Tuning for Large Language Models: A Survey (Zhang et al., 2023)

DoRA: Weight-Decomposed Low-Rank Adaptation (Liu et al., 2024)

Efficacité en données et apprentissage few-shot

Few-Shot Learning with Language Models (Brown et al., 2020)

Making Pre-trained Language Models Better Few-shot Learners (Gao et al., 2021)

What Makes Good In-Context Examples for GPT-3? (Liu et al., 2021)

SetFit: Efficient Few-Shot Learning Without Prompts (Tunstall et al., 2022)

Évaluation et benchmarking

GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding (Wang et al., 2018)

SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems (Wang et al., 2019)

Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models (Srivastava et al., 2022)

HELM: Holistic Evaluation of Language Models (Liang et al., 2022)

Ressources d'implémentation

Hugging Face Transformers - tutoriel de réglage fin

PEFT : bibliothèque de réglage fin économe en paramètres

Implémentation de LoRA et bonnes pratiques

Adapter Hub : dépôt d'adaptateurs pré-entraînés

Frameworks et outils d'entraînement

PyTorch Lightning : framework d'entraînement simplifié

Accelerate : bibliothèque d'entraînement distribué

DeepSpeed : bibliothèque d'optimisation pour grands modèles

FairScale : extensions PyTorch pour la recherche

Applications propres à un domaine

BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining (Lee et al., 2020)

FinBERT: Financial Sentiment Analysis (Araci, 2019)

LEGAL-BERT: The Muppets Straight out of Law School (Chalkidis et al., 2020)

CodeBERT: A Pre-Trained Model for Programming Languages (Feng et al., 2020)

Déploiement en production

Optimisation des modèles pour la production : ONNX et TensorRT

TorchServe : framework de service de modèles PyTorch

MLflow : gestion du cycle de vie du machine learning

Weights & Biases : suivi d'expériences et gestion de modèles

Bonnes pratiques et recommandations

Bonnes pratiques de réglage fin (Google AI)

Entraînement efficace des grands modèles de langage (OpenAI)

Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models (Ding et al., 2022)

Loading technique guide…