Loading...

🧠

元学习系统(MLS)

在任务分布上进行优化，使模型能够从有限数据中适应新的相关任务

复杂度: high学习与适应

In 30 seconds

What: 在许多相关任务上训练模型，使其只需少量样本和梯度步数就能快速适应新任务。
When to use: 少样本学习场景：你有许多相似任务，但部署时每个新任务的标注数据都很稀少。
Watch out: 需要精心构建的任务分布；采样不当，或元训练与元测试任务不匹配，都会彻底毁掉性能。

Loading technique guide…

Patterns

Loading...

设计模式与技术

Loading...

🧠

元学习系统(MLS)

在任务分布上进行优化，使模型能够从有限数据中适应新的相关任务

复杂度: high学习与适应

In 30 seconds

What: 在许多相关任务上训练模型，使其只需少量样本和梯度步数就能快速适应新任务。
When to use: 少样本学习场景：你有许多相似任务，但部署时每个新任务的标注数据都很稀少。
Watch out: 需要精心构建的任务分布；采样不当，或元训练与元测试任务不匹配，都会彻底毁掉性能。

30 秒速览

模式： 学会学习: 获取元知识，使模型用极少数据即可快速适配新任务

原因： 支持 few-shot 学习、快速领域自适应，以及相关任务间的高效知识迁移

关键洞察： 模型学习到可在任务分布上泛化的优化过程与归纳偏置

快速实现

1任务:定义一组相关学习任务的分布

2元训练:学习在整个任务分布上快速适配

3支持集:提供新目标任务的少量示例

4适配:利用元知识快速专精于新任务

5查询:用极少示例执行目标任务

Example: task_distribution → meta_model → support_examples → adapted_model → predictions

何时使用

适用场景

• 存在许多相关任务，每个任务数据都很少
• 需要快速适配新领域
• 任务之间共享底层结构或模式
• Few-shot 学习需求至关重要
• 该领域天然存在任务分布

避免场景

• 单一任务且训练数据充足
• 各任务之间完全不相关
• 实时推理约束非常严格
• 元训练可用的计算资源有限
• 任务分布定义不清

关键指标

Few-shot 准确率

每类 K 个示例时的表现

适配速度

收敛所需的梯度步数

迁移效率

在新任务上相对基线的表现

元泛化

在未见任务类型上的表现

样本效率

达到目标性能所需的示例数

计算成本

元训练与适配所需的 FLOPs

主要应用场景

Few-shot 分类: 每类仅有少量标注示例的图像识别

领域自适应: 用极少数据快速将模型适配到新领域

神经架构搜索: 学习为新任务设计架构

超参数优化: 跨任务族学习最优超参数

强化学习: 快速适应新环境与奖励结构

自然语言处理: Few-shot 文本分类与命名实体识别

参考资料与延伸阅读

通过这些精选资源加深理解

奠基性论文

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (Finn et al., 2017)

Learning to Learn by Gradient Descent by Gradient Descent (Andrychowicz et al., 2016)

Matching Networks for One Shot Learning (Vinyals et al., 2016)

Prototypical Networks for Few-shot Learning (Snell et al., 2017)

MAML 变体与扩展

On First-Order Meta-Learning Algorithms (Nichol et al., 2018)

How to train your MAML (Antoniou et al., 2018)

Gradient-Based Meta-Learning with Learned Layerwise Metric and Subspace (Li et al., 2018)

基于优化的元学习

Meta-SGD: Learning to Learn Quickly for Few-Shot Learning (Li et al., 2017)

Learning to learn without gradient descent by gradient descent (Chen et al., 2016)

Optimization as a Model for Few-Shot Learning (Ravi & Larochelle, 2016)

Meta-Learning with Differentiable Convex Optimization (Lee et al., 2019)

基于记忆的元学习

Meta-Learning with Memory-Augmented Neural Networks (Santoro et al., 2016)

Neural Turing Machines (Graves et al., 2014)

Learning to Remember Rare Events (Kaiser et al., 2017)

元学习理论

A Theoretical Analysis of the Number of Shots in Few-Shot Learning (Cao et al., 2019)

Reconciling meta-learning and continual learning with online mixtures of tasks (Jerfel et al., 2019)

Meta-Learning: A Survey (Hospedales et al., 2020)

近期进展 (2022-2024)

MetaICL: Learning to Learn In Context (Min et al., 2022)

Language Models are Few-Shot Learners (Brown et al., 2020)

Meta-Learning via Language Model In-context Tuning (Chen et al., 2022)

神经架构搜索与 AutoML

DARTS: Differentiable Architecture Search (Liu et al., 2018)

Neural Architecture Search with Reinforcement Learning (Zoph & Le, 2016)

Auto-Meta: Automated Gradient Based Meta Learner Search (Kim et al., 2018)

MetaNAS: Meta Neural Architecture Search (Elsken et al., 2020)

应用与领域

Learning to Reinforcement Learn (Wang et al., 2016)

Learning to Few-Shot Learn Across Diverse Natural Language Classification Tasks

Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector (Fan et al., 2019)

实现资源

learn2learn: 面向 PyTorch 的元学习库

TensorFlow 中的 MAML 实现

Torchmeta: 面向 PyTorch 的元学习库

Higher: 用于高阶优化的 PyTorch 库

数据集与基准

用于 few-shot 学习的 Omniglot 数据集

miniImageNet: 面向 few-shot 学习的数据集

Meta-Dataset: 面向 few-shot 学习的数据集之数据集

VTAB: Visual Task Adaptation Benchmark

工具与框架

基于 JAX 的 MAML 实现

TensorFlow 元学习 (TF-Agents)

PyTorch Lightning 元学习

Avalanche: 持续学习库

社区与研究团队

元学习研讨会 (NeurIPS)

Few-shot 学习研究社区

OpenAI 元学习研究

Loading technique guide…

Loading...

元学习系统(MLS)

In 30 seconds

Patterns

Loading...

设计模式与技术

Loading...

元学习系统(MLS)

In 30 seconds

30 秒速览

快速实现

推荐与避免

何时使用

适用场景

避免场景

关键指标

主要应用场景

参考资料与延伸阅读

奠基性论文

MAML 变体与扩展

基于优化的元学习

基于记忆的元学习

元学习理论

近期进展 (2022-2024)

神经架构搜索与 AutoML

应用与领域

实现资源

数据集与基准

工具与框架

社区与研究团队

Patterns

设计模式与技术

Loading...

设计模式与技术

30 秒速览

快速实现

推荐与避免

何时使用

适用场景

避免场景

关键指标

主要应用场景

参考资料与延伸阅读

奠基性论文

MAML 变体与扩展

基于优化的元学习

基于记忆的元学习

元学习理论

近期进展 (2022-2024)

神经架构搜索与 AutoML

应用与领域

实现资源

数据集与基准

工具与框架

社区与研究团队

设计模式与技术