先用提示词
当行为能够清晰表达，且新增上下文仍满足延迟与成本约束时，使用提示词或少样本示例。
微调指南
微调速查表
一份与框架无关的受控实验清单。超参数和显存需求取决于具体的模型、数据、训练目标和硬件；只从针对该组合且仍在维护的配方中照抄数值，然后在试点中验证。
检索或调用工具
对会变化的、私有的或需要出处的知识使用检索；对计算、操作和系统权威状态使用工具。
有意识地微调
只有在具备代表性样例、封存的测试集和一个可度量的基线时，才对反复出现的行为做微调。
数据约定
训练之前
- • 明确允许的来源、许可、同意、留存与删除
- • 匹配真实的输入分布、语言、格式和边界情况
- • 移除密钥、非必要的个人数据、重复项和损坏样例
- • 审视标注规范和分歧，而不是把它们藏起来
- • 在训练集、验证集和测试集之间去重
让测试集保持封存
- • 成功、失败、边界、安全和分布外用例
- • 为重要用户群体、语言和内容类型标注分片
- • 书面的评分标准和裁定流程
- • 不使用由测试输出生成、或针对测试输出调优过的样例
- • 版本化的修订，让比较始终有意义
需要调节和观察的对象
| 控制项 | 为何重要 | 需要观察的信号 |
|---|---|---|
| 学习率 | 决定更新幅度 | 不稳定、学习过慢、验证质量 |
| 训练时长 | 决定样例被看到的次数 | 保留集指标见顶与退化增加 |
| 有效批量 | 改变梯度噪声和吞吐量 | 每秒步数、显存、收敛情况 |
| 序列长度 | 对显存和训练分布影响很大 | 截断、填充浪费、长输入质量 |
| LoRA 秩与目标模块 | 决定适配器的容量和位置 | 可训练参数量、任务质量、过拟合 |
| 精度与量化 | 在显存、兼容性和数值行为之间取舍 | NaN、速度、显存、导出模型的质量 |
实验记录
- 基座检查点
- 仓库、确切版本、分词器、对话模板和许可审查
- 数据
- 不可变清单、来源、过滤、去重、划分和权利
- 训练目标
- SFT、偏好优化或强化学习目标，以及损失掩码
- 更新方法
- 全量微调、LoRA 或 QLoRA，以及目标模块和适配器设置
- 优化
- 学习率、调度、有效批量、步数、精度和随机种子
- 环境
- 代码版本、依赖锁定、容器、驱动、加速器和拓扑
- 评估
- 保留集版本、评分标准、分片指标、安全测试集和基础能力回归测试集
- 产物
- 检查点哈希、适配器或合并方式、服务模板和回滚目标
发布关卡
- 在封存的保留集上，微调后的候选超过每一条必需的基线。
- 分片结果达到书面阈值，并给出样本数量。
- 基础能力、安全、隐私和滥用测试都在退化预算之内。
- 线上服务使用与离线测试相同的分词器和模板。
- 延迟、吞吐量、显存和总成本在接近生产的基础设施上实测过。
- 灰度方案、监控负责人、告警阈值和回滚产物都已就绪。
出现以下情况就停止训练
损失不再是有限值，或梯度持续不稳定。
训练损失在下降，验证质量却在变差。
数据或许可审查发现了尚未解决的问题。
检查点无法可复现地加载、评估或续训。
安全或隐私检查越过了约定阈值。
从试点看，部署的成本或延迟目标显然无法达成。