NVIDIA / CUDA
安装依赖包之前，先确认框架对 CUDA、驱动、计算能力、精度和可选内核的要求。
PyTorch 安装选择器微调指南
本地微调环境搭建
在你自己的硬件上验证确切的模型和训练配方。把参数量直接换算成显存的通用表格并不可靠，因为序列长度、精度、优化器状态、激活值、适配器、注意力内核和批处理都会改变结果。
选择一套受支持的环境
长时间训练前的预检
- 1.确认驱动、运行时、编译器、框架和加速器相互支持。
- 2.只下载目标检查点版本，并确认可用存储空间。
- 3.在几条已格式化的样例上检查分词和损失掩码。
- 4.跑一次前向和反向传播，记录设备端与主机端的显存峰值。
- 5.用极小的样本做过拟合，排查错误的标签、模板和优化器配置。
- 6.在扩大数据集之前，完成检查点的保存、续训、加载和生成。
- 7.测量温度表现和持续吞吐量，而不只是最初几步。
- 8.为检查点、日志、评估和重试留出足够的磁盘与时间余量。
显存与吞吐量的调节手段
降低显存占用
- • 使用更小的检查点或适配器方法
- • 减小序列长度或微批量大小
- • 启用受支持的混合精度和梯度检查点
- • 在测量过代价之后，再考虑优化器或状态卸载
提升利用率
- • 对数据加载和样本长度分布做性能分析
- • 只有掩码正确且注意力实现受支持时才使用打包
- • 通过正确性检查之后再增大批量或梯度累积
- • 在实际使用的 GPU 上对可选内核做基准测试
保持可复现
- • 锁定依赖包和模型版本
- • 记录完整配置和随机种子
- • 对数据清单做版本管理，而不是临时复制文件夹
- • 记录硬件、驱动和环境细节
本地并不自动等于保密
- 使用前先审阅模型的下载条款和数据集权利。
- 限制对原始数据、缓存、日志、检查点和导出适配器的访问。
- 扫描训练数据和产物中的密钥与个人数据。
- 加密备份，并明确删除与留存流程。