Loading...
🧭
探索与发现
用于搜索、实验、自适应和解决方案发现的模式
In 30 seconds
- What
- 在尝试不确定的备选方案与重复已知良好选择之间取得平衡，利用反馈在最优行动起初未知的环境中发现有效行为。
- When to use
- 最优策略不确定且反馈随时间逐步到来；候选空间过大而无法穷举搜索；受控实验安全且可度量。
- Watch out
- 优化与真实用户价值背离的代理奖励，会把系统引向偏离真正有用行为的方向。
概览
探索与发现模式在尝试不确定的备选方案与利用已知的良好选择之间取得平衡。该集合包括好奇心驱动的搜索、老虎机（bandit）策略、进化优化，以及适用于必须通过反馈来发现有用行为的环境的强化学习。
实际应用与使用场景
1
实验优化：在多个备选方案之间分配流量，同时了解哪一个表现最佳。
2
搜索与设计：在梯度或精确求解器不可用的大型候选空间中进行探索。
3
自适应决策系统：在管理运营风险的同时，从反复出现的结果中改进策略。
为什么这很重要
只会重复已知策略的系统无法适应新的条件，而不加约束的探索则可能代价高昂或不安全。这些模式将这一权衡明确化。
实施指南
何时使用
最佳行动最初并不确定，且反馈随时间逐步到来
候选空间过大，无法进行穷举搜索
允许并可测量的受控实验
最佳实践
定义安全的探索边界和回滚条件
将离线评估与有防护的在线实验分开
跟踪遗憾值（regret）、覆盖率和下游影响，而非仅关注奖励
常见陷阱
直接在高风险的生产决策中进行探索
优化偏离用户价值的代理奖励
忽视延迟效应和不断变化的环境