服务健康度
请求速率、排队时间、首个 token 时间、总延迟、错误、重试和饱和度。
AI推理指南
AI 推理监控
把服务健康度、模型行为、输出质量和花费放在一起监控，这样一个看似健康的 API 就无法掩盖已经劣化的产品体验。
需要观测的四个层面
模型行为
模型与提示词版本、token 数量、结束原因、工具调用、降级回退和上下文截断。
产品质量
任务成功率、回答的事实依据、安全检查、用户反馈，以及经过人工复核的生产样本。
经济性
按功能拆分的请求数与 token 数、服务商账单、缓存命中效果、配额使用情况，以及单次成功任务成本。
针对用户影响告警
- 为每条面向用户的推理链路设定延迟目标和错误率目标。
- 针对持续性的变化和预算消耗速率告警，而不是针对个别噪声请求。
- 先按模型、服务商、区域、发布版本和功能分组，再做聚合。
- 为每条会叫醒值班人的告警配上处置手册、责任人和回滚动作。
闭环处理故障
- 用链路追踪和发布元数据确认影响范围。
- 通过回滚、降级、限流或功能开关来降低影响。
- 保留满足隐私要求的证据，用于排障和评估回放。
- 把这个失败模式补进测试、看板和运维手册。