Loading...
🧭
基于 LLM 的路由(LBR)
一种智能查询分发系统,使用专门的 LLM 路由器分析传入请求,并根据查询特征将其动态路由到最合适的模型、API 端点或处理流水线,通过意图分类和能力匹配来确保资源的最优利用和响应质量
复杂度: medium路由
In 30 seconds
- What
- 通过分析查询意图并与已知能力进行匹配，把进入的请求路由到不同的模型或端点。
- When to use
- 系统中存在多个专用模型、API 或流水线，不同类型的请求需要走不同的处理路径。
- Watch out
- 路由器分类错误会把请求发到错误的端点，可能降低质量，或者迫使系统进行昂贵的回退处理。
Loading technique guide…