Loading...

⚡

资源感知调度(RAS)

根据可用的计算资源和约束动态调度 AI 任务

复杂度: high工作流编排

In 30 seconds

What: 把 AI 任务排入队列，并根据 CPU、GPU、内存、温度和功耗的实时测量调整其优先级与执行时机。
When to use: 在硬性截止时间、算力有限或运行中不断变化的散热约束下，同时运行多种 AI 工作负载的系统。
Watch out: 持续监控的开销可能超过节省；资源竞争下优先级来回抖动，浪费的时间比夺回的还多。

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic Design面向生产环境 AI 智能体的模式与工具

专家支持价格

设计模式与技术

Loading...

⚡

资源感知调度(RAS)

根据可用的计算资源和约束动态调度 AI 任务

复杂度: high工作流编排

In 30 seconds

What: 把 AI 任务排入队列，并根据 CPU、GPU、内存、温度和功耗的实时测量调整其优先级与执行时机。
When to use: 在硬性截止时间、算力有限或运行中不断变化的散热约束下，同时运行多种 AI 工作负载的系统。
Watch out: 持续监控的开销可能超过节省；资源竞争下优先级来回抖动，浪费的时间比夺回的还多。

核心机制

资源感知调度利用实时遥测以及 SLO 与成本约束，动态地将 AI 任务匹配到计算资源（CPU/GPU/TPU、内存、带宽）。它结合动态批处理、排队、优先级与抢占、模型放置和自动扩缩，在满足延迟与吞吐目标的同时最大化利用率，并遵守功耗、散热与预算限制。

工作流 / 步骤

对任务与模型做画像：延迟 SLO、可批处理性、内存占用（KV 缓存/权重）、吞吐目标。
为资源加装遥测：采集 CPU/GPU 利用率、内存、队列深度、温度、功耗与成本信号。
准入控制与路由：对请求的优先级/等级分类；路由到合适的模型/实例/区域。
调度与批处理：在 SLO 内组成动态批次；必要时施加优先级、抢占或隔离。
自动扩缩与放置：依据队列与延迟调整副本数；按内存与亲和性约束放置模型。
反馈控制：监控 SLO 达成情况；调整批大小与并发度，并调整优先级与预算。

最佳实践

使用动态批处理并为各等级设定延迟预算；将低延迟队列与尽力而为队列分开。

按内存（权重 + KV 缓存）与算力合理规划模型放置；避免页面抖动与 OOM。

为紧急请求实现优先级与抢占；用配额保护后台作业。

根据利用率与余量调整每实例并发度；避免队头阻塞。

基于队列深度与 p95 延迟自动扩缩；用预热池应对突发；为控制成本优先采用装箱放置。

端到端埋点：对请求、排队、批处理、推理与后处理阶段采集追踪与指标。

采用跨区域/可用区路由与模型副本提升韧性；发布时优雅排空流量。

限制 token/上下文预算；通过压缩与流式输出满足 SLO 并控制开销。

何时不宜使用

极简且同质的负载，静态轮询即可低成本满足 SLO。
任何批处理或排队开销都可能错过截止时间的硬实时控制回路。
单租户且资源超配的环境，争用可忽略且负载稳定。

常见陷阱

过度批处理导致 p95/p99 延迟劣化；忽视各等级的 SLO 预算。
对 KV 缓存与 token 增长的 GPU 显存核算不足 → OOM 与重启。
热点队列与队头阻塞；等级/租户之间缺乏隔离。
仅有被动式自动扩缩且伴随冷启动代价；没有应对突发的预热容量。
可观测性差：缺少排队时间与推理时间的拆分；只能盲目调优。

核心特性

实时资源遥测与感知 SLO 的路由

动态批处理与感知 token 的调度

优先级队列、抢占与按等级/租户的隔离

考虑内存/亲和性与 NUMA/GPU 拓扑的放置

结合预热池与装箱以控制成本的自动扩缩

端到端追踪、指标与策略驱动的预算

KPI / 成功指标

延迟：端到端 p50/p95 与排队时间占比；各等级的 SLO 达成率。
吞吐：每实例与整个集群的 requests/s 与 tokens/s；批处理效率。
利用率：GPU SM/显存利用率、CPU 利用率、饱和度指标。
成本与效率：每请求成本、每美元 token 数、每 token 能耗。
稳定性：错误率、OOM/重启率、自动扩缩收敛时间。

Token / 资源用量

按等级为输入/输出 token 设定预算；强制最大上下文并应用压缩与摘要。
跟踪 KV 缓存随批大小与序列长度的增长；预留余量以避免 OOM。
使用连续/动态批处理提升 tokens/s，同时遵守每个请求的截止时间。
SLO 紧张时优先流式输出；预算吃紧时截断超长生成或降级到更小的模型。

最佳应用场景

具有分级延迟/成本 SLO 且需求突发的多租户 LLM API。
对 TTFT 与 p95 延迟高度敏感的实时助手与聊天。
云与 Kubernetes 上带自动扩缩的批式/流式推理服务。
在电量、热限制与离线模式之间平衡的边缘/移动端部署。
需要具备截止时间意识的感知/规划流水线的自主系统。

参考资料与延伸阅读

Loading technique guide…

Patterns

设计模式与技术

Loading...

核心机制

工作流 / 步骤

对任务与模型做画像：延迟 SLO、可批处理性、内存占用（KV 缓存/权重）、吞吐目标。
为资源加装遥测：采集 CPU/GPU 利用率、内存、队列深度、温度、功耗与成本信号。
准入控制与路由：对请求的优先级/等级分类；路由到合适的模型/实例/区域。
调度与批处理：在 SLO 内组成动态批次；必要时施加优先级、抢占或隔离。
自动扩缩与放置：依据队列与延迟调整副本数；按内存与亲和性约束放置模型。
反馈控制：监控 SLO 达成情况；调整批大小与并发度，并调整优先级与预算。

最佳实践

使用动态批处理并为各等级设定延迟预算；将低延迟队列与尽力而为队列分开。

按内存（权重 + KV 缓存）与算力合理规划模型放置；避免页面抖动与 OOM。

为紧急请求实现优先级与抢占；用配额保护后台作业。

根据利用率与余量调整每实例并发度；避免队头阻塞。

基于队列深度与 p95 延迟自动扩缩；用预热池应对突发；为控制成本优先采用装箱放置。

端到端埋点：对请求、排队、批处理、推理与后处理阶段采集追踪与指标。

采用跨区域/可用区路由与模型副本提升韧性；发布时优雅排空流量。

限制 token/上下文预算；通过压缩与流式输出满足 SLO 并控制开销。

何时不宜使用

极简且同质的负载，静态轮询即可低成本满足 SLO。
任何批处理或排队开销都可能错过截止时间的硬实时控制回路。
单租户且资源超配的环境，争用可忽略且负载稳定。

常见陷阱

过度批处理导致 p95/p99 延迟劣化；忽视各等级的 SLO 预算。
对 KV 缓存与 token 增长的 GPU 显存核算不足 → OOM 与重启。
热点队列与队头阻塞；等级/租户之间缺乏隔离。
仅有被动式自动扩缩且伴随冷启动代价；没有应对突发的预热容量。
可观测性差：缺少排队时间与推理时间的拆分；只能盲目调优。

核心特性

实时资源遥测与感知 SLO 的路由

动态批处理与感知 token 的调度

优先级队列、抢占与按等级/租户的隔离

考虑内存/亲和性与 NUMA/GPU 拓扑的放置

结合预热池与装箱以控制成本的自动扩缩

端到端追踪、指标与策略驱动的预算

KPI / 成功指标

延迟：端到端 p50/p95 与排队时间占比；各等级的 SLO 达成率。
吞吐：每实例与整个集群的 requests/s 与 tokens/s；批处理效率。
利用率：GPU SM/显存利用率、CPU 利用率、饱和度指标。
成本与效率：每请求成本、每美元 token 数、每 token 能耗。
稳定性：错误率、OOM/重启率、自动扩缩收敛时间。

Token / 资源用量

按等级为输入/输出 token 设定预算；强制最大上下文并应用压缩与摘要。
跟踪 KV 缓存随批大小与序列长度的增长；预留余量以避免 OOM。
使用连续/动态批处理提升 tokens/s，同时遵守每个请求的截止时间。
SLO 紧张时优先流式输出；预算吃紧时截断超长生成或降级到更小的模型。

最佳应用场景

具有分级延迟/成本 SLO 且需求突发的多租户 LLM API。
对 TTFT 与 p95 延迟高度敏感的实时助手与聊天。
云与 Kubernetes 上带自动扩缩的批式/流式推理服务。
在电量、热限制与离线模式之间平衡的边缘/移动端部署。
需要具备截止时间意识的感知/规划流水线的自主系统。

参考资料与延伸阅读

资源感知调度 (RAS) - Agentic Design

Loading...

资源感知调度(RAS)

In 30 seconds

Patterns

Loading...

设计模式与技术

Loading...

资源感知调度(RAS)

In 30 seconds

核心机制

工作流 / 步骤

最佳实践

何时不宜使用

常见陷阱

核心特性

KPI / 成功指标

Token / 资源用量

最佳应用场景

参考资料与延伸阅读

学术论文

实施指南

工具与库

社区与讨论

Patterns

设计模式与技术

Loading...

设计模式与技术

核心机制

工作流 / 步骤

最佳实践

何时不宜使用

常见陷阱

核心特性

KPI / 成功指标

Token / 资源用量

最佳应用场景

参考资料与延伸阅读

学术论文

实施指南

工具与库

社区与讨论

设计模式与技术