Serverless API
由服务商托管模型并按 token 计费。启动最快，无需运维 GPU，默认具备弹性。代价是要接受对方的模型、限额、数据条款和价格曲线；在持续的大用量下，这通常是最贵的一条路。
AI推理指南
容量规划与托管选型
在任何东西上线之前需要做的决策：模型如何托管、哪个模型和哪块 GPU 适配这个工作负载、显存这笔账算不算得平，以及用哪个服务框架来跑。
托管方式的光谱
云上自托管
你租用 GPU 并自己运行一套服务栈（vLLM、SGLang、TensorRT-LLM）。对模型、版本以及前缀缓存、分离式部署等优化拥有完全控制权，换来的是实打实的 DevOps 负担：容量、升级和故障响应都归你。
自带云环境
厂商把自己的服务平台部署到你的云账号里运行：控制面归它，数据面归你。数据留在你的 VPC 内以满足主权和合规要求，可以用掉你的云代金券和承诺用量折扣，还能减少出网流量，同时把大部分运维工作外包出去。
私有化部署
你的硬件，你的机房。数据控制力最强，资本开支可预测；适合稳定、大用量或受监管的工作负载。代价是前期的 GPU 投入、采购周期、硬件老化，以及运转它所需的运维能力和人才。
沿四个维度来决策：数据隐私与合规、在你真实规模下的成本、定制化需求（微调后的权重、服务层优化），以及团队的运维能力。用实测的 TTFT、吞吐量和单次成功任务成本来比较各个选项，而不是用标价； 服务商 页面提供了一份评估清单。
选择模型
- 变体： 基座模型用于继续训练，真正对外提供服务的是指令微调版或对话版。小语言模型能以很低的成本处理窄任务。
- 架构： 稠密模型对每个 token 都会激活全部权重；混合专家（MoE）模型只激活其中一部分，用更大的显存占用和更复杂的服务，换取更低的单 token 计算量。
- 文本之外： 嵌入模型（检索、RAG）、重排序器、视觉语言模型、语音和图像模型；很多产品在一次请求里会串联其中好几个。
- 权重格式： safetensors 是 GPU 服务的标准格式；GGUF 面向 llama.cpp 这类本地和 CPU 运行时，通常已经预先量化（例如 Q4/Q5/Q8 等级）。
- 获取渠道： 模型平台（Hugging Face、ModelScope）负责分发权重，往往设有许可门槛、需要登录后才能下载；在权重进入生产之前先把许可条款读一遍。
选择 GPU
该比较什么
- VRAM：权重加 KV 缓存加额外开销的硬上限
- 显存带宽：决定解码速度，也就是受内存带宽约束的那个阶段
- 算力（张量核心 FLOPS）：决定预填充和批处理吞吐量
- 原生精度支持：FP8 及更新的格式需要较新的硬件代次
- 互联：如果要对模型做分片，节点内需要 NVLink 级别的链路，跨节点需要 InfiniBand 或 RoCE
现实约束
- 消费级显卡适合开发；数据中心卡在 VRAM、带宽和多 GPU 互联上更强
- 软件生态：CUDA 的工具链最成熟；ROCm 的支持程度因项目和版本而异
- 控制力、可得性和价格三者互相拉扯；买不到的最便宜型号根本不算选项
- 如果模型装不下，可用的手段是量化、张量并行或流水线并行，以及 KV 卸载，每一种都有各自的代价
显存这笔账算得平吗？
在租用任何机器之前先估算一遍。显存由三类消耗者共享：
- 1. 权重参数量 x 每个参数的字节数：FP16/BF16 下约 2 字节，FP8/INT8 下为 1 字节，INT4 下为 0.5 字节。一个 8B 模型在 FP16 下约 16 GB，在 INT4 下约 4.5 GB。再为运行时开销加上 10-20% 左右。
- 2. KV 缓存每个 token 大约是 2 x 层数 x KV 头数 x 头维度 x 每个值的字节数；再乘以所有并发序列在途的 token 数。在一张确定的卡上，真正限制并发数和上下文长度的就是它，这也是为什么长上下文服务首先是显存问题，其次才是算力问题。
- 3. 激活值与工作区中间缓冲区、CUDA 图和框架预留会占掉剩下的部分。要明确留出余量；利用率跑到 99% 的分配器，在第一个长请求上就会失败。
然后用你真实的提示词长度和输出长度做一次压测来验证，因为碎片化和调度器行为会把实际上限压到算术值以下。
选择服务框架
框架负责批处理、KV 缓存管理、流式输出和多 GPU 执行，而且大多提供兼容 OpenAI 的 API，让应用保持可移植。
生产级 GPU 服务
vLLM 和 SGLang 是主流的开源引擎（连续批处理、PagedAttention 式显存管理、结构化输出支持）。TensorRT-LLM 能在 NVIDIA 硬件上压榨出最高性能，但集成成本更高；LMDeploy 侧重量化后的高并发服务。
本地与边缘
llama.cpp（以及构建在它之上的 Ollama）借助 GGUF 量化覆盖 CPU 和单机场景；MLC-LLM 把模型编译到手机和浏览器上运行。它们优先考虑体积和可移植性，而不是总吞吐量。
- 先确认对模型架构的支持；跑不了你的模型的引擎，再快也没有意义。
- 决定用库模式（嵌入你自己的进程）还是服务模式（独立的服务）；生产环境几乎总是需要服务模式。
- 在你自己的工作负载上给候选名单做基准测试；排名会随模型、硬件和序列形态而反转。对比结果见 推理库 页面。