AI推理指南

库与框架

推理库与框架

在应用中实现 AI 推理所需的核心工具和库，涵盖从底层优化库到上层服务框架的各个层次。

llama.cpp

支持量化的 LLaMA 推理 C++ 实现

主要特性

针对 CPU 优化

多种量化方式

跨平台

内存占用低

语言：C++

Ollama

基于 llama.cpp 构建、易于上手的本地模型服务

主要特性

接口简单

模型仓库

支持 Docker

REST API

语言：Go

vLLM

用于 LLM 推理与服务的开源库

主要特性

PagedAttention

连续批处理

GPU 加速

兼容 OpenAI

语言：Python

SGLang

面向语言模型与多模态模型的开源服务框架

主要特性

连续批处理

结构化输出

可选兼容 API

分布式服务

语言：Python/CUDA

TensorRT-LLM

NVIDIA 优化的推理库，在 NVIDIA GPU 上追求极致性能

主要特性

编译式引擎

飞行中批处理

支持量化

仅限 NVIDIA

语言：C++/Python

LMDeploy

用于压缩并部署 LLM 的工具包，侧重量化和高并发部署

主要特性

量化工具包

常驻批处理

可选兼容 API

多模型服务

语言：Python/CUDA

如何选择合适的库

本地开发

• Ollama - 以命令行为主的本地模型流程
• llama.cpp - 底层运行时与量化控制
• LM Studio - 适合入门的图形界面

生产服务

• vLLM - 高吞吐量与 GPU 优化
• SGLang - 结构化生成与分布式服务
• 服务商 API - 托管方案

Web 应用

• WebLLM - 在浏览器中推理
• BrowserAI - 支持 TypeScript
• Transformers.js - Hugging Face 模型

AI Inference Guide

AI推理指南

库与框架

推理库与框架

在应用中实现 AI 推理所需的核心工具和库，涵盖从底层优化库到上层服务框架的各个层次。

llama.cpp

支持量化的 LLaMA 推理 C++ 实现

主要特性

针对 CPU 优化

多种量化方式

跨平台

内存占用低

语言：C++

Ollama

基于 llama.cpp 构建、易于上手的本地模型服务

主要特性

接口简单

模型仓库

支持 Docker

REST API

语言：Go

vLLM

用于 LLM 推理与服务的开源库

主要特性

PagedAttention

连续批处理

GPU 加速

兼容 OpenAI

语言：Python

SGLang

面向语言模型与多模态模型的开源服务框架

主要特性

连续批处理

结构化输出

可选兼容 API

分布式服务

语言：Python/CUDA

TensorRT-LLM

NVIDIA 优化的推理库，在 NVIDIA GPU 上追求极致性能

主要特性

编译式引擎

飞行中批处理

支持量化

仅限 NVIDIA

语言：C++/Python

LMDeploy

用于压缩并部署 LLM 的工具包，侧重量化和高并发部署

主要特性

量化工具包

常驻批处理

可选兼容 API

多模型服务

语言：Python/CUDA

如何选择合适的库

本地开发

• Ollama - 以命令行为主的本地模型流程
• llama.cpp - 底层运行时与量化控制
• LM Studio - 适合入门的图形界面

生产服务

• vLLM - 高吞吐量与 GPU 优化
• SGLang - 结构化生成与分布式服务
• 服务商 API - 托管方案

Web 应用

• WebLLM - 在浏览器中推理
• BrowserAI - 支持 TypeScript
• Transformers.js - Hugging Face 模型