Решения, которые принимаются до любого запуска: как размещена модель, какие модель и GPU подходят нагрузке, сходится ли арифметика памяти и какой фреймворк сервинга её запускает.
Провайдер размещает модель и выставляет счёт за токены. Самый быстрый старт, нулевая эксплуатация GPU, эластичность по умолчанию. Вы принимаете его модели, лимиты, условия работы с данными и кривую цен; при устойчивых объёмах это обычно самый дорогой путь.
Вы арендуете GPU и сами поднимаете стек сервинга (vLLM, SGLang, TensorRT-LLM). Полный контроль над моделями, версиями и оптимизациями вроде кеширования префиксов или дизагрегации в обмен на реальную DevOps-нагрузку: мощности, обновления и реакция на инциденты становятся вашими.
Вендор запускает свою платформу сервинга внутри вашего облачного аккаунта: его control plane, ваш data plane. Данные остаются в вашем VPC ради суверенитета и соответствия требованиям, используются ваши кредиты и скидки за обязательства по потреблению, снижается плата за исходящий трафик, а большая часть эксплуатации отдана вендору.
Ваше оборудование, ваш дата-центр. Максимальный контроль над данными и предсказуемые капитальные затраты; подходит для стабильных, высокообъёмных или регулируемых нагрузок. Цена вопроса: первоначальные вложения в GPU, сроки поставки, устаревание железа, а также эксплуатация и специалисты для неё.
Решение принимается по четырём осям: приватность данных и соответствие требованиям, стоимость на вашем реальном масштабе, потребность в кастомизации (дообученные веса, оптимизации на уровне сервинга) и эксплуатационные возможности команды. Сравнивайте варианты по измеренным TTFT, пропускной способности и стоимости успешно выполненной задачи, а не по прайс-листам; страница провайдеры содержит чек-лист для оценки.
Оцените до того, как что-то арендовать. Память GPU делят три потребителя:
Затем проверьте расчёт нагрузочным тестом на реальных длинах промптов и ответов, потому что фрагментация и поведение планировщика опускают практический предел ниже арифметического.
Фреймворк отвечает за батчинг, управление KV-кешем, стриминг и исполнение на нескольких GPU, и большинство из них дают OpenAI-совместимый API, чтобы приложения оставались переносимыми.
vLLM и SGLang являются основными открытыми движками (непрерывный батчинг, управление памятью в стиле PagedAttention, поддержка структурированного вывода). TensorRT-LLM выжимает максимум производительности на оборудовании NVIDIA ценой более высокой стоимости интеграции; LMDeploy делает ставку на квантованный сервинг с высокой конкурентностью.
llama.cpp (и Ollama поверх него) закрывает работу на CPU и на одной машине с квантизацией GGUF; MLC-LLM компилирует модели для телефонов и браузеров. Здесь в приоритете размер и переносимость, а не суммарная пропускная способность.