Что произошло: Transformers now runs llama.cpp quants

Hugging Face Transformers now supports loading and running GGUF quantized models directly through the familiar from_pretrained API.

Почему это важно: Transformers now runs llama.cpp quants

Engineers building local AI applications on Apple Silicon Macs who want to use quantized models with standard Transformers workflows instead of separate tools.

На что обратить внимание: Transformers now runs llama.cpp quants

Currently limited to Apple Silicon Macs and requires specific PyTorch versions. Falls back to slower dequantization if compatible ggml kernels unavailable.

Новости

Transformers now runs llama.cpp quants

Hugging Face · Опубликовано 22 сентября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: Hugging Face Transformers now supports loading and running GGUF quantized models directly through the familiar from_pretrained API.
Почему это важно: Engineers building local AI applications on Apple Silicon Macs who want to use quantized models with standard Transformers workflows instead of separate tools.
На что обратить внимание: Currently limited to Apple Silicon Macs and requires specific PyTorch versions. Falls back to slower dequantization if compatible ggml kernels unavailable.

Читать статью целиком

llama

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.