Руководство по инференсу
Инференс на периферии и мобильных устройствах
Развёртывание на периферии и мобильных устройствах
Разворачивайте поддерживаемые модели на мобильных, IoT и периферийных платформах. Совместимость и производительность зависят от конкретной модели, рантайма, ускорителя, бюджета памяти, операционной системы и тепловых ограничений.
MobileVLM
Опубликованная исследовательская визуально-языковая реализация с прицелом на мобильное развёртывание
Ключевые возможности
Опубликованные варианты 1.4B-2.7B
Оценка с фокусом на мобильные устройства
Демо на Snapdragon
Зрение на основе CLIP
Платформа: Исследовательские демо для Android/Jetson/десктопа
Ключевые возможности
Ранний доступ
Инструменты развёртывания
Фокус на разнородных вычислениях
Проверяйте поддерживаемые рантаймы
Платформа: Сверяйтесь с актуальным списком совместимости
Что учитывать в производительности
Использование памяти
Квантизация может сократить расход памяти, но выигрыш и потеря качества зависят от модели, точности, рантайма и набора для оценки
Время работы от батареи
Локальный инференс снижает нагрузку на сеть, но может увеличить вычисления и энергопотребление устройства; профилируйте сессию целиком
Аппаратное ускорение
Замеряйте доступные пути через NPU, GPU и CPU; самый быстрый бэкенд зависит от модели и устройства