Новости

Safety as a Budget: Calibrating the Control Channel of Constrained GRPO for Vision-Language Models

arXiv cs.AI · Опубликовано 12 ноября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: Researchers improved constrained GRPO training for vision-language models by treating safety as explicit budgets on harmful and over-refusal rates rather than indirect reward weights.
Почему это важно: Matters for engineers building safety-aligned vision-language models who need direct control over acceptable refusal rates and harm thresholds.
На что обратить внимание: Method requires a calibrated scorer and judge-labeled training data; gains are largest for harms embedded in images, generalization to other domains unclear.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

arXiv cs.AI · Опубликовано 12 ноября 2026 г. · 3 мин чтения

Что произошло: Researchers improved constrained GRPO training for vision-language models by treating safety as explicit budgets on harmful and over-refusal rates rather than indirect reward weights.
Почему это важно: Matters for engineers building safety-aligned vision-language models who need direct control over acceptable refusal rates and harm thresholds.
На что обратить внимание: Method requires a calibrated scorer and judge-labeled training data; gains are largest for harms embedded in images, generalization to other domains unclear.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.