Новости
Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking
arXiv cs.AI · Опубликовано · 3 мин чтения
За 30 секунд
- Что произошло
- Researchers demonstrated that poisoning just 1.2% of an AI agent's memory with false statements drops accuracy from 85% to 30%, and content screening fails to catch it.
- Почему это важно
- Matters for engineers building AI systems with persistent memory or retrieval-augmented generation that store and reuse information across sessions.
- На что обратить внимание
- Current defenses like content screening and provenance weighting either fail entirely or create unusable tradeoffs between blocking poison and allowing legitimate untrusted sources.
Послушать это резюме
- agent
- retriever
- prompt
- prompt injection
- eval
Паттерны, стоящие за этой новостью
Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.