Что произошло: What We Learned by Reproducing 2,200 papers from ICML

A hackathon reproduced 2,226 ICML 2026 papers using coding agents, finding 51% had verified claims and 23% had falsified or contested claims.

Почему это важно: What We Learned by Reproducing 2,200 papers from ICML

Matters for researchers evaluating conference paper reliability and for those using AI agents to audit scientific work at scale.

Reproducibility is adversarial, not binary. Independent teams reached opposite verdicts on same claims. Missing artifacts limited many reproductions.

Новости

Hugging Face · Опубликовано 13 августа 2026 г. · 3 мин чтения

Что произошло: A hackathon reproduced 2,226 ICML 2026 papers using coding agents, finding 51% had verified claims and 23% had falsified or contested claims.
Почему это важно: Matters for researchers evaluating conference paper reliability and for those using AI agents to audit scientific work at scale.
На что обратить внимание: Reproducibility is adversarial, not binary. Independent teams reached opposite verdicts on same claims. Missing artifacts limited many reproductions.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.