Галлюцинации в моделях мира предсказуемы и предотвратимы
UC San Diego
Hansen и Wang переосмысляют галлюцинации в визуальных моделях мира как проблему покрытия данных, а не ёмкости модели. Выявлены три режима сбоев: перцептивный, маргинализованный по действиям и расходящийся по сцене. Выведены три внутримодельных сигнала, предсказывающих галлюцинации с корреляцией Спирмена около -0.80. Представлен MMBench2 — датасет из 427 часов и 210 задач с эталонными действиями и вознаграждениями. Обучение с учётом покрытия и дообучение с вознаграждением за любопытство позволяют адаптироваться к новым средам при наличии всего 50 траекторий. 41 голос на HF Daily Papers.
Почему это важно
Модели мира лежат в основе предиктивного управления для робототехники. Переосмысление галлюцинаций как проблемы покрытия данных и предоставление прогностических диагностических сигналов — практически применимые результаты с прямым влиянием на развёртывание роботов в новых средах.
Важность: 2/5
41 голос на HF Daily; практический результат для развёртывания моделей мира в робототехнике от UCSD