ReWorld: интерактивная модель мира с долгосрочной памятью
TongyiLab (Alibaba)
Интерактивная видео-модель мира, которая разделяет краткосрочное управление и неограниченную память при обучении и ограничивает их на инференсе. Смешанное per-head внимание направляет большинство голов в недавнее прошлое, тогда как несколько глобальных голов обращаются ко всей истории; фиксированного бюджета pose-indexed landmark KV-кэш удерживает всё прошлое в постоянном бюджете памяти; дистилляция с сопоставлением распределений в LoRA-адаптере сжимает сэмплинг до 4 шагов. Стримит 704x1280 видео в реальном времени.
Почему это важно
На 64-секундных разворотах туда-обратно фиксированный 12-чанковый кэш восстанавливает начальный вид там, где скользящие окна теряют данные, а full-KV внимание падает по OOM. Лучшая точность управления (ошибка поворота 11.95 градусов) и лучшее качество генерации против шести недавних базлайнов моделей мира.
Важность: 2/5
default