InfinityEdit: бесконечный видеомонтаж с лёгким Edit-Ignition-адаптером

Alibaba (Tongyi)

исследования офиц. + СМИ 2 ист. ~1 мин

Формализует «бесконечный видеомонтаж»: дан предыдущий сегмент и запрос на монтаж, модель должна сгенерировать следующий сегмент, продолжающий поток в рамках этого монтажа, и так бесконечно. Лёгкий адаптер с тремя attention-блоками (history cross-attention, causal temporal self-attention, edit cross-attention) селективно активируется только в чанке, где приходит монтаж; последующие чанки возвращаются к базовой модели с reset-анкером.

Почему это важно

Переводит видеомонтаж с допущения «на месте» на клип к потоковой формулировке, открывая воркфлоу длинных форм и живого монтажа. Доклад HF Daily с 33 upvotes 24 августа; команда Alibaba/Taobao из 12 авторов.

Важность: 2/5

HF Daily 33 upvotes

Источники

официальный arXiv abstract