Маска — не модель: аудит prefix-инвариантности в attention, state-space и гибридных sequence-моделях
Формализует prefix-инвариантность и вводит лёгкий аудит с двумя forward-проходами без обучения или градиентов, выдающий per-layer скор, точно указывающий, где ломается каузальность. Среди 192 injected-fault испытаний на восьми чекпоинтах инспекция маски не обнаружила ни одной, тогда как предложенный аудит локализовал все 192 на точный слой. Статический и динамический анализ кода chunked-scan в трансформерах обнажил тот же дефект в Zamba2 и Nemotron-H, отслеженный до межчанковой axis-ошибки, исправленной через референсную реализацию.
Почему это важно
HF Daily 29 апвоутов 25 августа. Аудит нашёл реальные дефекты каузальности в выпущенных гибридных моделях, которые стандартная проверка поля (инспекция attention-маски) пропустила. Это практический инструмент механистической интерпретации, превращающий пропертный инвариант в per-layer диагностику.
Важность: 3/5
HF Daily 29 апвоутов + баги найдены в опубликованных моделях