Вербализация различий активаций с помощью автоэнкодеров на естественном языке
Авторы оценивают автоэнкодеры на естественном языке, реконструирующие внутренние активации модели через узкое горлышко естественного языка, как инструмент диффинга моделей на четырёх моделях из трёх семейств. Вербализации различий активаций восстанавливают скрытое секретное слово для большинства Taboo-организмов, NLA, обученный на базовой модели, переносится на лёгкие файнтюны без переобучения, а цель файнтюна восстанавливается, даже когда дообученная модель не генерирует ни одного токена, — причём наиболее информативные позиции находятся до пользовательского промпта.
Почему это важно
Восстановление цели файнтюна только из активаций, без сгенерированного вывода, — практический путь к аудиту того, что на самом деле изменил дифф модели.
Важность: 2/5
заметный метод интерпретируемости