AutoSaddler: автоматическая оптимизация харнесса с устойчивыми обновлениями по трассам исполнения агента

Microsoft

исследования офиц. + СМИ 2 ист. ~1 мин

Фреймит улучшение харнесса как задачу оффлайн-обучения и итеративно обновляет харнесс по сигналам отказов в мини-батчах. Сочетает диагностику трасс отказов, генерацию структурированных патчей, обращающихся с харнессом как с кодом, и выбор обновлений на основе валидации. На GAIA2 / SWE-Bench Pro / Terminal-Bench 2.0 приросты составляют 9,0 / 9,6 / 10,0 процентных пунктов соответственно. Абляции изолируют три эффективных ингредиента: глубокую отладку вместо поверхностной рефлексии, таргетированные, а не неограниченные правки, и учитывающую обобщение, а не специфичную для траектории селекцию.

Почему это важно

HF Daily 33 апвоута 26 августа. От Microsoft: автоматическая инженерия харнесса — точка приложения рычага для надёжности агентов, и абляция изолирует конкретные дизайн-решения (глубокая отладка, таргетированные патчи, селекция с учётом обобщения), которые реально сдвигают стрелку.

Важность: 3/5

HF Daily 33 апвоута

Источники

официальный arXiv abstract