SWE-Bench ProMax: тестирование агентов на масштабном мультиязычном рефакторинге кода

Новый бенчмарк из 170 тщательно отобранных задач по рефакторингу кода на семи языках программирования, созданный для устранения проблем с качеством и тестовыми наборами, найденных в прежних вариантах SWE-Bench. Лучший из оценённых кодинг-агентов решает лишь 41,2% задач, что показывает, что текущие агенты всё ещё испытывают трудности с масштабным мультиязычным рефакторингом.