evaluation — AI Digest

15 мая EVA-Bench: сквозной фреймворк для оценки голосовых агентов ServiceNow AI research
18 мая SOOHAK: фронтирные LLM решают сложную математику, но не распознают неразрешимые задачи research
19 июн OpenAI публикует Deployment Simulation: предсказание поведения модели до релиза OpenAI research
7 июл GigaWorld-1: дорожная карта для построения моделей мира для оценки роботизированных политик GigaAI research
13 июл Long-Horizon-Terminal-Bench: тестирование пределов агентов на длинных терминальных задачах Tencent Hunyuan research
8 июл LLM-as-a-Verifier: верификация как независимая ось масштабирования для LLM Stanford University / UC Berkeley / NVIDIA research
18 мая Judge Circuits: механистическое объяснение непоследовательности LLM-as-judge по форматам research
14 июн EvoArena: LLM-агенты набирают лишь 40% в динамически изменяющихся средах MIT / NUS / Salesforce research
14 июн WeaveBench: агенты компьютерного использования проваливаются на гибридных задачах GUI+CLI — 41% успешных выполнений Microsoft Research research
3 июл PerceptionRubrics: атомарная рубричная оценка выявляет разрыв в 8% по восприятию между открытыми и закрытыми моделями research
8 июл AutomationBench-AA: независимый бенчмарк из 657 задач для AI-агентов в SaaS-автоматизации Artificial Analysis tools
10 авг OSReward: стандартизированная оценка кросс-платформенных reward-моделей для computer-use NLP Group of The University of Hong Kong research
19 авг Cline открывает исходники оценок на основе Terminal-Bench для open-weight кодинг-агентов Cline tools
1 мая AutoResearchBench — бенчмарк автономного поиска научной литературы для AI-агентов BAAI research
12 июн EvoArena: LLM-агенты набирают лишь 39,6% на бенчмарке динамически меняющихся сред MIT research
21 июн FAPO: полностью автономная оптимизация промптов в многошаговых LLM-пайплайнах Cisco Foundation AI research
6 июл AgenticSTS: тестовый стенд с ограниченной памятью для LLM-агентов с длинным горизонтом Alaya Studio research
6 июл EvoPolicyGym: оценка итеративного самосовершенствования RL-политик агентами кодирования University of Macau / CUHK research
7 июл SWE-Together: многоходовой бенчмарк для оценки агентов программирования research
10 июл Ideas Have Genomes: фронтирные LLM набирают лишь 27% на бенчмарке рассуждений о научных родословных Shanghai Jiao Tong University research
27 июл K12-KGraph: граф знаний, привязанный к учебной программе, для бенчмаркинга и обучения образовательных LLM research
15 авг Как риторика может взломать оценки ИИ-ревьюеров? Разбор риторической чувствительности ИИ-систем научного рецензирования research
18 авг HarnessEval-W: агентное превращение оценки визуальных миров NTU / MirroS-Lab consortium research
19 июн Коллапс предпочтений мультимодального оценщика: кросс-модальное заражение в циклах самоэволюции агентов research
30 июн Формализация латентных мыслей: аксиоматический фреймворк для оценки репрезентаций рассуждений LLM University of British Columbia research
4 июл Улучшит ли масштабирование социальное моделирование с LLM? Исследование 85 моделей Stanford / Columbia / Tsinghua research
11 июл UniClawBench: бенчмарк для проактивных AI-агентов на реальных задачах University of Hong Kong research
8 авг OSReward тестирует кросс-платформенные модели вознаграждения для computer-use University of Hong Kong research
19 авг IBM Research измеряет, сколько агентской памяти реально нужно каждому ярусу моделей IBM Research research