evaluation — AI Digest

15 мая EVA-Bench: сквозной фреймворк для оценки голосовых агентов ServiceNow AI research
7 сен ARC Prize показывает: результат GPT-6 Astra в 99,9% на ARC-AGI-3 получен благодаря кастомному harness OpenAI, а не самой модели OpenAI research
18 мая SOOHAK: фронтирные LLM решают сложную математику, но не распознают неразрешимые задачи research
19 июн OpenAI публикует Deployment Simulation: предсказание поведения модели до релиза OpenAI research
7 июл GigaWorld-1: дорожная карта для построения моделей мира для оценки роботизированных политик GigaAI research
13 июл Long-Horizon-Terminal-Bench: тестирование пределов агентов на длинных терминальных задачах Tencent Hunyuan research
28 авг VGI-Bench: проверка визуального интеллекта в моделях генерации видео research
13 сен Specific выпустила бенчмарк Real-SWE на задачах из приватных корпоративных кодовых баз Specific tools
15 сен DataFlex-RL: оценочная платформа показала, что политики отбора данных для RLVR не превосходят равномерный сэмплинг Peking University research
17 окт Anthropic встраивает шесть сотрудников METR с доступом уровня сотрудников и описывает трёхуровневую рамку внешних оценщиков Anthropic industry
24 окт METR и Redwood провели ред-тиминг мониторинга агентов OpenAI и нашли обход песочницы Codex и Auto-Review METR research
8 июл LLM-as-a-Verifier: верификация как независимая ось масштабирования для LLM Stanford University / UC Berkeley / NVIDIA research
27 авг ClawProBench: trace-aware оценка AI-агентов с покрытием в рантайме research
5 сен Repo-To-Skill: дистилляция GitHub-репозиториев в переиспользуемые AI-скиллы research
5 сен Random Attention: переосмысление вытеснения KV-кэша для эффективного рассуждения Salesforce AI Research research
18 сен LimiX-2: Contextual Mechanism Network на пути к общему интеллекту на структурированных данных Stable AI research
23 сен GameHorizon Suite: данные и оценка мульти-горизонтного геймплея Tencent ARC research
17 окт OmniCompass: целостный бенчмарк для омни-модального video grounding и понимания research
17 окт OpenGCUA: к полностью открытому стеку для generalist computer use research
23 окт Deep Search in Real-World Web Environments research
18 мая Judge Circuits: механистическое объяснение непоследовательности LLM-as-judge по форматам research
14 июн EvoArena: LLM-агенты набирают лишь 40% в динамически изменяющихся средах MIT / NUS / Salesforce research
14 июн WeaveBench: агенты компьютерного использования проваливаются на гибридных задачах GUI+CLI — 41% успешных выполнений Microsoft Research research
3 июл PerceptionRubrics: атомарная рубричная оценка выявляет разрыв в 8% по восприятию между открытыми и закрытыми моделями research
8 июл AutomationBench-AA: независимый бенчмарк из 657 задач для AI-агентов в SaaS-автоматизации Artificial Analysis tools
10 авг OSReward: стандартизированная оценка кросс-платформенных reward-моделей для computer-use NLP Group of The University of Hong Kong research
19 авг Cline открывает исходники оценок на основе Terminal-Bench для open-weight кодинг-агентов Cline tools
2 сен StudentSim: обучение симуляторов студентов на базе LLM Microsoft Research research
5 сен Читаемость — не интерпретируемость: оценённая против реальной важности шагов в chain-of-thought research
21 сен Может ли MiniMax-H3 рассуждать о физическом мире? research
17 окт FDE-Gym: бенчмарк агентов на задачах forward-deployed-инженерии research
1 мая AutoResearchBench — бенчмарк автономного поиска научной литературы для AI-агентов BAAI research
12 июн EvoArena: LLM-агенты набирают лишь 39,6% на бенчмарке динамически меняющихся сред MIT research
21 июн FAPO: полностью автономная оптимизация промптов в многошаговых LLM-пайплайнах Cisco Foundation AI research
6 июл AgenticSTS: тестовый стенд с ограниченной памятью для LLM-агентов с длинным горизонтом Alaya Studio research
6 июл EvoPolicyGym: оценка итеративного самосовершенствования RL-политик агентами кодирования University of Macau / CUHK research
7 июл SWE-Together: многоходовой бенчмарк для оценки агентов программирования research
10 июл Ideas Have Genomes: фронтирные LLM набирают лишь 27% на бенчмарке рассуждений о научных родословных Shanghai Jiao Tong University research
27 июл K12-KGraph: граф знаний, привязанный к учебной программе, для бенчмаркинга и обучения образовательных LLM research
15 авг Как риторика может взломать оценки ИИ-ревьюеров? Разбор риторической чувствительности ИИ-систем научного рецензирования research
18 авг HarnessEval-W: агентное превращение оценки визуальных миров NTU / MirroS-Lab consortium research
28 авг PAWBench: как далеко мы от вероятностно согласованного world-моделирования? research
15 сен Benchmark Radar: живая база данных и поисковая система по ИИ-бенчмаркам Carnegie Mellon University research
19 июн Коллапс предпочтений мультимодального оценщика: кросс-модальное заражение в циклах самоэволюции агентов research
30 июн Формализация латентных мыслей: аксиоматический фреймворк для оценки репрезентаций рассуждений LLM University of British Columbia research
4 июл Улучшит ли масштабирование социальное моделирование с LLM? Исследование 85 моделей Stanford / Columbia / Tsinghua research
11 июл UniClawBench: бенчмарк для проактивных AI-агентов на реальных задачах University of Hong Kong research
8 авг OSReward тестирует кросс-платформенные модели вознаграждения для computer-use University of Hong Kong research
19 авг IBM Research измеряет, сколько агентской памяти реально нужно каждому ярусу моделей IBM Research research
27 авг FrontierChallenge: оценка выполнения научных workflow HKU + Apodex AI research
2 сен xAI опубликовала оценку биобезопасности Grok 4.6 от LatchBio xAI research
2 сен LoopArena: бенчмаркинг моделей как рантайм-контроллеров для loop engineering research
7 сен Last Translation Benchmark: авторские задачи людей, которые всё ещё ломают frontier-модели перевода research
7 сен RealSWE: бенчмарк кодинг-агентов, перестроенный вокруг реальных, небрежных пользовательских запросов research
9 сен Enoki: многоуровневое детектирование галлюцинаций из одного open IE-конвейера Skoltech research
18 сен Эмпирическое исследование дизайна харнессов для кодинг-агентов Zoom research
24 окт Всегда ли нужна сложная агентная память? Наивный RAG сильнее, чем мы думали research