benchmarks — AI Digest

5 сен OpenAI выпускает GPT-6 Astra — свою самую умную и выровненную модель OpenAI models-llm
17 авг LLMRouter: единая инфраструктура для разработки, оценки и развёртывания LLM-роутеров University of Illinois at Urbana-Champaign research
7 сен ARC Prize показывает: результат GPT-6 Astra в 99,9% на ARC-AGI-3 получен благодаря кастомному harness OpenAI, а не самой модели OpenAI research
13 июл Long-Horizon-Terminal-Bench: тестирование пределов агентов на длинных терминальных задачах Tencent Hunyuan research
13 сен Specific выпустила бенчмарк Real-SWE на задачах из приватных корпоративных кодовых баз Specific tools
24 сен The Tasteful Agent: измерение «вкуса» в задачах длинного горизонта Microsoft research
17 окт OmniCompass: целостный бенчмарк для омни-модального video grounding и понимания research
20 авг Demystifying Agent Skills: почему они работают — пока не перестают UC San Diego (Zhiyuan Jiang, Mengdi Wang, Yijiang Li et al.) research
23 авг EnvHarness: Awakening Static Worlds for Agent Learning Google research
17 окт FDE-Gym: бенчмарк агентов на задачах forward-deployed-инженерии research
27 июл K12-KGraph: граф знаний, привязанный к учебной программе, для бенчмаркинга и обучения образовательных LLM research
18 авг VibeWorlding: могут ли мультимодальные агенты создавать 3D-открытые миры от начала до конца? Tencent research
18 авг HarnessEval-W: агентное превращение оценки визуальных миров NTU / MirroS-Lab consortium research
24 авг SWE-bench Science: могут ли кодинг-агенты решать инженерные задачи в науке? OpenMOSS research
15 сен Benchmark Radar: живая база данных и поисковая система по ИИ-бенчмаркам Carnegie Mellon University research
22 сен RecreationWorld: масштабируемые и верифицируемые окружения для гибридных computer-use-агентов Qwen (Alibaba) research
12 июл IdeaGene-Bench: бенчмарк для рассуждений о научной родословной и генерации идей Shanghai Jiao Tong University research
20 авг ASI-Bench: на заре искусственного суперинтеллекта 42-author consortium (lead: Junwei Zhou; incl. Chi Wang, Yilun Hao, Yuantao Zhai) research
7 сен Last Translation Benchmark: авторские задачи людей, которые всё ещё ломают frontier-модели перевода research
13 сен SpatialBlock: обучение LVLM пространственному мышлению на синтетике с блоками KAIST AI research
16 июл MWS AI выпускает Cotype Pro 3 (27B) и Light 3 (9B) для корпоративных ИИ-агентов MWS AI models-llm