rl — AI Digest

17 июн VibeThinker-3B достигает показателей frontier-уровня на бенчмарках рассуждений через curriculum RL WeiboAI research

18 июл OpenAI представила GPT-Red — внутреннюю модель для автоматизированного red-teaming защиты от prompt-injection OpenAI research

19 авг StateM: масштабирование harness поднимает GPT-5.6 Sol до 95,3% на Terminal-Bench 2.1, и тот же harness адаптируется к DeepSeek-V4 Flash при общих затратах $15 research

3 мая Exploration Hacking: LLM можно дообучить для стратегического противодействия RL-обучению research

9 мая OpenAI раскрывает случайное использование оценки цепочки рассуждений при RL-обучении шести моделей OpenAI research

10 мая AI Co-Mathematician от Google DeepMind достигает 48% на FrontierMath Tier 4 Google DeepMind research

11 мая Flow-OPD: on-policy дистилляция даёт +29 пунктов по GenEval на Stable Diffusion 3.5 research

13 мая RubricEM: мета-RL с декомпозицией политики под руководством рубрик за пределами верифицируемых наград Google research

15 мая SU-01: рассуждения на уровне золотой медали олимпиады через curriculum SFT и двухэтапный RL SU-01 Team research

20 мая SkillsVote: Lifecycle Governance of Agent Skills — Collection, Recommendation, Evolution (219 HF upvotes) Memtensor Research Group / IAAR-Shanghai research

26 июн Qwen-AgentWorld: языковые мировые модели для универсальных агентов на 35B и 397B параметров Qwen Team, Alibaba research

2 июл Dockerless: верификатор программ без окружения для агентов кодирования ByteDance research

2 июл DOPD: двойная on-policy дистилляция с advantage-aware маршрутизацией токенов research

7 июл Мираж оптимизации политик обучения: монотонные политики инференса как реальная цель для RL языковых моделей Tianjin University / Alibaba research

13 июл Long-Horizon-Terminal-Bench: тестирование пределов агентов на длинных терминальных задачах Tencent Hunyuan research

27 июл Molt: масштабируемый PyTorch-native фреймворк для обучения агентного reinforcement learning NVIDIA research

16 авг Intern-S2-Preview: научная агентская базовая модель на 397B от Shanghai AI Lab Shanghai AI Lab research

18 авг ClawGym II: исследование чёрно-ящичного RL на обвязке агента Renmin University of China research

28 авг WarpSAC: на пути к вершине масштабируемого off-policy RL через переосмысление исследования и эксплуатации research

14 сен Recurrent Looped Transformer: вирусный технический отчёт заявляет «бесконечную временную глубину» для латентного ризонинга Princeton University research

15 сен DataFlex-RL: оценочная платформа показала, что политики отбора данных для RLVR не превосходят равномерный сэмплинг Peking University research

22 сен CodeMidas: масштабирование RL-окружений агентного кодинга из самого кода Xiaomi MiMo research

10 мая Anthropic устраняет агентическое поведение шантажа у Claude с помощью «Teaching Claude Why» Anthropic research

10 июн DRPO: переосмысление дивергентной регуляризации в обучении с подкреплением для LLM Tencent Hunyuan research

8 июл LLM-as-a-Verifier: верификация как независимая ось масштабирования для LLM Stanford University / UC Berkeley / NVIDIA research

29 июл Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE Moonshot AI research

29 авг Agentic-разработка игр как верифицируемый движок траекторных данных для масштабирования world models NUS research

5 сен Terminal-Universe: превращение траекторий агентов в масштабируемые терминальные среды research

12 сен WMRL: масштабирование автоматических research-агентов через world-модели University of Illinois / NVIDIA research

13 сен NVIDIA открыла рецепт золотого уровня IMO с пайплайном Nemotron на естественном языке NVIDIA research

16 сен Dream-RSI: рекурсивное самоулучшение через эволюционирующие миры Google research

23 окт Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds Tsinghua THUSI-Lab, miHoYo research

4 мая Learning while Deploying: флитовое обучение с подкреплением превращает развёртывание роботов в непрерывный тренинг AGIBot research

6 мая Ctx2Skill: фреймворк самосовершенствования для автономного обнаружения навыков из контекста в LLM research

7 мая RLDX-1: Multi-Stream Action Transformer достигает 86,8% на гуманоидных задачах ALLEX RLWRLD research

9 мая OpenSearch-VL: открытый рецепт обучения мультимодальных агентов поиска Tencent Hunyuan research

16 мая SDAR: агентное обучение с подкреплением через самодистилляцию для многоходовых агентов Zhejiang University / Meituan research

2 июн GrepSeek: обучение поисковых агентов для прямого взаимодействия с корпусом через команды оболочки (93 апвоута на HF) University of Massachusetts Amherst research

4 июн ThoughtFold: интроспективное обучение предпочтениям сокращает токены рассуждения на 56% без потери точности research

8 июн Агентные трансформеры доказуемо обучаются поиску в глубину через обучение с подкреплением Carnegie Mellon University / Ohio State University research

10 июн Flow-DPPO: принципиальное RL-выравнивание для моделей генерации изображений и видео на основе flow matching Tencent Hunyuan research

11 июн Arbor: автономное ML-исследование через уточнение дерева гипотез NLPIR Lab research

11 июн Z-Reward: распределения оценок вместо скалярных наград для RLHF в генерации изображений Alibaba research

14 июн InterleaveThinker: RL-пайплайн «планировщик+критик» для перемежающейся генерации текста и изображений CUHK Multimedia Lab research

29 июн OPID: дистилляция навыков на собственной политике улучшает RL агентов с длинным горизонтом Institute of Automation, Chinese Academy of Sciences research

7 июл CompactionRL: обучение с подкреплением с компакцией контекста для long-horizon-агентов Zhipu AI / Tsinghua University research

17 июл SearchOS-V1: к устойчивой коллаборации агентов открытого поиска информации Ant Group / Renmin University research

17 июл SEED: самоэволюционирующая on-policy дистилляция для агентного обучения с подкреплением research

19 июл From Pixels to States: переосмысление интерактивных world models как игровых движков research

23 июл Beyond Euclidean Clipping: преодоление коллапса исследования в LLM RL через риманову изометрическую оптимизацию политики research

2 авг Frontis-MA1: обучение модели AI4AI для рекурсивного самоулучшения в машинном обучении Horizon Research, Frontis.AI, Tsinghua University research

5 авг DAPD: Dual-Anchored Policy Distillation research

5 авг Progressive Agent Skill Generation via Reinforcement Learning (Skill-α) The Chinese University of Hong Kong research

9 авг Recursive Synthetic Terminal Tasks генерирует более 37 000 проверяемых долгосрочных агентных задач research

9 авг DAPD выявляет режим отказа «иллюзия привилегии» в самодистилляции on-policy Shanghai AI Laboratory research

10 авг AgentOPSD: рекурсивная самодистилляция для агентного обучения с подкреплением Tsinghua University research

13 авг On-Policy Self-Distillation without Any Supervision research

23 авг EnvHarness: Awakening Static Worlds for Agent Learning Google research

23 авг FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis University of Science and Technology of China research

29 авг TTPO: оптимизация политики на этапе теста Zhejiang University research

29 авг Self-OPD: on-policy дистилляция для flow matching моделей без учителя research

8 сен Iris: Climbing to the Search Frontier research

10 сен Miles v0.1: RL-система пост-обучения продакшен-уровня RadixArk research

11 сен Cognition анонсирует кодинг-модель SWE-2 — почти уровень Fable 5.1 при цене на 64% ниже Cognition models-llm

18 сен Переосмысливая обучение критика в PPO: понимание и смягчение Value Flattening Shanghai AI Laboratory research

23 сен Intern-S2-397B: сильнейшая открытая научная мультимодальная модель Shanghai AI Lab Shanghai AI Laboratory (InternLM) models-llm

23 сен RRSI: регуляризованное рекурсивное самоулучшение агентных каркасов Google Research research

17 окт Waypoint-OPD: перенос RL-индуцированных сдвигов политики через gated on-policy distillation research

24 окт IQuest-Q1: развитие фундаментальных возможностей для агентных CLI-систем IQuest models-llm

2 мая CoPD: co-evolving policy distillation для унифицированных мультиспособных моделей research

5 мая Odysseus: обучение VLM для интерактивного принятия решений на 100+ ходов с помощью RL Princeton University research

3 июн TrOPD: Trust-Region On-Policy Distillation Stabilizes LLM Training When Teacher-Student Gap Is Large Samsung Research research

12 июн InterleaveThinker: RL-фреймворк для агентной генерации чередующегося текста и изображений research

12 июн FORT-Searcher: фреймворк обучающих данных, устойчивых к «срезанию углов», для агентов глубокого поиска research

12 июн Astra: VLM с RL-обучением запрашивает симулятор мира для пространственных рассуждений research

28 июн Горизонт верификации: ни одна функция вознаграждения не работает для агентов программирования при масштабировании Qwen (Alibaba) research

6 июл EvoPolicyGym: оценка итеративного самосовершенствования RL-политик агентами кодирования University of Macau / CUHK research

30 июл Передай эстафету: эстафетная on-policy дистилляция траекторий Zhejiang University research

17 авг DarwinX: эволюция каркасов агентов посредством естественного отбора Salesforce AI Research research

18 авг VibeWorlding: могут ли мультимодальные агенты создавать 3D-открытые миры от начала до конца? Tencent research

25 авг Prime Agent: самоулучшающийся RLM-харнесс Prime Intellect research

22 сен RecreationWorld: масштабируемые и верифицируемые окружения для гибридных computer-use-агентов Qwen (Alibaba) research

6 мая HeavySkill: интернализация «тяжёлого мышления» как обучаемого агентного навыка через RL research

12 мая NanoResearch: совместная эволюция навыков, памяти и политики для персонализированной AI-автоматизации исследований Shanghai AI Lab research

12 мая TMAS: масштабирование тестового вычисления через синергию мультиагентов с иерархической памятью research

18 мая BetaPRM: process rewards с учётом неопределённости сокращают расход reasoning-токенов на 33% research

19 мая NudgeRL: стратегические контекстные подсказки для эффективного исследования в RLVR KAIST AI research

3 июн QUBRIC: Co-Designing Queries and Rubrics Extends RLVR to Open-Ended Reasoning Domains research

9 июн О геометрии on-policy дистилляции: парадигма обучения, отличная от SFT и RLVR Hong Kong University of Science and Technology research

9 июн Слабые критики создают сильных учеников: On-Policy Critique Distillation для масштабируемого надзора Rutgers University research

17 июн ZPPO: дистилляция знаний через учителя-в-промптах превосходит градиентные методы для малых моделей рассуждений NVIDIA research

23 июн Агентные трансформеры доказуемо обучаются поиску через обучение с подкреплением research

26 июн OPRD: дистилляция представлений на политике для пост-обучения LLM research

4 июл VRRL: визуально заземлённая саморефлексия для моделей зрение-язык через RL UT Austin / Cornell research

7 июл Обобщение от слабого к сильному через прямую on-policy дистилляцию ByteDance / Tsinghua University research

9 июл RL-дообучение активно формирует стратегии композиционного рассуждения, а не просто усиливает базовые навыки research

18 июл LongStraw: RL с длинным контекстом свыше 2М токенов при фиксированном GPU-бюджете Mind Lab research

18 июл Ring-Zero: масштабирование zero RL до триллиона параметров для возникающего рассуждения inclusionAI research

21 июл Понимание рассуждения: от предобучения к пост-обучению research

24 июл AREX: к рекурсивно самосовершенствующемуся агенту для глубоких исследований Beijing Academy of Artificial Intelligence (BAAI) research

29 июл Skill Self-Play: расширение границ возможностей LLM с помощью совместно эволюционирующих навыков Alibaba research

3 авг От RLVR к RLSVR: преобразование задач порождает самопроверяемые вознаграждения для самосовершенствования LLM в открытых доменах research

4 авг Weak-to-Strong On-Policy Distillation Microsoft Research / University of Maryland / MBZUAI research

7 авг MerchantBench: оценка LLM-агентов на долгосрочную согласованность в операциях электронной коммерции Alibaba Group research

7 авг ABSeeker: обучение поисковых агентов с длинным горизонтом через распределение наград методом обратного отслеживания ответа Shanghai Jiao Tong University research

20 авг Agentic ESOpt: файнтюн long-horizon LLM-агентов с минимальными требованиями к GPU National University of Singapore (Zhi Zheng, Wee Sun Lee et al.) research

20 авг Co-RL: unsupervised reasoning возникает из разнообразной когорты в multi-agent RL UC San Diego (Yunhao Yang, Nuno Vasconcelos, Yijiang Li et al.) research

29 авг Understanding Evolution Strategies для рассуждений LLM: более широкое покрытие рассуждений, чем у GRPO research

1 сен DreamX-Creator: нативная совместная генерация аудио и видео в разрешении 2K AMAP-ML (Alibaba) research

1 сен Действительно ли on-policy дистилляция дистиллирует? Безучительская OPSA обгоняет её на AIME24 Purdue University research

1 сен Обзор: масштабирование reasoning-моделей за пределами человеческой супервизии по пятиуровневой лестнице автономии research

9 сен FlowBalance: самосовершенствование reasoning-моделей с опорой на верификатор research

10 сен OPRD: вызов weak-to-strong генерализации через on-policy обратную дистилляцию KAIST AI research

25 сен SpeakerMem-R1: центрированная на спикерах двухтрековая память для многосторонних диалогов Zhejiang University research

28 сен Рашка: фокус на post-training открытых весов, а не на pre-training research

28 апр Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond HKUST/NUS/Oxford/NTU research

28 апр World-R1: Reinforcing 3D Constraints for Text-to-Video Generation Microsoft Research research