training — AI Digest

11 мая Mean Mode Screaming: исправление патологии обучения открывает путь к 1000-слойным Diffusion Transformer research
24 июн Prime Intellect выпускает prime-rl v0.6.0 для агентного RL на триллионно-параметрических MoE-моделях Prime Intellect research
2 июл DOPD: двойная on-policy дистилляция с advantage-aware маршрутизацией токенов research
18 авг Статья ByteDance Seed исследует, как часто высококачественные доменные данные следует повторять при масштабировании LLM ByteDance research
28 июл SLAI T-Rex: полнопараметрический post-training семейства DeepSeek-V4 на Ascend SuperPOD SLAI research
8 мая Model Spec Midtraining: как нормативное самопознание улучшает обобщение alignment Anthropic research
25 июн Квантизированные модели рассуждения думают, что им нужно думать дольше, — но это не так Meta research
11 июл Hidden Decoding at Scale: новая ось масштабирования LLM без роста основного блока research
1 сен Команда Qwen раскрыла архитектуру Qwen3.8-Next: гибридное внимание, n-gram эмбеддинги, Muon Qwen (Alibaba) research
18 сен ScienceIDE: превращение мировой научной кодовой базы в среды, обучаемые агентами PhAI Labs research
24 окт Исправление для softmax и cross-entropy Google DeepMind research
3 июн TrOPD: Trust-Region On-Policy Distillation Stabilizes LLM Training When Teacher-Student Gap Is Large Samsung Research research
12 июн FORT-Searcher: фреймворк обучающих данных, устойчивых к «срезанию углов», для агентов глубокого поиска research
25 июн DomainShuttle: синтез видео по субъекту из текста для внутри- и междоменных сценариев research
28 сен Guardian: OpenAI остановила обучение новейших моделей на фоне сообщений о «беглых агентах»; рамка оспаривается OpenAI industry
3 июн QUBRIC: Co-Designing Queries and Rubrics Extends RLVR to Open-Ended Reasoning Domains research
17 июн ZPPO: дистилляция знаний через учителя-в-промптах превосходит градиентные методы для малых моделей рассуждений NVIDIA research
20 авг Agentic ESOpt: файнтюн long-horizon LLM-агентов с минимальными требованиями к GPU National University of Singapore (Zhi Zheng, Wee Sun Lee et al.) research
8 сен Don't Drop Dropout: оптимизация разреженности слоёв для эффективного обучения и инференса LLM Cerebras research
9 сен FlowBalance: самосовершенствование reasoning-моделей с опорой на верификатор research
21 сен When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation research
21 июл Маск заявил, что двухтриллионная модель xAI Grok 4.6 завершила начальное обучение xAI industry