distillation — AI Digest

19 авг S²VOPD: самообучаемая визуальная on-policy дистилляция поднимает Qwen3.5-4B с 70,7% до 77,4% на шести бенчмарках тонкого восприятия UC San Diego research
2 июл DOPD: двойная on-policy дистилляция с advantage-aware маршрутизацией токенов research
10 сен NSA, CISA и FBI обвинили шесть китайских AI-компаний в индустриальном масштабе дистилляции американских моделей industry
11 сен Отчёт Anthropic об угрозах называет Moonshot, DeepSeek и Alibaba в кампаниях дистилляции Anthropic research
21 июн Moebius: лёгкая модель инпейнтинга на 0,2 млрд параметров сравнялась с FLUX на 11,9 млрд Huazhong University of Science and Technology research
10 сен NeoHorse-1: рекурсивное самоулучшение через агентное пост-обучение TokenRhythm research
16 мая Causal Forcing++: 2-шаговая дистилляция для генерации интерактивного видео в реальном времени Tsinghua University research
16 мая SDAR: агентное обучение с подкреплением через самодистилляцию для многоходовых агентов Zhejiang University / Meituan research
4 июн ThoughtFold: интроспективное обучение предпочтениям сокращает токены рассуждения на 56% без потери точности research
5 авг DAPD: Dual-Anchored Policy Distillation research
13 авг On-Policy Self-Distillation without Any Supervision research
29 авг TTPO: оптимизация политики на этапе теста Zhejiang University research
29 авг Self-OPD: on-policy дистилляция для flow matching моделей без учителя research
17 окт Waypoint-OPD: перенос RL-индуцированных сдвигов политики через gated on-policy distillation research
14 мая AnyFlow: видеодиффузия с произвольным числом шагов через on-policy дистилляцию flow map MIT / NVIDIA research
3 июн TrOPD: Trust-Region On-Policy Distillation Stabilizes LLM Training When Teacher-Student Gap Is Large Samsung Research research
28 июн DanceOPD: дистилляция генеративных полей на основе онлайн-выборки для унифицированной генерации изображений ByteDance Seed research
30 июл Передай эстафету: эстафетная on-policy дистилляция траекторий Zhejiang University research
25 авг ReWorld: интерактивная модель мира с долгосрочной памятью TongyiLab (Alibaba) research
25 июн Anthropic обвиняет Alibaba в крупнейшей известной атаке дистилляции Claude: 28,8 млн диалогов Anthropic industry
24 июл Представитель Белого дома обвинил Moonshot AI в дистилляции Fable от Anthropic для создания Kimi K3; эксперты возражают Moonshot AI industry
9 июн О геометрии on-policy дистилляции: парадигма обучения, отличная от SFT и RLVR Hong Kong University of Science and Technology research
9 июн Слабые критики создают сильных учеников: On-Policy Critique Distillation для масштабируемого надзора Rutgers University research
17 июн ZPPO: дистилляция знаний через учителя-в-промптах превосходит градиентные методы для малых моделей рассуждений NVIDIA research
7 июл Обобщение от слабого к сильному через прямую on-policy дистилляцию ByteDance / Tsinghua University research
4 авг Weak-to-Strong On-Policy Distillation Microsoft Research / University of Maryland / MBZUAI research
11 авг Agent Memory Distillation: усиление малых LLM-агентов иерархической памятью учителя research
27 авг TRL v1.11.0 переписывает trl vllm-serve (~в10 раз меньше кода) и выпускает AsyncDistillationTrainer Hugging Face tools
1 сен Действительно ли on-policy дистилляция дистиллирует? Безучительская OPSA обгоняет её на AIME24 Purdue University research
6 сен Rethinking On-Policy Distillation of LLMs II: почти полные выгоды с одного тренировочного примера research
10 сен OPRD: вызов weak-to-strong генерализации через on-policy обратную дистилляцию KAIST AI research
21 сен When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation research
17 окт Anthropic детализирует защиты от атак дистилляции моделей Anthropic research