long-context — AI Digest

30 апр DeepSeek V4: официальный open-source релиз с Day-0 адаптацией под Huawei Ascend DeepSeek models-llm

2 мая xAI завершила выкатку Grok 4.3 в API: контекст 1M, нативное видео и снижение цены ~40% xAI models-llm

2 июн MiniMax выпускает M3: открытая фронтирная модель с контекстом 1M токенов и архитектурой MSA MiniMax models-llm

8 июн NVIDIA Nemotron 3 Ultra: открытая модель 550B MoE теперь доступна для агентных задач NVIDIA models-llm

10 июн MiniMax M3 с открытыми весами: контекст 1M, MoE и кодирование на уровне лучших моделей MiniMax models-llm

17 июн Zhipu AI открывает GLM-5.2 под лицензией MIT с контекстом 1M токенов Zhipu AI models-llm

19 июн Zhipu AI выпускает открытые веса GLM-5.2: 753B MoE с контекстом 1M токенов под лицензией MIT Zhipu AI / Z.ai models-llm

17 июл Moonshot AI выпустила Kimi K3 — модель с открытыми весами на 2,8 трлн параметров Moonshot AI models-llm

25 авг Apodex 1.1: масштабирование агентного интеллекта для сложных задач Apodex research

11 сен DeepSeek V4.1 Flash выходит в GA с открытыми весами по MIT и выводом V4 Pro из эксплуатации DeepSeek models-llm

23 окт MiniMax открывает исходники M3.1 Flash — агентной MoE на 428 млрд параметров с контекстом 1M MiniMax models-llm

24 окт Moonshot AI выпустила Kimi K3.1 Pro — open-weight модель класса 3T с контекстом 1M Moonshot models-llm

28 авг Tencent открывает исходники Hy4 preview: 770B / 49B-active MoE с Gated DSA + iHC, контекст 1M, Apache 2.0 Tencent models-llm

15 мая SU-01: рассуждения на уровне золотой медали олимпиады через curriculum SFT и двухэтапный RL SU-01 Team research

4 июл Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research

14 авг DeepSeek-V4-Pro reaches general availability, prices jump up to 1,100% from Aug 16 DeepSeek models-llm

15 сен Tencent Hunyuan открывает SAS — маршрутизаторы разреженного внимания, обученные end-to-end на Qwen3 Tencent Hunyuan research

23 окт iFLYTEK представила Spark X2.6, обученную полностью на отечественных чипах, и открыла исходники модели на 4B iFLYTEK models-llm

18 мая RoPE доказуемо не справляется с длинными контекстами: locality bias и согласованность токенов нарушаются research

14 июн Moonshot AI выпускает Kimi K2.7-Code: открытая модель с 1T параметрами для программирования и поддержкой зрения Moonshot AI models-llm

14 июн MiniMax Sparse Attention: сокращение вычислений в 28 раз при контексте 1M токенов без потери качества MiniMax research

29 июл Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE Moonshot AI research

27 авг IBM выпускает reasoning-LLM Granite 4.2 (3B/8B/30B, Apache 2.0, контекст 512K), обученные на ~15T токенов с GRPO RL на GB200 NVL72 IBM models-llm

16 мая MemLens: бенчмарк мультимодальной долгосрочной памяти для моделей визуального языка NVIDIA research

4 июн Echo-Infinity: генерация бесконечного видео в реальном времени через обучаемый Memory Query research

8 июн GitHub Copilot получает контекстное окно в 1M токенов и настраиваемые уровни рассуждений GitHub / Microsoft tools

14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools

7 июл CompactionRL: обучение с подкреплением с компакцией контекста для long-horizon-агентов Zhipu AI / Tsinghua University research

2 авг Metis: базовая модель памяти MemTensor, Renmin University, NUS, Shanghai Jiao Tong University, Tongji University research

20 авг Demystifying Agent Skills: почему они работают — пока не перестают UC San Diego (Zhiyuan Jiang, Mengdi Wang, Yijiang Li et al.) research

27 авг Zhipu выпускает GLM-5.3-Flash — первую нативно мультимодальную модель линейки GLM-5 Zhipu AI / Z.ai models-llm

27 авг Qwen3.8-Flash-Next выпущена как экспериментальный превью архитектуры Qwen4 Alibaba (Qwen Team) models-llm

1 сен Команда Qwen раскрыла архитектуру Qwen3.8-Next: гибридное внимание, n-gram эмбеддинги, Muon Qwen (Alibaba) research

7 сен LatentPress: сжатие контекста в непрерывные memory-токены, которые замороженная LLM читает напрямую research

12 сен Ant Group открыла Ling-3.0-flash-Fin — свою первую модель с усилением под финансы Ant Group models-llm

18 сен DeepSeek-V4.1-Flash: пределы сжатия KV-кэша DeepSeek research

3 июн Do Language Models Need Sleep? Offline Recurrence as Memory Consolidation for Improved Inference Google / CMU research

14 июн Zhipu AI выпускает GLM-5.2: MoE с 744B параметрами, контекстом 1M токенов и фокусом на программирование Zhipu AI models-llm

6 июл AgenticSTS: тестовый стенд с ограниченной памятью для LLM-агентов с длинным горизонтом Alaya Studio research

13 июл Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE MIT / NVIDIA research

17 авг Intern-S2-Mobius: фундаментальная модель с разделёнными знаниями и рассуждением Shanghai AI Lab research

25 авг Prime Agent: самоулучшающийся RLM-харнесс Prime Intellect research

25 авг ReWorld: интерактивная модель мира с долгосрочной памятью TongyiLab (Alibaba) research

8 июн SubtleMemory: бенчмарк выявляет систематические провалы агентов в тонком реляционном запоминании research

10 июн SearchSwarm: обучаемое делегирование для LLM-агентов в долгосрочных исследовательских задачах research

3 июл FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research

18 июл LongStraw: RL с длинным контекстом свыше 2М токенов при фиксированном GPU-бюджете Mind Lab research

23 июл vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов vLLM / Moonshot AI tools

11 авг Motif 3: технический отчёт Motif Technologies research

2 сен Волна llama.cpp за 1–2 сентября: +4,9% к генерации от фикса n-gram-поиска, слитый CUDA-редукшн для MoE ggml tools

8 сен Language Models Can Control Their Own Attention research

24 окт vLLM обслуживает контексты GLM-5.3 на 1M токенов на 16 H200 с PCP, DCP и Hybrid HiSparse vLLM tools