long-context — AI Digest

30 апр DeepSeek V4: официальный open-source релиз с Day-0 адаптацией под Huawei Ascend DeepSeek models-llm
2 мая xAI завершила выкатку Grok 4.3 в API: контекст 1M, нативное видео и снижение цены ~40% xAI models-llm
2 июн MiniMax выпускает M3: открытая фронтирная модель с контекстом 1M токенов и архитектурой MSA MiniMax models-llm
8 июн NVIDIA Nemotron 3 Ultra: открытая модель 550B MoE теперь доступна для агентных задач NVIDIA models-llm
10 июн MiniMax M3 с открытыми весами: контекст 1M, MoE и кодирование на уровне лучших моделей MiniMax models-llm
17 июн Zhipu AI открывает GLM-5.2 под лицензией MIT с контекстом 1M токенов Zhipu AI models-llm
19 июн Zhipu AI выпускает открытые веса GLM-5.2: 753B MoE с контекстом 1M токенов под лицензией MIT Zhipu AI / Z.ai models-llm
17 июл Moonshot AI выпустила Kimi K3 — модель с открытыми весами на 2,8 трлн параметров Moonshot AI models-llm
25 авг Apodex 1.1: масштабирование агентного интеллекта для сложных задач Apodex research
15 мая SU-01: рассуждения на уровне золотой медали олимпиады через curriculum SFT и двухэтапный RL SU-01 Team research
4 июл Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research
14 авг DeepSeek-V4-Pro reaches general availability, prices jump up to 1,100% from Aug 16 DeepSeek models-llm
18 мая RoPE доказуемо не справляется с длинными контекстами: locality bias и согласованность токенов нарушаются research
14 июн Moonshot AI выпускает Kimi K2.7-Code: открытая модель с 1T параметрами для программирования и поддержкой зрения Moonshot AI models-llm
14 июн MiniMax Sparse Attention: сокращение вычислений в 28 раз при контексте 1M токенов без потери качества MiniMax research
29 июл Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE Moonshot AI research
16 мая MemLens: бенчмарк мультимодальной долгосрочной памяти для моделей визуального языка NVIDIA research
4 июн Echo-Infinity: генерация бесконечного видео в реальном времени через обучаемый Memory Query research
8 июн GitHub Copilot получает контекстное окно в 1M токенов и настраиваемые уровни рассуждений GitHub / Microsoft tools
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
7 июл CompactionRL: обучение с подкреплением с компакцией контекста для long-horizon-агентов Zhipu AI / Tsinghua University research
2 авг Metis: базовая модель памяти MemTensor, Renmin University, NUS, Shanghai Jiao Tong University, Tongji University research
20 авг Demystifying Agent Skills: почему они работают — пока не перестают UC San Diego (Zhiyuan Jiang, Mengdi Wang, Yijiang Li et al.) research
3 июн Do Language Models Need Sleep? Offline Recurrence as Memory Consolidation for Improved Inference Google / CMU research
14 июн Zhipu AI выпускает GLM-5.2: MoE с 744B параметрами, контекстом 1M токенов и фокусом на программирование Zhipu AI models-llm
6 июл AgenticSTS: тестовый стенд с ограниченной памятью для LLM-агентов с длинным горизонтом Alaya Studio research
13 июл Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE MIT / NVIDIA research
17 авг Intern-S2-Mobius: фундаментальная модель с разделёнными знаниями и рассуждением Shanghai AI Lab research
25 авг Prime Agent: самоулучшающийся RLM-харнесс Prime Intellect research
25 авг ReWorld: интерактивная модель мира с долгосрочной памятью TongyiLab (Alibaba) research
8 июн SubtleMemory: бенчмарк выявляет систематические провалы агентов в тонком реляционном запоминании research
10 июн SearchSwarm: обучаемое делегирование для LLM-агентов в долгосрочных исследовательских задачах research
3 июл FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research
18 июл LongStraw: RL с длинным контекстом свыше 2М токенов при фиксированном GPU-бюджете Mind Lab research
23 июл vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов vLLM / Moonshot AI tools
11 авг Motif 3: технический отчёт Motif Technologies research