inference — AI Digest

18 авг Stripe приобретает OpenRouter более чем за $7 млрд, объединяя маршрутизацию AI-моделей и платежи под одной крышей industry
26 авг OpenAI представила Jalapeño — 700-ваттный inference-ASIC на архитектуре Broadcom, опережающий Nvidia Blackwell по показателю токенов на ватт OpenAI industry
7 мая xAI выпустила Grok 4.3 с контекстом 1M токенов, снижением цен на 40–60% и улучшенными результатами в агентных бенчмарках xAI models-llm
13 мая Codex-Spark (GPT-5.3-Codex-Spark) Research Preview: модель для кодирования с 1000+ токенов/сек OpenAI tools
20 мая Gemini 3.5 Flash Released at Google I/O 2026: Frontier Coding + Agentic at Flash Speed Google DeepMind models-llm
8 июн NVIDIA Nemotron 3 Ultra: открытая модель 550B MoE теперь доступна для агентных задач NVIDIA models-llm
25 июн OpenAI и Broadcom представили Jalapeño — первый собственный чип OpenAI для инференса OpenAI industry
25 июн Qualcomm приобретает Modular за $3,92 млрд для противостояния привязке к CUDA Qualcomm industry
13 июл vLLM v0.25.0: Model Runner V2 по умолчанию, PagedAttention выведен, паритет с Transformers backend tools
9 мая Zyphra выпускает ZAYA1-8B: открытая рассуждающая MoE-модель, обученная на оборудовании AMD Zyphra models-llm
4 июн JetBrains публикует исходный код Mellum2: 12B MoE-модель для кодирования в мульти-модельных пайплайнах JetBrains models-llm
16 июн Kimi K2.7-Code HighSpeed: рост производительности в 6× для продакшн-пайплайнов агентов по коду Moonshot AI models-llm
19 июн AWS Summit New York 2026: общая доступность Bedrock AgentCore, iOS-предпросмотр Kiro и анонс AWS Context Amazon tools
24 июн Mistral выпускает OCR 4 с bounding box'ами, классификацией блоков и поддержкой 170 языков Mistral tools
26 июн JetSpec: преодоление потолка масштабирования спекулятивного декодирования с помощью параллельного построения деревьев черновиков Hao AI Lab, UC San Diego research
29 июн DeepSeek открыл исходный код DSpark: ускорение инференса V4 на 57–85% в продакшне DeepSeek tools
29 июн JetSpec: параллельная генерация деревьев черновиков даёт ускорение speculative decoding в 9,64× Hao AI Lab, UCSD research
6 июл Program-as-Weights: компиляция спецификаций задач в LoRA-адаптеры для инференса на устройстве University of Waterloo / Harvard research
6 июл MrFlow: ускорение flow-matching моделей text-to-image в 10–25 раз без дообучения Beihang University research
16 июл PrismML выпустила Bonsai 27B: первую модель класса 27B, работающую на iPhone PrismML models-llm
19 мая LongLive-2.0: параллельная инфраструктура NVFP4 для генерации длинных видео (NVIDIA, 1220 апвоутов на HF) NVIDIA research
14 июн MiniMax Sparse Attention: сокращение вычислений в 28 раз при контексте 1M токенов без потери качества MiniMax research
28 авг vLLM v0.28.0: перф-улучшения Kimi-K3, полная поддержка sparse-MLA DeepSeek-V4, зрелость Model Runner V2 и многоуровневая выгрузка KV-кэша vLLM Project tools
9 сен Uno: lossless-ускорение LLM через диффузионно-аугментированную авторегрессию MBZUAI research
6 мая SGLang v0.5.11: Speculative Decoding V2 по умолчанию и поддержка восьми новых архитектур tools
10 мая vLLM v0.20.2: TurboQuant 2-bit KV Cache и FlashAttention 4 по умолчанию для MoE-инференса tools
15 мая Hugging Face Transformers: асинхронный continuous batching даёт прирост скорости инференса на 22% Hugging Face tools
16 мая Orthrus: 7,8-кратное ускорение инференса для Qwen3 за счёт совместного использования KV-кеша AR и диффузии research
18 мая vLLM v0.21.0: MLA-бэкенд для Blackwell, KV-выгрузка через HMA, speculative decoding для reasoning-моделей vLLM Project tools
2 июн vLLM v0.22.0: производственное укрепление DeepSeek V4, Rust-фронтенд, снижение задержки на 28,9% tools
9 июн vLLM Semantic Router v0.3 Themis: производственная маршрутизация с сохранением состояния и Session-Aware Agentic Routing tools
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
17 июн vLLM v0.23.0: Model Runner V2 по умолчанию для Llama и Mistral, Transformers v5, многоуровневый KV-кэш tools
2 июл vLLM v0.24.0: Model Runner V2 по умолчанию, Rust-фронтенд, ускорение SM90 FP8 vLLM tools
3 июл Program-as-Weights: парадигма «компилируй один раз» достигает качества 32B-моделей при 1/50 объёма памяти research
11 авг vLLM v0.27.0 добавляет поддержку Kimi K3 и оптимизации для DeepSeek-V4 vLLM Project tools
26 авг llama.cpp v0.3.0 — первый помеченный стабильный релиз ночного b10621; мультимодальность dots3-note, MTP для GLM-4.5-Air, tensor-split DeepSeek 4, ggml v0.22.0 ggml-org tools
5 сен llama.cpp v0.4.0: lazy-чтение тензоров, лимиты контекста per-slot, видео-вход tools
18 сен DeepSeek-V4.1-Flash: пределы сжатия KV-кэша DeepSeek research
23 окт Нативные TPU-движки PyTorch выходят для vLLM и SGLang Google tools
24 окт Modular открыла исходники MAX inference-стека под разрешительной лицензией Modular tools
29 апр vLLM v0.20.0 — третий релиз за две недели vLLM tools
30 апр TIDE: кросс-архитектурная дистилляция для диффузионных LLM Peking University research
2 мая ESamp: LLM исследуют через latent distilling для семплирования по семантической новизне ShanghaiTech University research
11 мая AutoTTS: LLM-агенты автоматически открывают стратегии test-time scaling за $40 research
2 июн BadHost (CVE-2026-48710): обход аутентификации через Host-заголовок в Starlette затрагивает vLLM, LiteLLM и MCP-серверы tools
29 июн Wayfinder Router: маршрутизатор LLM-запросов с открытым кодом без обращения к модели попал в тренды Hacker News tools
2 июл BlockPilot: адаптивный размер блока для диффузионного спекулятивного декодирования research
18 сен LLM с бесконечными параметрами: статья на arXiv предлагает генерацию весов из живых данных Independent researchers research
6 сен DeepSeek планирует кластер из 160 000 чипов Huawei Ascend во Внутренней Монголии DeepSeek industry
4 мая Ollama v0.23.0 добавляет поддержку Claude Desktop через Ollama Launch Ollama tools
4 мая vLLM v0.20.1 устраняет критическую нестабильность DeepSeek V4 под производственными нагрузками vLLM Project tools
6 мая vLLM v0.20.1: стабилизация DeepSeek V4 на CUDA 13 и PyTorch 2.11 tools
6 мая Ollama v0.23.1: MTP-спекулятивное декодирование Gemma 4 даёт ускорение в 2× на Apple Silicon tools
7 мая ИИ-распознавание персонажей в VK Video увеличило время просмотра на 9% с помощью каскадного определения лиц VK AI tools
7 мая LongSeeker: эластичная оркестрация контекста для агентов долгосрочного поиска Shanghai Jiao Tong University research
9 мая llama.cpp b9085: flash attention для MiMo-V2.5 и поддержка Vertex AI Server tools
12 мая vLLM v0.21.0rc1: поддержка Python 3.14, CUDA 13.0 и Transformers v5 tools
12 мая TMAS: масштабирование тестового вычисления через синергию мультиагентов с иерархической памятью research
13 мая vLLM v0.21.0rc1: поддержка PyTorch 2.11, HuggingFace Transformers v5 и Python 3.14 tools
15 мая Ollama v0.24.0: интеграция с Codex App и улучшения MLX-семплера Ollama tools
16 мая llama.cpp b9161/b9169: совместимость с Codex CLI и мультимодальная поддержка Qwen3A ggml-org tools
18 мая BetaPRM: process rewards с учётом неопределённости сокращают расход reasoning-токенов на 33% research
8 июн Code2LoRA: гиперсеть генерирует репозиторно-специфичные адаптеры для code LM без накладных расходов на инференс University of Waterloo research
9 июн Ollama v0.30.7: поддержка Hermes Desktop, Gemma 4 QAT и Nemotron-3-Ultra Ollama tools
11 июн llama.cpp b9589–b9592: исправление синхронизации CUDA SSM и оптимизация памяти Mamba tools
12 июн llama.cpp b9603: OpenCL-ядра Qualcomm Adreno для инференса на устройстве ggml-org tools
17 июн Ollama v0.30.9: поддержка Cohere2Moe, исправлен баг с одиночным токеном в coding-агентах tools
17 июн llama.cpp, сборки от 16 июня: спекулятивное декодирование Eagle3, память Vulkan UMA, исправления NVFP4 tools
19 июн llama.cpp b9716: мультимодальный батчинг InternVL, CUDA col2im и исправление SSE для Nginx tools
22 июн llama.cpp b9754: прогресс загрузки модели в реальном времени через SSE и PEG-парсер грамматик tools
24 июн Modal запускает Auto Endpoints для производственного LLM-инференса на базе open-source-моделей Modal tools
29 июн llama.cpp b9830–b9837: DFlash v2, парсер MiniCPM5, флаг --reasoning-preserve ggml-org tools
2 июл Ollama v0.31.1: Gemma 4 почти на 90% быстрее на Apple Silicon через MTP Ollama tools
3 июл ELDR: маршрутизация с учётом локальности экспертов снижает задержку при обслуживании MoE-моделей на 14% Microsoft Research research
8 июл Ollama v0.31.2: ядро small-batch matmul для MLX, llama.cpp сборка 9840, обновления CUDA tools
12 июл llama.cpp b9967–b9969: ускорение на GPU Adreno и null-сэмплинг, совместимый с OpenAI tools
14 июл llama.cpp: поддержка Tencent Hunyuan 3, спекулятивное декодирование Minimax2 Eagle3 и SYCL Fused MoE tools
23 июл vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов vLLM / Moonshot AI tools
19 авг Dharma-AI поднимает утилизацию GPU-кластера с 53,6% до 87,0%, кодируя физические ограничения в планировщик Dharma-AI tools
19 авг llama.cpp выпускает pre-release v0.1.2 плюс ежедневные b10483–b10488 с исправлением производительности SYCL, обновлением OpenVINO и тюнингом CUDA для DGX Spark llama.cpp (GGML) tools
19 авг Groq закрывает раунд Series A на $350 млн для строительства облака AI-инференса Groq industry
23 авг SGLang v0.5.18 lands major model and perf updates tools
23 авг llama.cpp rolls up Aug 22 backend and model fixes tools
25 авг llama.cpp b10603-b10615 — GLM-4.5-Air MTP, Deepseek 4 -sm tensor, тюнинг Metal flash-attn vec для M1 Pro/M2 Ultra/M5 Max ggml-org tools
25 авг SGLang v0.5.18 SGLang tools
29 авг Ночные сборки llama.cpp b10668-b10679 содержат исправление wrong-token в Vulkan llama.cpp tools
1 сен llama.cpp принесла MTP speculative decoding рекуррентным моделям Qwen ggml tools
2 сен Волна llama.cpp за 1–2 сентября: +4,9% к генерации от фикса n-gram-поиска, слитый CUDA-редукшн для MoE ggml tools
6 сен SGLang v0.5.19 приносит beam search, DeepEP v2 и поддержку Qwen3.8 в 786 PR tools
8 сен Language Models Can Control Their Own Attention research
8 сен Don't Drop Dropout: оптимизация разреженности слоёв для эффективного обучения и инференса LLM Cerebras research
10 сен vLLM v0.29.0 делает Model Runner V2 дефолтной и добавляет prefix caching для Mamba vLLM tools
15 сен llama.cpp v0.4.1 добавляет поддержку Maple 20B, Tencent Hy 4 и Spark2.5 ggml tools
16 сен Ollama v0.34.1 выводит создание MLX-моделей из safetensors из эксперимента и ускоряет /api/tags в десять раз Ollama tools
17 сен llama.cpp закрывает удалённо эксплуатируемый use-after-free в RPC-эндпоинте llama-server ggml tools
23 сен vLLM v0.30.0 опубликован: DeepSeek-V4.1-Flash с FlashMLA KV в MXFP8 на Blackwell vLLM project tools
24 сен llama.cpp v0.5.0 stable: работа над CUDA/Metal-ядрами, video_url в server tools
17 окт Tencent открывает DSpine — параллельный drafter для speculative decoding Tencent research
17 окт Ollama v0.40.5 добавляет NVIDIA Nemotron 3.5 Super и облачные decision-модели Ollama tools
23 окт vLLM 0.32.0 расширяет низкоточный KV-кэш и отказывается от Python 3.10 vLLM tools
23 окт SGLang 0.5.22 делает Rust-кэш префиксов вариантом по умолчанию и добавляет Apple Silicon LMSYS tools
24 окт vLLM обслуживает контексты GLM-5.3 на 1M токенов на 16 H200 с PCP, DCP и Hybrid HiSparse vLLM tools
12 мая llama.cpp добавляет поддержку gpt-oss-20b в сборке от 12 мая tools
13 мая Ollama v0.23.3: исправления MLX runner и совместимость с Metal в macOS 26 Ollama tools
22 сен vLLM v0.30.0 помечена тегом на GitHub; релиз ещё не опубликован в PyPI vLLM project tools
24 сен Ollama v0.34.4 pre-release: исправления флака model-not-found и структурированных выводов thinking-моделей tools