speculative-decoding — AI Digest

28 авг Tencent открывает исходники Hy4 preview: 770B / 49B-active MoE с Gated DSA + iHC, контекст 1M, Apache 2.0 Tencent models-llm
26 июн JetSpec: преодоление потолка масштабирования спекулятивного декодирования с помощью параллельного построения деревьев черновиков Hao AI Lab, UC San Diego research
29 июн DeepSeek открыл исходный код DSpark: ускорение инференса V4 на 57–85% в продакшне DeepSeek tools
29 июн JetSpec: параллельная генерация деревьев черновиков даёт ускорение speculative decoding в 9,64× Hao AI Lab, UCSD research
28 авг vLLM v0.28.0: перф-улучшения Kimi-K3, полная поддержка sparse-MLA DeepSeek-V4, зрелость Model Runner V2 и многоуровневая выгрузка KV-кэша vLLM Project tools
6 мая SGLang v0.5.11: Speculative Decoding V2 по умолчанию и поддержка восьми новых архитектур tools
16 мая Orthrus: 7,8-кратное ускорение инференса для Qwen3 за счёт совместного использования KV-кеша AR и диффузии research
18 мая vLLM v0.21.0: MLA-бэкенд для Blackwell, KV-выгрузка через HMA, speculative decoding для reasoning-моделей vLLM Project tools
2 июл BlockPilot: адаптивный размер блока для диффузионного спекулятивного декодирования research
6 мая Ollama v0.23.1: MTP-спекулятивное декодирование Gemma 4 даёт ускорение в 2× на Apple Silicon tools
17 июн llama.cpp, сборки от 16 июня: спекулятивное декодирование Eagle3, память Vulkan UMA, исправления NVFP4 tools
29 июн llama.cpp b9830–b9837: DFlash v2, парсер MiniCPM5, флаг --reasoning-preserve ggml-org tools
14 июл llama.cpp: поддержка Tencent Hunyuan 3, спекулятивное декодирование Minimax2 Eagle3 и SYCL Fused MoE tools
1 сен llama.cpp принесла MTP speculative decoding рекуррентным моделям Qwen ggml tools
17 окт Tencent открывает DSpine — параллельный drafter для speculative decoding Tencent research