serving — AI Digest

15 мая MinT: управляемая инфраструктура для обучения и обслуживания миллионов LLM Mind Lab research
13 июл vLLM v0.25.0: Model Runner V2 по умолчанию, PagedAttention выведен, паритет с Transformers backend tools
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
2 июл vLLM v0.24.0: Model Runner V2 по умолчанию, Rust-фронтенд, ускорение SM90 FP8 vLLM tools
11 авг vLLM v0.27.0 добавляет поддержку Kimi K3 и оптимизации для DeepSeek-V4 vLLM Project tools
23 окт Нативные TPU-движки PyTorch выходят для vLLM и SGLang Google tools
24 июн Modal запускает Auto Endpoints для производственного LLM-инференса на базе open-source-моделей Modal tools
3 июл ELDR: маршрутизация с учётом локальности экспертов снижает задержку при обслуживании MoE-моделей на 14% Microsoft Research research
19 авг Dharma-AI поднимает утилизацию GPU-кластера с 53,6% до 87,0%, кодируя физические ограничения в планировщик Dharma-AI tools
19 авг Groq закрывает раунд Series A на $350 млн для строительства облака AI-инференса Groq industry
23 авг SGLang v0.5.18 lands major model and perf updates tools
25 авг SGLang v0.5.18 SGLang tools
6 сен SGLang v0.5.19 приносит beam search, DeepEP v2 и поддержку Qwen3.8 в 786 PR tools
10 сен vLLM v0.29.0 делает Model Runner V2 дефолтной и добавляет prefix caching для Mamba vLLM tools
22 сен vLLM v0.30.0 помечена тегом на GitHub; релиз ещё не опубликован в PyPI vLLM project tools