#serving
- MinT: управляемая инфраструктура для обучения и обслуживания миллионов LLM Mind Lab research
- vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
- Modal запускает Auto Endpoints для производственного LLM-инференса на базе open-source-моделей Modal tools