vLLM обслуживает контексты GLM-5.3 на 1M токенов на 16 H200 с PCP, DCP и Hybrid HiSparse
vLLM
В инженерном посте от 23 октября команда vLLM описала обслуживание GLM-5.3 (744B) с контекстами на 1M токенов на 16 H200, разделённых между двумя узлами, в разнесённом по стадиям развёртывании prefill/decode с FP8 KV-кэшем и спекулятивным декодированием MTP3. Prefill PCP8 × DCP8 с decode Hybrid HiSparse дал в 1,7–3,2 раза большую интерактивность на пользователя при той же пропускной способности, сократил медианный TTFT с 1,5–5,2 с до 0,8–0,9 с и достиг 8340 логических tok/s/GPU при 29,6 tok/s на пользователя на конкурентности 64; требуется vLLM v0.32.0 или новее.
Почему это важно
Это единственная протестированная конфигурация, обслуживающая контексты на миллион токенов, — режим, в который упираются долго работающие агенты-программисты.
Важность: 2/5
заметный инженерный результат в обслуживании длинного контекста