微信公众号
关闭PagedAttention 之后：连续批处理还在还债
互动数据需从 wechatDownload 导出导入
- 公众号
- 训练推理手记
- 发布时间
- 检索词
- vLLM SGLang
- 原文
- 原文链接待收录（不可用搜索页代替）
分页 KV 解决了显存洞，但调度器仍要在抢占、停等和气泡之间做选择。很多「引擎变慢」其实是批里混进了超长 decode，连续批处理被一条长尾巴拖成同步屏障。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接；勿使用搜狗搜索页作为「打开原文」。