微信公众号
关闭PD 分离的第一笔账：KV 要搬多远
互动数据需从 wechatDownload 导出导入
- 公众号
- 算力观察
- 发布时间
- 检索词
- PD 分离 Prefill Decode
- 原文
- 原文链接待收录（不可用搜索页代替）
拆开之后，瓶颈从 GPU 内核挪到互联。同节点 NVLink、机内 PCIe、跨机 RDMA，每一跳都在吃掉分离带来的利用率。没有测过 KV 带宽，就不要宣布「我们已经 PD 了」。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接；勿使用搜狗搜索页作为「打开原文」。