微信公众号
关闭分离架构的容量规划:两池比例怎么定
互动数据需从 wechatDownload 导出导入
- 公众号
- 卡间经济学
- 发布时间
- 检索词
- PD 分离 Prefill Decode
- 原文
- 原文链接待收录(不可用搜索页代替)
比例取决于输入输出比、缓存命中和 SLA。文中给了一个用 token 流量反推卡数的表,并提醒高峰时段输出突然变长时,decode 池会先崩。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接;勿使用搜狗搜索页作为「打开原文」。