微信公众号
关闭本地 4090 跑通 SGLang：一份不掺水的延迟表
互动数据需从 wechatDownload 导出导入
- 公众号
- 硅星人Pro
- 发布时间
- 检索词
- vLLM SGLang
- 原文
- 原文链接待收录（不可用搜索页代替）
消费卡上的数字不能直接外推数据中心，但能检验实现是否诚实。记录了 7B/14B 在 2k/8k 上下文下的首字与吞吐，并标出开启前缀缓存前后的差。适合当作个人基线，而不是对外 SLA。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接；勿使用搜狗搜索页作为「打开原文」。