云原生训推 / 算力成本 / 模型测评

从 FasterTransformer 到 vLLM：开源 Serving 五年

互动数据需从 wechatDownload 导出导入

公众号

开源前线

发布时间

昨天

检索词

vLLM SGLang

原文

原文链接待收录（不可用搜索页代替）

静态图、手工融合、分页 KV、前缀缓存，开源推理走过一条从「能跑」到「能值班」的路。每一次抽象变厚，都是在把运维经验写进内核。新引擎如果还只比 kernel 微基准，会漏掉半个生产故事。