RadixAttention 为什么突然值钱
质量分 33结构14·深度·仅据标题摘要
·vLLM SGLang
Agent、工具调用和多轮客服把同一段系统提示反复送进引擎。前缀树一旦命中,prefill 从算力问题变成查表问题。SGLang 把这件事做成默认路径,账本上最明显的是输入 token 单价下降。
原文链接待收录
4 篇扫描条目 · 追踪始于
x-fetcher 仅支持单篇 mp URL。对已收录链接运行:
node scripts/download-account-bodies.mjs --account "机智流"
结构14·深度·仅据标题摘要
·vLLM SGLang
Agent、工具调用和多轮客服把同一段系统提示反复送进引擎。前缀树一旦命中,prefill 从算力问题变成查表问题。SGLang 把这件事做成默认路径,账本上最明显的是输入 token 单价下降。
原文链接待收录
结构17·深度·仅据标题摘要
·PD 分离 Prefill Decode
客服会话和代码补全对 decode 池的压力完全不同。前者要稳定的槽位,后者要突发吞吐。用一个 decode 池服务所有产品,是很多分离方案重新耦合的开始。
原文链接待收录
结构17·深度·仅据标题摘要
·昇腾 国产卡 Day0
自研引擎能贴硬件,插件能吃生态。2026 年更常见的是双轨:对外 API 对齐 vLLM,对内 kernel 走自研。用户只应看见同一套 Serving 语义。
原文链接待收录
结构13·仅据标题摘要
·模型评测 benchmark 独立复现
模型周更,评测如果只做一次,档案会腐烂。把固定子集做成扫描任务,和赛道扫描同一节奏,比追每一个新榜更可持续。
原文链接待收录