赛道扫描

机智流

4 篇扫描条目 · 追踪始于

下载正文(本地操作)

x-fetcher 仅支持单篇 mp URL。对已收录链接运行:

node scripts/download-account-bodies.mjs --account "机智流"

文章列表

  • 结构14·深度·仅据标题摘要

    ·vLLM SGLang

    Agent、工具调用和多轮客服把同一段系统提示反复送进引擎。前缀树一旦命中,prefill 从算力问题变成查表问题。SGLang 把这件事做成默认路径,账本上最明显的是输入 token 单价下降。

    原文链接待收录

  • 结构17·深度·仅据标题摘要

    ·PD 分离 Prefill Decode

    客服会话和代码补全对 decode 池的压力完全不同。前者要稳定的槽位,后者要突发吞吐。用一个 decode 池服务所有产品,是很多分离方案重新耦合的开始。

    原文链接待收录

  • 结构17·深度·仅据标题摘要

    ·昇腾 国产卡 Day0

    自研引擎能贴硬件,插件能吃生态。2026 年更常见的是双轨:对外 API 对齐 vLLM,对内 kernel 走自研。用户只应看见同一套 Serving 语义。

    原文链接待收录

  • 结构13·仅据标题摘要

    ·模型评测 benchmark 独立复现

    模型周更,评测如果只做一次,档案会腐烂。把固定子集做成扫描任务,和赛道扫描同一节奏,比追每一个新榜更可持续。

    原文链接待收录