开源前线

文章列表

• 从 FasterTransformer 到 vLLM：开源 Serving 五年

  质量分 39

  结构17·深度·仅据标题摘要

  昨天·vLLM SGLang

  静态图、手工融合、分页 KV、前缀缓存，开源推理走过一条从「能跑」到「能值班」的路。每一次抽象变厚，都是在把运维经验写进内核。新引擎如果还只比 kernel 微基准，会漏掉半个生产故事。

  原文链接待收录

• Disaggregated Serving 综述：论文到工单

  质量分 35

  深度13·结构·仅据标题摘要

  昨天·PD 分离 Prefill Decode

  从 DistServe、Splitwise 到各家内部实现，论文关心气泡，工单关心掉线重连。把学术图翻译成 Kubernetes 服务时，最难的是 KV 传输失败后的重算策略。

  原文链接待收录

• Kubernetes 原生调度对 AI 作业还缺什么

  质量分 35

  深度16·结构·仅据标题摘要

  2天前·Kueue Volcano Gang Scheduling

  默认调度看见的是 CPU 内存，不是拓扑、NVLink 域和模型并行尺寸。Gang、拓扑感知和队列是三块补丁。指望一个默认 scheduler 吃下万卡训练，是 2023 年的幻想。

  原文链接待收录

• CANN 与 PyTorch：适配层的厚度决定 Day0 质量

  质量分 38

  结构17·深度·仅据标题摘要

  2小时前·昇腾 国产卡 Day0

  适配层越厚，覆盖越快，性能越容易停在「能跑」。薄适配依赖算子库成熟。团队应公开：这次 Day0 是能训、能推，还是只能前向。

  原文链接待收录

• 开源模型卡上的「支持昇腾」该怎么读

  质量分 33

  深度13·结构·仅据标题摘要

  一周前·昇腾 国产卡 Day0

  有的是社区 issue，有的是官方镜像，有的只是某层 linear 能跑。把它当成采购依据前，先复现 README 里的那条命令，并记下缺了哪些 extra。

  原文链接待收录

• 数据泄漏检查：训练语料里的考题

  质量分 39

  深度13·结构·仅据标题摘要

  昨天·模型评测 benchmark 独立复现

  n-gram 重叠、搜索引擎快照、竞赛题原题，是复现组的日常。发现泄漏不是为了道德审判，而是给分数加注释：这题可能被看见过。

  原文链接待收录

• 开源评测框架选型：harness 的偏见

  质量分 42

  结构17·深度·仅据标题摘要

  一周前·模型评测 benchmark 独立复现

  框架默认的 few-shot、模板和后处理，本身就是一种立场。换 harness 不换模型，分数也能跳。独立复现应锁定框架版本，或同时报告两套。

  原文链接待收录