模型前线

文章列表

• SGLang 结构化输出：Constrained Decoding 落地笔记

  质量分 35

  结构17·深度·仅据标题摘要

  2天前·vLLM SGLang

  JSON 模式、正则约束和语法引导会改变采样轨迹，也会改变吞吐。约束越严，无效 token 越少，但状态机本身吃调度。用 SGLang 接内部 API 时，要把 schema 稳定性和引擎版本绑在一起发。

  原文链接待收录

• Gang 与弹性训练：部分 worker 先走可以吗

  质量分 35

  结构17·深度·仅据标题摘要

  3天前·Kueue Volcano Gang Scheduling

  弹性训练希望晚到的 worker 能加入；严格 gang 希望一起出发。两者可以在不同作业类共存，但不能用同一套 Admission。混用时最常见的 bug 是规模缩小却仍按旧 world size 初始化。

  原文链接待收录

• 通信把 MFU 吃掉：集合通信的隐藏税

  质量分 35

  结构17·深度·仅据标题摘要

  昨天·GPU 算力成本 MFU

  张量并行和流水线并行让卡「很忙」，但忙在等。NCCL 日志和 MFU 对不上时，先画一张跨节点流量图。很多所谓的模型问题，其实是拓扑问题。

  原文链接待收录

• 昇腾上的投机解码和量化：哪些组合是真的

  质量分 31

  结构17·仅据标题摘要

  一周前·昇腾 国产卡 Day0

  特性矩阵里打钩很容易。交叉组合才是生产。文中记录了若干「单独能开、一起就回退」的路径，提醒评估不要只测单开关。

  原文链接待收录

• MMLU、GSM8K、LiveCodeBench：名字相同，题可能不同

  质量分 40

  论据16·结构·仅据标题摘要

  2小时前·模型评测 benchmark 独立复现

  子集、版本、中文翻译和泄漏检查，每一项都能让分数跳动。写复现报告的第一页应该是数据集指纹，而不是柱状图。

  原文链接待收录