微信公众号
关闭通信把 MFU 吃掉：集合通信的隐藏税
互动数据需从 wechatDownload 导出导入
- 公众号
- 模型前线
- 发布时间
- 检索词
- GPU 算力成本 MFU
- 原文
- 原文链接待收录（不可用搜索页代替）
张量并行和流水线并行让卡「很忙」，但忙在等。NCCL 日志和 MFU 对不上时，先画一张跨节点流量图。很多所谓的模型问题，其实是拓扑问题。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接；勿使用搜狗搜索页作为「打开原文」。