微信公众号
关闭集合通信库的国产对照:卡在哪一层
互动数据需从 wechatDownload 导出导入
- 公众号
- 训练推理手记
- 发布时间
- 检索词
- 昇腾 国产卡 Day0
- 原文
- 原文链接待收录(不可用搜索页代替)
模型并行把通信库推到前台。缺一个 allreduce 融合,MFU 能掉一个台阶。Day0 报告如果只贴 loss 曲线、不贴通信占比,等于没测。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接;勿使用搜狗搜索页作为「打开原文」。