PD 分离与连续批处理:谁调度谁
质量分 32深度13·结构·仅据标题摘要
·PD 分离 Prefill Decode
分离把一次请求拆成两个作业,连续批处理又想把它们重新粘住。控制面如果没有统一的 request id 和阶段状态,排障会变成两套日志对时间戳。
原文链接待收录
3 篇扫描条目 · 追踪始于
x-fetcher 仅支持单篇 mp URL。对已收录链接运行:
node scripts/download-account-bodies.mjs --account "调度器札记"
深度13·结构·仅据标题摘要
·PD 分离 Prefill Decode
分离把一次请求拆成两个作业,连续批处理又想把它们重新粘住。控制面如果没有统一的 request id 和阶段状态,排障会变成两套日志对时间戳。
原文链接待收录
结构17·深度·仅据标题摘要
·Kueue Volcano Gang Scheduling
Volcano 把 All-or-Nothing 带进 Kubernetes 已经很多年。今天它仍出现在不少训练集群里,尤其是和 Spark、MPI 混部的环境。新平台要换 Kueue,得先盘点这些 gang 假设。
原文链接待收录
深度16·结构·仅据标题摘要
·Kueue Volcano Gang Scheduling
配额层通过了,并不等于拓扑层能放下一个 8 卡一组的并行单元。把 Topology Aware Scheduling 和 Kueue 切开看,排障才不会在两个控制器之间踢皮球。
原文链接待收录