微信公众号
关闭多 LoRA 同时在线:vLLM 的 adapter 调度
互动数据需从 wechatDownload 导出导入
- 公众号
- 云原生指北
- 发布时间
- 检索词
- vLLM SGLang
- 原文
- 原文链接待收录(不可用搜索页代替)
一张卡挂几十个 LoRA 不再新鲜,真正难的是热切换时的权重驻留和批内混部。vLLM 把 adapter 当成可调度资源后,产品可以按租户拆模型,而不用按卡拆集群。
原文链接待收录
本篇暂无已验证的微信公众号直链。请通过 wechatDownload 导出或扫描数据补全链接;勿使用搜狗搜索页作为「打开原文」。