2025-02-10 ddp加载参数 ddp最好在建立ddp模型后再加载参数。否则会遇到参数名不匹配,奇奇怪怪的额外显存占用(optimizer.step时爆显存)这两个问题。qwq Newer 明晰了 Older 远去了