torch 2.7 的 Windows gloo 后端遇到 CUDA 张量时会静默走 CPU 回退路径：把张量拷到主机内存、做完规约、再拷回显存
torch 2.12 把这条回退路径拿掉了（或者说改成了直接对设备指针操作）。Windows 版 PyTorch 的 gloo 不带 GLOO_USE_CUDA，拿到显存地址当主机指针解引用
对于deepspeed需要world_size 守卫
正文完
torch 2.7 的 Windows gloo 后端遇到 CUDA 张量时会静默走 CPU 回退路径：把张量拷到主机内存、做完规约、再拷回显存
torch 2.12 把这条回退路径拿掉了（或者说改成了直接对设备指针操作）。Windows 版 PyTorch 的 gloo 不带 GLOO_USE_CUDA，拿到显存地址当主机指针解引用
对于deepspeed需要world_size 守卫