共计 376 个字符，预计需要花费 1 分钟才能阅读完成。
目前采用的是使用 libtorch 加载 TorchScript 文件，然后 forward(input) 完整这个过程，但问题来了：
- torch script 文件是使用 python 代码将 pt 文件转换过来的，我已经在代码中指定了 cuda 设备编号为 4，部署上去后也在 c++ 代码中把所有的 tensor、model 全部转移到 cuda:4 上去了，运行的时候还是会报错说有 hidden tensor 在 cuda:0 上，搞不懂
- 我有 8 个 CUDA 设备，怎么样将它们全部利用起来跑我的数据？（又如何解决设备不一致的问题？）
- 如何采用多线程跑 CUDA 任务
其实对于上面的问题不一定，得到答案不是最重要的，重要的是有没有前辈有这方面经验能多指教一下呢，torch 官方这方面的文档基本等于没有。（翻了又翻，文档全部是一些函数签名，没啥价值）
前辈们都是哪儿去找这方面的参考资料，可以分享一些吗，十分感谢
正文完
