共计 957 个字符，预计需要花费 3 分钟才能阅读完成。
最近类 chatgpt 的项目如雨后春笋般出现，当中比较有名的 LLaMA、Alpaca、chatglm、MiniGPT- 4 等。其中 Facebook 的 LLaMA 直接叫板 chatgpt，声称只要较少参数就可以实现 GPT-3.5 的效果，即 LLaMA-13B>GPT-3（175B）并且 13B 的模型完全可以跑在家用显卡上。因为之前开了免费的 DSW，A10 的显卡，拿来跑图着实有点可惜，故想试试其他项目。DSW Gallery 有提供 chatglm 的试玩，但脚本写的有问题，几次三番都无法成功部署。后想起哔哩哔哩的秋叶大佬有做一键包，于是度盘挂了几天终于把模型和包下本地，考虑到 DSW 坑爹的网络环境，还是直接从线上拉一个模型解压到里面。启动方式很简单，里面带的 Python 和 Git 用不到，只需要设置下启动参数即可 webui.py –precision fp16 –model-path "./chatglm-6b" 复制代码其中 chatglm-6b 对应模型实际的路径。复制丢到 Shell 里，然后从弹出来的 http://127.0.0.1:17860 访问即可这个地址会被映射到 dsw-xxxx/proxy 的位置，可以被访问，但需要验证。看下效果，左边可以进行微调（粗略的微调）可以进行连续对话，但个人使用起来与 chatgpt3.5 有很大差距看下后台，GPU 的使用率和提问频率有关，性能曲线多为突发，并且占用不超过 80%，可能和问题的难度有关。显存则会大量 + 长期占用注意这个时候已经用了超过 20G 显存，意味着继续进行对话可能会爆。尝试清空对话后，又能继续使用，但显存并没有被释放出来。目前 DSW 貌似穿透不出来，frp 连接一次之后立刻就会断，sdwebui 的穿透似乎也失去了作用，宝塔安装后直接强制重启，所以想用自己的域名可能会有难度。小猪佩奇 2023-05-10 19:39 2md，这机器就应该拿来炼丹，给我画瑟图简直浪费 美图秀秀 2023-05-10 19:44 3ChatRWKV 用着也可以，前几天试了下用 3b 和 7b 的模型写小说，感觉写的也像模像样了 小猪佩奇 2023-05-10 19:48 4 美图秀秀 发表于 2023-5-10 19:44ChatRWKV 用着也可以，前几天试了下用 3b 和 7b 的模型写小说，感觉写的也像模像样了 … 有空建个自己的知识库?
