共计 687 个字符，预计需要花费 2 分钟才能阅读完成。
| flexgen https://github.com/FMInference/FlexGen
Running large language models like OPT-175B/g p t-3 on a single GPU. Up to 100x faster than other offloading systems. 在单个 gpu 上运行大型语言模型，类似 opt-175b/g p t-3，相比类似系统有高达 100x 速度提升 Hardware: an NVIDIA T4 (16GB) instance on GCP with 208GB of DRAM and 1.5TB of SSD. 硬件：gcp 上一块 16gb t4，208gb 内存，1.5tb ssd。是不是要那么多内存存疑 12 小时直接 2.3k star，什么是国际热度，战术后仰 |
网友回复：
注册 ： It was on the top of hacker news
spotlight： 我还想着等显卡降价呢
ericls： 一块 nVIDIA T4 是什么价格啊。。。。那不是显卡，那是核弹
善良的狼 ： 这是开源给你自己训练吗。。。。那岂不是玩法很多了。。。。。。。很多人要失业了啊
gzelvis： 开源后，我预测国内 chatgpt 会雨后春笋般出现
yy10112001： 百度：感谢老铁的开源
jackyjack： 真的吗？是不是得买几张 50hx 屯着？
小学生 ： 原来要 15GB 显存 那就是要至少 3080TI 显卡 不然就要用内存代替 性能会下降 还没搞清楚怎么训练
riofredinand： 能达到 chatgpt 网页版智能吗 还是需要自己训练
注册 ： 要自己训练 A100 80G*16 的机子部署的然后现在一脸懵中 啥也干不了
注册 ： 你上哪找成千上万人来帮你训练
