共计 211 个字符，预计需要花费 1 分钟才能阅读完成。
目前挺多开源 / 开放大模型的，7B 这个级别的也不少。现在主流的模型用的是 bf16 的数据类型。
理论上是几乎刚刚放下。但显存里总得放点儿别的东西；权重的各部分之间也不是那么整整齐齐，总要浪费一些空间。
16G 显存的显卡，就愣是放不下 7B 模型了。
4070TiS、4080、4080S 都是 16G。再往上就得 4090D 和 4090 了（算上上代还有 3090）。
不是说 int8 量化的不好，就是单纯吐槽 7B bf16 正好卡在这个位置，真是膈应啊。
正文完
