V2EX 7B 大模型不量化, 16G 显存就差那么一点儿,难道消费级显卡只有 90 系能跑? 目前挺多开源 / 开放大模型的,7B 这个级别的也不少。现在主流的模型用的是 bf16 的数据类型。 理论上是…