使用 llama3:70b 本地化部署, 100 人左右的并发,大概需要多少块 4090 才能满足?

19次阅读

共计 32 个字符,预计需要花费 1 分钟才能阅读完成。

有没有实操过本地化部署开源 llm 的老哥?这个需要大概多少的算力?

正文完
 0