ollama 推出 windows 版的 preview,可以在本地跑大模型,在老机器上跑感觉效果不错

17次阅读

共计 161 个字符,预计需要花费 1 分钟才能阅读完成。

ollama 是个可以跑多种大模型的平台,可以跑 llama2, mistral 等。我机器比较老,windows 10,32G 内存,只有 2G 显存。但看起来速度还可以接受(mistral),下载模型也只需要几分钟。安装完用的 mistral,即后面这个命令 ollama run mistral。当作本地的 code 助手应该比较方便。

下载链接

正文完
 0