推荐各位利用 ollama 在自有电脑上跑大模型,使用非常方便

21次阅读

共计 316 个字符,预计需要花费 1 分钟才能阅读完成。

ollama 用法跟 docker 很类似,指定 run 哪个模型就会自动去下载使用。

我用我的 1650 笔记本允许 mistral,跑起来速度还行。

模型列表:https://ollama.com/library

方法:
建议采用 wsl2 运行 ollama,安装 cuda 后即可利用显卡跑 ollama,否则会利用 cpu 跑大模型。

wsl2 安装 cuda 直接用我这个链接即可:https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local

正文完
 0