个人在安装过程中遇到的问题:
要先安装docker,再用docker安装ollama和open-webui,如果直接去ollama官网下载安装的话,我去打开ollama总是会闪退,虽然ollama的图标还在,但是去访问http://127.0.0.1:11434/时就会显示错误,直接用docker安装,ollama会直接显示在docker上。
本人对docker并不是很熟,本片文章只是分享一下个人的安装经历,都是一些简单的操作,仅作为参考,电脑配置
Docker安装
docker官网:Docker Desktop: The #1 Containerization Tool for Developers | Docker
docker的安装很简单,直接在官网下载.exe文件,双击运行即可,安装过程中也没有给可选择的地方,直接点击下一步就好,装完之后电脑需要重启。(下图因为我已经安装好了,所以双击.exe是这样)。
docker运行的界面如下图所示,这里登录和不登陆效果差不多,如果是第一次注册登陆的话就会出现下面的购买界面
安装路径:docker的默认安装路径是在c盘,想要修改路径直接点击设置->Resources->Browse,选择你想要的路径,点击Apply&restart,它会自动帮你把文件移动到你要的位置。
Ollama安装
docker安装好之后,ollama安装就方便多了,直接win+r,输入cmd运行下面代码:(我这里使用的是GPU)
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
安装完成后就能看到自己的docker里有ollama
Open-webui安装
同样在cmd中安装,输入下面代码
docker run -d -p 8080:8080 -add-host=host.docker.internal:host-gateway -name ollama-webui -restart always ghcr.io/ollama-webui/ollama-webui:main
模型下载
至此所有东西都已经安装好了,不过目前只是一个空壳子,并没有可调用的模型,模型的下载有两种方式,一种是直接在cmd中用docker命令行,另一种是在web页面输入模型名称下载。
1、docker命令行下载模型
docker exec -it ollama ollama pull gemma
2、web页面下载模型
在设置->模型中输入模型名字下载即可
参考资料
ollama模型仓库:library (ollama.com)
Docker——Windows版本Docker安装_docker windows-CSDN博客
通过ollama+open webui可视化运行gemma-腾讯云开发者社区-腾讯云 (tencent.com)
【AI】在docker中部署ollama体验AI模型_docker ollama-CSDN博客