私有化部署deepseek及使用webUI实现网页交互
1、下载ollama
curl -fsSL https://ollama.com/install.sh | sh
2、安装模型
ollama run deepseek-r1:7b
3、命令行进入指定模型,进入命令提问方式
ollama run deepseek-r1:7b
4、后台运行
sudo vim /etc/systemd/system/ollama.service
修改如下:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/java/jdk1.8.0_421/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/go/bin:/bin:/usr/local/apache-maven-3.8.8/bin"
[Install]
WantedBy=default.target
执行命令:
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
5、网络访问
http://ip:11434,如果11434不能访问,请确保配置【
/etc/systemd/system/ollama.service】修改,支持外部能访问:
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
配置完要重新加载并重启
sudo systemctl daemon-reload
sudo systemctl restart ollama
重启后查看:sudo netstat -tuln | grep 11434
结果如下:
tcp6 0 0 :::11434 :::* LISTEN
6、开放API,验证如下
curl -X POST http://www.XXXXXXX.com:11434/api/generate -d '{
"model": "deepseek-r1:7b",
"prompt": "设计一张用户信息表"
}'
7、防火墙常用命令
sudo firewall-cmd --list-all
sudo firewall-cmd --zone=public --add-port=11434/tcp --permanent
sudo firewall-cmd --reload
8、查看状态及日志
查看运行状态:sudo systemctl status ollama
查看日志:journalctl -u ollama
9、使用webUI对接
这里使用:
https://github.com/ollama-webui/ollama-webui-lite.git
下载后执行:
npm install
npm run dev
最后使用:http://localhost:3000