本地部署ai模型

LM Studio 简单

Ollama + Open WebUI 最灵活

基座

OLLAMA_HOST=0.0.0.0

ollama  list
ollama  ps

ollama pull xxx
ollama run xxx
ollama  show xxx

web查看api服务

http://localhost:11434/

测试连通性

curl http://192.168.20.199:11434/

本地部署

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_API_BASE_URL=http://192.168.20.199:11434 \
  ghcr.io/open-webui/open-webui:main