一、介绍

本文将介绍使用开源工具Ollama部署LLaMa大模型，以及使用Open WebUI搭建前端Web交互界面的方法。

几个相关的概念。

1.1 Ollama

Ollama是一个开源的大型语言模型服务工具，旨在为用户提供本地化的运行环境，满足个性化的需求。具体来说，Ollama是一个功能强大的开源框架，可以简化在Docker容器中部署和管理大型语言模型（LLM）的过程，使得用户能够快速地在本地计算机上运行大型语言模型，如Llama 2，Llama 3等。此外，Ollama还提供了类似于OpenAI的API接口和聊天界面，方便用户部署和使用。

总的来说，Ollama可以帮助用户实现大型语言模型的本地化运行，从而满足用户对于语言处理任务的个性化需求。

官网：Ollama

API文档：ollama/docs/api.md at main · ollama/ollama (github.com)

支持的模型列表：library

1.2 LLaMa 3

LLaMA 3，是Meta公司发布的大型语言模型。Llama 3已经在多种行业基准测试上展现了最先进的性能，提供了包括改进的推理能力在内的新功能，是目前市场上最好的开源大模型，能够胜任以下工作：

自然语言处理（NLP）：理解和生成自然语言。

机器学习：根据数据和算法学习新的信息和技能。

对话生成：可以与用户进行对话，并根据情况生成合适的回应。

1.3 Open WebUI

Open WebUI(前身为Ollama WebUI)是一个可扩展的、功能丰富的、用户友好的自托管Web界面,设计用于完全离线运行。它支持各种LLM(大型语言模型)运行器,包括Ollama和兼容OpenAI的API。

官网：Open WebUI

相关介绍及源码：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)

二、部署Ollama

1、下载Ollama

Linux系统的安装命令如下：

curl -fsSL https://ollama.com/install.sh | sh

2、下载llama3模型

ollama run llama3

上述命令将自动拉取模型。处理完毕后自动进入llama3的运行环境，可以使用中文或英文进行提问，ctrl+D退出。如图：

图片

3、配置服务

为使外网环境能够访问到服务，需要对HOST进行配置。

打开配置文件：输入命令

vim /etc/systemd/system/ollama.service

根据情况增加变量Environment：

Environment=“OLLAMA_HOST=0.0.0.0:11434”

如下图位置：

图片

4、启动服务

启动服务的命令：

ollama serve

首次启动可能会出现以下提示：

Error: listen tcp 127.0.0.1:11434: bind: address already in use

看到该提示，服务已在运行中，可以通过下面命令进行确认。

netstat -tulpn | grep 11434

若命令输出如下图，则表示服务已启动，无需做额外处理。

否则，可尝试执行下列命令重启ollama：

ubuntu/debian

# ubuntu/debian
sudo apt update
sudo apt install lsof
lsof -i :11434
kill <PID>
ollama serve

centos

sudo yum update
sudo yum install lsof
lsof -i :11434
kill <PID>
ollama serve

5、在外网环境验证连接

方法一：执行如下命令，若返回“Ollama is running”，则表示连接正常。


curl http://ip:11434

方法二：在浏览器访问http://ip:11434，若页面显示文本“Ollama is running”，则表示连接正常。

三、部署Open WebUI

1、下载Open WebUI

Open WebUI基于docker部署，docker的安装方法可以参考

Linux中安装docker

已读乱回中，公众号：喜贵

Linux中安装docker

Open WebUI既可以部署在服务端，也可以部署在客户端：

执行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

2、检查相关配置

下载完之后执行命令

docker run -d ghcr.nju.edu.cn/open-webui/open-webui

就可以在浏览器访问了， http://服务器ip:3000。

页面加载完成后（这个过程可能需要一些时间），新注册一个账号并登录。

登录之后，点击页面顶端的齿轮⚙图标进入设置：

侧边导航栏-General，将语言设置为中文

侧边导航栏-连接，若“Ollama 基础URL”这一项为http://host.docker.internal:11434，则表示ollama服务正常且连接成功；如果是空的，则需要回头检查一下ollama服务了

如为空可尝试重启服务：

systemctl daemon-reload
systemctl restart ollama

侧边导航栏-模型，一般会自动拉取ollama服务上部署好的模型

正常连接如下图：

图片

3、选择模型

在顶端下拉框选择好模型，就可以开始提问啦！

图片