编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

Open WebUI(非docker安装)体验Ollama本地部署大模型

wxchong 2024-08-31 03:57:28 开源技术 16 ℃ 0 评论

Open WebUI,以前称为 Ollama WebUI,是一个可扩展、功能丰富且用户友好的自托管 Web 界面,旨在完全离线运行。它支持各种大型语言模型 (LLM) 运行器,使其成为用于部署语言模型和与语言模型交互的多功能工具。

Open WebUI 提供 ChatGPT 风格的界面,允许用户与运行语言模型的远程服务器聊天。

下面介绍一下在windows下如何用Open WebUI 和Ollama搭建本地大模型。

Ollama安装方法参考的另一篇文章 使用Ollama简单本地部署Qwen2

关于Open WebUI 安装方法可以参考官方文档: Getting Started | Open WebUI

文档介绍了几种安装方法,官方推荐使用Docker,不过个人电脑资源有限,我这里是使用pip命令安装。首先确保确保python版本>=11。

打开windows PowerShell 直接运行安装命令:

pip install open-webui

执行完成后,需要先启动Ollama,然后在命令行中启动open-webui

open-webui serve

启动成功之后,根据提示,在浏览器访问http://localhost:8080/

然后注册一个账号,注册是本地注册不会注册到外网,第一个注册的账号会被设置为管理员。

以管理员账号登录之后,点击右下角 的个人账号图标,弹出菜单中选择“settings” 选择language为“简体中文”,另外在下面“高级参数”里可以设置“Temperature”,“上下文长度”等等参数。

点击左侧菜单中的“管理员设置”,选择“模型”

根据示例在文本框中输入要从Ollama下载的模型,如果不知道Ollama有哪些模型可以点击下面的链接查看,比如我这里输入:qwen2:7b 。然后点击右边“下载”按钮,过一会模型就下载好了。

然后我们就可以返回到对话页面进行体验了。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表