跳到主要内容

Intel GPU (IPEX-LLM)

注意

本教程由社区贡献,Open WebUI 团队不提供官方支持。它仅作为如何针对特定用例自定义 Open WebUI 的演示。想要贡献?请查看 贡献教程

备注

本指南已通过 手动安装 设置的 Open WebUI 进行验证。

在 Intel GPU 上使用 IPEX-LLM 设置本地 LLM

信息

IPEX-LLM 是一个 PyTorch 库,用于在 Intel CPU 和 GPU(例如:配备集成显卡 iGPU 的本地个人电脑,以及 Arc A-Series、Flex 和 Max 等独立显卡)上以极低的延迟运行 LLM。

本教程展示了如何使用由 IPEX-LLM 加速并托管在 Intel GPU 上的 Ollama 后端来配置 Open WebUI。通过遵循本指南,您甚至可以在低成本的个人电脑上(即仅包含集成显卡)设置 Open WebUI 并获得流畅的体验。

在 Intel GPU 上启动 Ollama 服务

有关如何在 Intel GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务,请参阅 IPEX-LLM 官方文档中的此指南

提示

如果您想从另一台机器访问 Ollama 服务,请确保在执行 ollama serve 命令之前设置或导出环境变量 OLLAMA_HOST=0.0.0.0

配置 Open WebUI

通过菜单中的 Settings(设置) -> Connections(连接) 访问 Ollama 设置。默认情况下,Ollama Base URL 预设为 https://localhost:11434,如以下截图所示。要验证 Ollama 服务的连接状态,请点击文本框旁边的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接,您将看到一条错误消息,提示 WebUI could not connect to Ollama

Open WebUI Ollama Setting Failure

如果连接成功,您将看到一条消息,提示 Service Connection Verified,如下所示。

Open WebUI Ollama Setting Success

提示

如果您想使用托管在不同 URL 上的 Ollama 服务器,只需将 Ollama Base URL 更新为新的 URL,然后按刷新按钮重新确认与 Ollama 的连接。

This content is for informational purposes only and does not constitute a warranty, guarantee, or contractual commitment. Open WebUI is provided "as is." See your license for applicable terms.