vLLM

概述

vLLM 提供了一个兼容 OpenAI 的 API（对话补全接口），使其可以轻松连接到 Open WebUI。本指南将展示如何连接您的 vLLM 服务器。

提示

Open WebUI 还为实现了该规范的提供商提供了实验性的 Open Responses 规范支持。

---

步骤 1：设置您的 vLLM 服务器

确保您的 vLLM 服务器正在运行且可访问。默认的 API 基础 URL 通常为：

http://localhost:8000/v1

对于远程服务器，请使用相应的的主机名或 IP 地址。

---

步骤 2：在 Open WebUI 中添加 API 连接

1. 转到 ⚙️ 管理员设置。
2. 导航至 外部连接 > OpenAI > 管理（查找扳手图标）。
3. 点击 ➕ 添加新连接。
4. 如果可用，选择 Standard / Compatible 选项卡。
5. 填入以下内容：
   • API URL：http://localhost:8000/v1（或您的 vLLM 服务器 URL）
     • Docker 用户：如果 Open WebUI 在容器中运行，请使用 http://host.docker.internal:8000/v1。
   • API Key：none（如果未配置密钥，请留空）
6. 点击 保存。

---

步骤 3：开始使用模型

在模型选择器中选择您的 vLLM 服务器上可用的任何模型，然后开始对话。

连接超时配置

如果您的 vLLM 服务器响应较慢（尤其是在加载模型期间），您可以调整超时时间：

# 针对较慢的模型初始化增加超时时间（默认是 10 秒）
AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST=30

如果您保存了一个无法访问的 URL 并导致 UI 变得无响应，请参阅 模型列表加载问题 故障排除指南。