跳到主要内容

直接连接

实验性功能

此功能目前处于实验阶段,在未来的版本中可能会有所变动或被移除。

直接连接(Direct Connections) 是一项允许用户将他们的 Open WebUI 客户端直接连接到兼容 OpenAI 的 API 端点的功能,在进行推理请求时绕过 Open WebUI 后端。

概述

在标准部署中,Open WebUI 扮演着代理的角色:浏览器将 Prompt 发送到 Open WebUI 后端,然后由后端转发给 LLM 提供商(Ollama、OpenAI 等)。

通过 直接连接,浏览器将直接与 API 提供商进行通信。

优势

  • 隐私与控制:用户可以使用他们个人的 API Key,而无需将其存储在 Open WebUI 服务器上(Key 存储在浏览器的本地存储 Local Storage 中)。
  • 降低延迟:消除了通过 Open WebUI 后端中转的“中间人”环节,从而有可能加快响应时间。
  • 减轻服务器负载:将网络流量和连接管理从 Open WebUI 服务器分流到各个客户端浏览器。

前提条件

  1. 管理员启用:管理员必须在全局启用此功能。
    • 管理员面板 > 设置 > 连接 > 直接连接 (Admin Panel > Settings > Connections > Direct Connections):切换为开启
    • 或者,设置环境变量:ENABLE_DIRECT_CONNECTIONS=true
  2. CORS 配置:由于请求是由浏览器发起的,API 提供商必须配置跨源资源共享 (CORS),以允许来自你的 Open WebUI 域名的请求。
    • 注意:由于 CORS 策略,许多严格的提供商(如官方 OpenAI)可能会阻止直接的浏览器请求。此功能通常最适合与灵活的提供商或内部 API 网关配合使用。
安全建议:提供商 Key 权限范围

对于直接连接,请使用最小权限的提供商凭证。

如果你的提供商支持限制范围的 Key,在日常使用中请优先选择仅推理(inference-only)的 Key。避免将管理/主(management/master)Key 用于日常用户流量。

用户配置

管理员启用后,用户可以配置自己的连接:

  1. 转到用户设置 > 连接 (User Settings > Connections)
  2. 点击 + (添加连接)
  3. 输入 Base URL(例如,https://api.groq.com/openai/v1)和你的 API Key
  4. 点击保存

来自该直接连接的模型现在将出现在你的模型列表中,通常与后端提供的模型无异,但请求将直接从你的机器发送到提供商。

This content is for informational purposes only and does not constitute a warranty, guarantee, or contractual commitment. Open WebUI is provided "as is." See your license for applicable terms.