跳到主要内容

将 Continue.dev VS Code 插件与 Open WebUI 进行集成

注意

本教程由社区贡献，不受 Open WebUI 团队支持。它仅作为如何针对特定用例自定义 Open WebUI 的演示。想要做出贡献？请查看 贡献教程。

Download Extension​

您可以在 Visual Studio 插件市场 (Visual Studio Marketplace) 上下载该 VS Code 插件，或者直接在 VS Code 内部的 EXTENSION:MARKETPLACE（插件市场）中搜索 continue 进行安装。 安装完成后，您可以通过 VS Code 侧边栏中的 continue 选项卡访问该应用程序。

VS Code 侧边栏图标：

continue.dev vscode icon

Setup​

点击主聊天输入框右侧的助手选择器。然后将鼠标悬停在 Local Assistant（本地助手）上，并点击设置图标 (⚙️)。 这将在您的编辑器中打开 config.yaml 文件。在这里，您可以更改 Local Assistant 的设置。

continue.dev chat input

信息

目前 ollama 提供商不支持身份验证，因此我们无法将此提供商与 Open WebUI 直接搭配使用。 然而，Ollama 和 Open WebUI 都与 OpenAI API 规范兼容。欲了解关于该规范的更多信息，请阅读 Ollama 博客文章关于 OpenAI 兼容性。 我们仍然可以将 continue.dev 配置为使用 openai 提供商，这将允许我们使用 Open WebUI 的身份验证令牌。

Example config​

下面是使用 Llama3 作为模型并搭配本地 Open WebUI 设置的示例配置。

name: Local Assistant
version: 1.0.0
schema: v1
models:
  - name: LLama3
    provider: openai
    model: Meta-Llama-3-8B-Instruct-Q4_K_M.gguf
    env:
      useLegacyCompletionsEndpoint: false
    apiBase: http://localhost:3000/api
    apiKey: YOUR_OPEN_WEBUI_API_KEY
    roles:
      - chat
      - edit
context:
  - provider: code
  - provider: docs
  - provider: diff
  - provider: terminal
  - provider: problems
  - provider: folder
  - provider: codebase

Miscellaneous Configuration Settings​

这些值是插件正常工作所必需的。欲了解更多信息，请参阅 官方配置指南。

name: Local Assistant
version: 1.0.0
schema: v1

context 部分向模型提供附加的上下文信息。欲了解更多信息，请参阅 官方配置指南 以及 上下文提供商指南。

context:
  - provider: code
  - provider: docs
  - provider: diff
  - provider: terminal
  - provider: problems
  - provider: folder
  - provider: codebase

Models​

models 部分用于指定您想要添加的所有模型。欲了解更多信息，请参阅 官方模型指南。

models:
  - ...

Name​

设置您想要使用的模型的名称。这将显示在插件的聊天输入框中。

name: LLama3

continue.dev chat input

Provider​

指定用于与 API 通信的方法，在我们的例子中，就是由 Open WebUI 提供的 OpenAI API 端点。

provider: openai

Model​

这是您在 Open WebUI 中模型的实际名称。导航至 管理员面板 > 设置 > 模型，然后点击您偏好的 LLM。 在用户自定义名称的下方，您将找到该模型的实际名称。

model: Meta-Llama-3-8B-Instruct-Q4_K_M.gguf

Legacy completions endpoint​

此设置对于 Open WebUI 来说不是必需的，不过您可以在 原始指南 中找到更多信息。

env:
  useLegacyCompletionsEndpoint: false

APIBase​

这是一个关键步骤：您需要将 continue.dev 插件的请求指向您的 Open WebUI 实例。 如果您的实例托管在某处，可以使用实际域名（例如 https://example.com/api），或者使用本地主机设置（例如 http://localhost:3000/api）。 您可以在 API 端点 (API Endpoints) 指南 中找到关于 URL 的更多信息。

apiBase: http://localhost:3000/api

API Key​

为了对您的 Open WebUI 实例进行身份验证，您需要生成一个 API 密钥。 请按照 API 端点 (API Endpoints) 指南 中的说明来创建它。

apiKey: YOUR_OPEN_WEBUI_API_KEY

Roles​

角色将允许插件在执行某些任务时使用您的模型。首先，您可以选择 chat（聊天）和 edit（编辑）。 您可以在 官方角色指南 中找到关于角色的更多信息。

roles:
  - chat
  - edit

设置现已完成，您可以通过聊天输入框与您的模型进行交互了。欲了解关于 continue.dev 插件的功能和用法的更多信息，请参阅 官方文档。

This content is for informational purposes only and does not constitute a warranty, guarantee, or contractual commitment. Open WebUI is provided "as is." See your license for applicable terms.