使用 Copilot 的 LLM 为您的代理服务

了解如何使用 Copilot 的 LLM 为您的代理服务。

本文内容

注意

GitHub Copilot 扩展处于公开预览阶段，可能会发生变化。

关于 Copilot 的语言学习模型 (LLM)

Copilot 的语言学习模型 (LLM) 是一种功能强大的大型语言模型，它接受了各种数据源的训练，包括代码、文档和其他文本。Copilot 的 LLM 支持 GitHub Copilot 的功能，并用于为 Copilot 的所有功能提供支持，包括代码生成、文档生成和代码补全。

您可以选择使用 Copilot 的 LLM 为您的代理提供支持，如果您希望您的代理能够为用户消息生成补全，但又不想管理您自己的 LLM，这将非常有用。

注意

第三方代理对使用 Copilot 的 LLM 具有严格的速率限制。如果您的第三方代理需要生成大量补全，您应该考虑使用您自己的 LLM 或 OpenAI 等 API。

使用 Copilot 的 LLM 为您的代理服务

您可以使用 POST 请求调用 Copilot 的 LLM 部署，地址为 https://api.githubcopilot.com/chat/completions。请求和响应应与 OpenAI API 的格式相同。

要进行身份验证，请使用发送到您的代理的相同 X-Github-Token 标头。有关更多信息，请参阅“配置您的 Copilot 代理以与 GitHub 通信”。

以下是如何使用 Blackbeard 扩展中的 Copilot 的 LLM 部署为用户消息生成补全的示例

  // Use Copilot's LLM to generate a response to the user's
  //  messages, with our extra system messages attached.
  const copilotLLMResponse = await fetch(
    "https://api.githubcopilot.com/chat/completions",
    {
      method: "POST",
      headers: {
        authorization: `Bearer ${tokenForUser}`,
        "content-type": "application/json",
      },
      body: JSON.stringify({
        messages,
        stream: true,
      }),
    }
  );

要查看此示例的完整上下文，请参阅 Blackbeard 扩展。