使用 AI 模型创建原型

如果您想开发一个生成式 AI 应用程序，您可以使用 GitHub 模型免费查找和试用 AI 模型。准备好将您的应用程序投入生产后，您可以切换到付费 Azure 帐户的令牌。请参阅Azure AI文档。

另请参阅“GitHub 模型的负责任使用”。

查找 AI 模型

要查找 AI 模型，请访问GitHub Marketplace，然后单击 侧边栏中的模型。

要查看有关模型的详细信息，请单击模型名称。

在 Playground 中试用 AI 模型

GitHub Marketplace 提供一个免费的 Playground，您可以在其中调整模型参数并提交提示以查看模型的响应。

要打开 Playground，请访问GitHub Marketplace，然后单击 侧边栏中的模型。单击模型名称，然后单击 Playground.

要调整模型的参数，请在侧边栏中选择参数选项卡。要查看与您选择的参数相对应的代码，请从聊天选项卡切换到代码选项卡。

您还可以一次比较两个模型。在模型的菜单栏中，单击 比较，然后使用第二个聊天窗口中的模型：模型名称下拉菜单选择要比较的模型。当您在任一聊天窗口中输入提示时，提示会自动镜像到另一个窗口，您可以比较每个模型的响应。

Playground 受速率限制。请参阅下面的速率限制。

使用 API 试用 AI 模型

GitHub 提供免费的 API 使用权限，以便您可以在自己的应用程序中试用 AI 模型。

要了解如何在应用程序中使用模型，请访问GitHub Marketplace，然后单击 侧边栏中的模型。单击模型名称，然后单击 Playground。在聊天窗口顶部的菜单栏中，单击 代码.

每个模型的使用步骤都类似。一般来说，您需要

1. 可选：使用语言下拉菜单选择编程语言。

2. 可选：使用 SDK 下拉菜单选择要使用的 SDK。

   所有模型都可以与 Azure AI Inference SDK 一起使用，有些模型支持其他 SDK。如果您想轻松地在模型之间切换，则应选择“Azure AI Inference SDK”。如果您选择“REST”作为语言，则不会使用 SDK。相反，您将直接使用 API 端点。

3. 打开 codespace 或设置本地环境

   • 要在 codespace 中运行，请单击 运行 codespace，然后单击创建新的 codespace。
   • 要在本地运行
     • 创建一个 GitHub 个人访问令牌。该令牌不应该有任何范围或权限。请参阅“管理您的个人访问令牌”。
     • 将您的令牌保存为环境变量。
     • 根据需要安装 SDK 的依赖项。

4. 使用示例代码向模型发出请求。

免费 API 使用权限受速率限制。请参阅下面的速率限制。

保存和分享您的 Playground 实验

您可以使用预设保存和分享您在 Playground 中的进度。预设会保存

• 您的当前状态
• 您的参数
• 您的聊天记录（可选）

要为您的当前上下文创建预设，请选择预设：预设名称下拉菜单，然后单击 创建新的预设。您需要命名您的预设，您也可以选择提供预设描述，包含您的聊天记录，并允许分享您的预设。

有两种方法可以加载预设

• 选择预设：预设名称下拉菜单，然后单击您要加载的预设。
• 打开共享的预设 URL

加载预设后，您可以编辑、分享或删除预设

• 要编辑预设，请更改参数并提示模型。一旦您对更改满意，请选择预设：预设名称下拉菜单，然后单击 编辑预设并保存您的更新。
• 要分享预设，请选择预设：预设名称下拉菜单，然后单击 分享预设以获取可分享的 URL。
• 要删除预设，请选择预设：预设名称下拉菜单，然后单击 删除预设并确认删除。

在 Visual Studio Code 中试用 AI 模型

如果您更喜欢在 IDE 中试用 AI 模型，您可以安装 Visual Studio Code 的 AI Toolkit 扩展，然后测试具有可调整参数和上下文的模型。

1. 在 Visual Studio Code 中，安装Visual Studio Code 的 AI Toolkit的预发行版本。

2. 要打开扩展，请单击活动栏中的 AI Toolkit 图标。

3. 授权 AI Toolkit 连接到您的 GitHub 帐户。

4. 在 AI Toolkit 面板的“我的模型”部分，单击打开模型目录，然后找到要试用的模型。

   • 要使用通过 GitHub 模型远程托管的模型，请在模型卡上单击在 Playground 中试用。
   • 要下载和在本地使用模型，请在模型卡上单击下载。下载完成后，在同一模型卡上单击在 Playground 中加载。

5. 在侧边栏中，为模型提供任何上下文说明和推理参数，然后发送提示。

投入生产

Playground 和免费 API 使用权限的速率限制旨在帮助您试用模型并开发您的 AI 应用程序。准备好将您的应用程序投入生产后，您可以使用付费 Azure 帐户的令牌代替您的 GitHub 个人访问令牌。您无需更改代码中的任何其他内容。

更多信息，请参阅Azure AI文档。

速率限制

Playground 和免费 API 使用权限受每分钟请求数、每天请求数、每次请求的令牌数和并发请求数的限制。如果您受到速率限制，则需要等待您遇到的速率限制重置后才能发出更多请求。

低、高和嵌入模型具有不同的速率限制。要查看您正在使用的模型类型，请参阅 GitHub Marketplace 中的模型信息。

速率限制等级	速率限制	免费版和 Copilot 个人版	Copilot 商业版	Copilot 企业版
低	每分钟请求数	15	15	20
	每天请求数	150	300	450
	每次请求的令牌数	输入 8000，输出 4000	输入 8000，输出 4000	输入 8000，输出 8000
	并发请求数	5	5	8
高	每分钟请求数	10	10	15
	每天请求数	50	100	150
	每次请求的令牌数	输入 8000，输出 4000	输入 8000，输出 4000	输入 16000，输出 8000
	并发请求数	2	2	4
嵌入	每分钟请求数	15	15	20
	每天请求数	150	300	450
	每次请求的令牌数	64000	64000	64000
	并发请求数	5	5	8
Azure OpenAI o1-预览版	每分钟请求数	1	2	2
	每天请求数	8	10	12
	每次请求的令牌数	输入 4000，输出 4000	输入 4000，输出 4000	输入 4000，输出 8000
	并发请求数	1	1	1
Azure OpenAI o1-迷你版	每分钟请求数	2	3	3
	每天请求数	12	15	20
	每次请求的令牌数	输入 4000，输出 4000	输入 4000，输出 4000	输入 4000，输出 4000
	并发请求数	1	1	1

这些限制可能会随时更改，恕不另行通知。

提供反馈

要留下关于 GitHub 模型的反馈，请在GitHub 社区中发起新的讨论或评论现有讨论。