使用 AI 模型进行原型设计

如果要开发生成式 AI 应用程序，可以使用 GitHub Models 免费查找和试验 AI 模型。准备好将应用程序投入生产时，可以为企业选择付费使用。

组织所有者可以使用组织自己的 LLM API 密钥将首选的自定义模型集成到 GitHub Models 中。请参阅在 GitHub Models 中使用自己的 API 密钥。

另请参阅负责任地使用 GitHub Models。

查找 AI 模型

查找 AI 模型

1. 转到 github.com/marketplace/models。

2. 点击页面左上角的 Model: Select a Model（模型：选择一个模型）。

3. 从下拉菜单中选择一个模型。

   或者，在下拉菜单中，点击 View all models（查看所有模型），在 Marketplace 中点击一个模型，然后点击 Playground（游乐场）。

模型将在模型游乐场中打开。模型详细信息显示在右侧的侧边栏中。如果未显示侧边栏，请点击游乐场右侧的 图标将其展开。

在游乐场中试验 AI 模型

AI 模型游乐场是一项免费资源，允许你调整模型参数并提交提示词以查看模型的响应方式。

若要调整模型参数，请在游乐场中选择侧边栏中的 Parameters（参数）选项卡。

若要查看与所选参数相对应的代码，请从 Chat（聊天）选项卡切换到 Code（代码）选项卡。

比较模型

你可以同时向两个模型提交一个提示词并比较它们的响应。

在游乐场中打开一个模型后，点击 Compare（比较），然后在下拉菜单中选择一个要比较的模型。所选模型会在第二个聊天窗口中打开。当你在任一聊天窗口中键入提示词时，该提示词会镜像到另一个窗口。提示词会同时提交，以便你可以比较每个模型的响应。

设置的任何参数都将用于这两个模型。

评估 AI 模型

在游乐场中开始测试提示词后，可以使用结构化指标评估模型性能。评估有助于你比较不同模型的多个提示词配置，并确定哪种设置性能最佳。

在比较视图中，你可以应用相似度、相关性和基础性等评估器来衡量每个输出与你的期望匹配程度。你还可以使用自定义提示词评估器定义自己的评估标准。

有关分步说明，请参阅评估输出。

使用 API 试验 AI 模型

GitHub 提供免费 API 使用，以便你可以在自己的应用程序中试验 AI 模型。

使用每个模型的步骤是相似的。通常，你需要

1. 转到 github.com/marketplace/models。

2. 点击页面左上角的 Model: Select a Model（模型：选择一个模型）。

3. 从下拉菜单中选择一个模型。

   或者，在下拉菜单中，点击 View all models（查看所有模型），在 Marketplace 中点击一个模型，然后点击 Playground（游乐场）。

   模型将在模型游乐场中打开。

4. 点击 Code（代码）选项卡。

5. （可选）使用语言下拉菜单选择编程语言。

6. （可选）使用 SDK 下拉菜单选择要使用的 SDK。

   所有模型都可以与 Azure AI Inference SDK 一起使用，某些模型支持其他 SDK。如果要轻松切换模型，应选择“Azure AI Inference SDK”。如果选择“REST”作为语言，则不会使用 SDK。相反，你将直接使用 API 终结点。请参阅GitHub Models REST API。

7. 要么打开 codespace，要么设置本地环境

   • 若要在 codespace 中运行，请点击 Run codespace（运行 codespace），然后点击 Create new codespace（创建新 codespace）。
   • 若要在本地运行
     • 创建 GitHub 个人访问令牌。该令牌需要具有 models:read 权限。请参阅管理个人访问令牌。
     • 将令牌保存为环境变量。
     • 如果需要，安装 SDK 的依赖项。

8. 使用示例代码向模型发出请求。

免费 API 使用有速率限制。请参阅下面的速率限制。

保存和共享游乐场试验

你可以使用预设保存和共享游乐场中的进度。预设保存

• 当前状态
• 参数
• 聊天历史记录（可选）

若要为当前上下文创建预设，请选择 Preset: PRESET-NAME（预设：预设名称）在游乐场右上方，然后点击 Create new preset（创建新预设）。你需要命名预设，还可以选择提供预设说明、包含聊天历史记录并允许共享预设。

有两种方法可以加载预设

• 选择 Preset: PRESET-NAME（预设：预设名称）下拉菜单，然后点击要加载的预设。
• 打开共享预设 URL

加载预设后，你可以编辑、共享或删除预设

• 若要编辑预设，请更改参数并向模型发出提示词。对更改满意后，选择 Preset: PRESET-NAME（预设：预设名称）下拉菜单，然后点击 Edit preset（编辑预设）并保存更新。
• 若要共享预设，请选择 Preset: PRESET-NAME（预设：预设名称）下拉菜单，然后点击 Share preset（共享预设）以获取可共享的 URL。
• 若要删除预设，请选择 Preset: PRESET-NAME（预设：预设名称）下拉菜单，然后点击 Delete preset（删除预设）并确认删除。

使用提示词编辑器

GitHub Models 中的提示词编辑器旨在帮助你迭代、优化和完善提示词。此专用视图提供了一个专注且直观的体验来制作和测试输入，使你能够

• 快速测试和优化提示词，而无需复杂的多轮交互。
• 为项目中的精确度和相关性微调提示词。
• 使用单轮场景的专用空间来确保一致且优化的结果。

若要访问提示词编辑器，请点击游乐场右上角的 Prompt editor（提示词编辑器）。

在 Visual Studio Code 中试验 AI 模型

如果你更喜欢在 IDE 中试验 AI 模型，可以安装适用于 Visual Studio Code 的 AI 工具包扩展，然后使用可调整的参数和上下文测试模型。

1. 在 Visual Studio Code 中，安装 AI Toolkit for Visual Studio Code（适用于 Visual Studio Code 的 AI 工具包）的预发布版本。

2. 若要打开扩展，请点击活动栏中的 AI 工具包图标。

3. 授权 AI 工具包连接到 GitHub 帐户。

4. 在 AI 工具包面板的“My models”（我的模型）部分中，点击 Open Model Catalog（打开模型目录），然后找到要试验的模型。

   • 若要使用通过 GitHub Models 远程托管的模型，请在模型卡上点击 Try in playground（在游乐场中试用）。
   • 若要本地下载和使用模型，请在模型卡上点击 Download（下载）。下载完成后，在同一模型卡上点击 Load in playground（加载到游乐场中）。

5. 在侧边栏中，为模型提供任何上下文说明和推理参数，然后发送提示词。

投入生产

游乐场和 API 使用中提供的免费速率限制旨在帮助你开始试验。准备好超出免费范围时，有两种选项可以访问超出免费限制的 AI 模型

• 你可以选择付费使用 GitHub Models，允许组织访问增加的速率限制、更大的上下文窗口和更多功能。请参阅GitHub Models 计费。
• 如果你有现有的 OpenAI 或 Azure 订阅，可以自带 API 密钥 (BYOK) 来访问自定义模型。计费和使用通过你的提供商帐户（例如 Azure 订阅 ID）直接管理。请参阅在 GitHub Models 中使用自己的 API 密钥。

速率限制

游乐场和免费 API 使用受到每分钟请求数、每天请求数、每次请求的令牌数和并发请求数的速率限制。如果你达到速率限制，则需要等待达到限制的速率重置后才能发出更多请求。

低、高和嵌入模型具有不同的速率限制。要查看你正在使用的模型类型，请参阅 GitHub Marketplace 中的模型信息。

对于使用自己的 API 密钥访问的自定义模型，速率限制由模型提供商设置和实施。

速率限制层级	速率限制	Copilot 免费版	Copilot 专业版	Copilot Business	Copilot 企业版
低	每分钟请求数	15	15	15	20
	每天请求数	150	150	300	450
	每次请求的令牌数	8000 输入，4000 输出	8000 输入，4000 输出	8000 输入，4000 输出	8000 输入，8000 输出
	并发请求数	5	5	5	8
高	每分钟请求数	10	10	10	15
	每天请求数	50	50	100	150
	每次请求的令牌数	8000 输入，4000 输出	8000 输入，4000 输出	8000 输入，4000 输出	16000 输入，8000 输出
	并发请求数	2	2	2	4
嵌入	每分钟请求数	15	15	15	20
	每天请求数	150	150	300	450
	每次请求的令牌数	64000	64000	64000	64000
	并发请求数	5	5	5	8
Azure OpenAI o1-preview	每分钟请求数	不适用	1	2	2
	每天请求数	不适用	8	10	12
	每次请求的令牌数	不适用	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，8000 输出
	并发请求数	不适用	1	1	1
Azure OpenAI o1、o3 和 gpt-5	每分钟请求数	不适用	1	2	2
	每天请求数	不适用	8	10	12
	每次请求的令牌数	不适用	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，8000 输出
	并发请求数	不适用	1	1	1
Azure OpenAI o1-mini、o3-mini、o4-mini、gpt-5-mini、gpt-5-nano 和 gpt-5-chat	每分钟请求数	不适用	2	3	3
	每天请求数	不适用	12	15	20
	每次请求的令牌数	不适用	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，4000 输出
	并发请求数	不适用	1	1	1
DeepSeek-R1、DeepSeek-R1-0528 和 MAI-DS-R1	每分钟请求数	1	1	2	2
	每天请求数	8	8	10	12
	每次请求的令牌数	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，4000 输出
	并发请求数	1	1	1	1
xAI Grok-3	每分钟请求数	1	1	2	2
	每天请求数	15	15	20	30
	每次请求的令牌数	4000 输入，4000 输出	4000 输入，4000 输出	4000 输入，8000 输出	4000 输入，16000 输出
	并发请求数	1	1	1	1
xAI Grok-3-Mini	每分钟请求数	2	2	3	3
	每天请求数	30	30	40	50
	每次请求的令牌数	4000 输入，8000 输出	4000 输入，8000 输出	4000 输入，12000 输出	4000 输入，12000 输出
	并发请求数	1	1	1	1

这些限制可能会更改，恕不另行通知。

留下反馈

若要提问和分享反馈，请参阅此 GitHub Models 讨论帖子。若要了解其他人如何使用 GitHub Models，请访问 GitHub Models 社区讨论。