Microsoft Copilot Studio GitHub Copilot harness 管理员清单：Build、Preview、Evaluate、Monitor 和发布边界怎么设

GitHub Copilot harness 把 Agent 从对话 topic 改成 Build、Preview、Evaluate、Monitor 四段流程，管理员需要先分清环境、权限、工具、计费和发布边界。

1. 01先读摘要，判断是否与你的场景相关。
2. 02再看来源，保留继续查证的路径。
3. 03最后看步骤、风险和可复用动作。

微软在 2026 年 8 月更新的 Copilot Studio 文档里，把 GitHub Copilot harness 描述成一套新的 Agent 创作与运行环境：不再靠一堆对话 topic 和分支去搭，而是用自然语言描述目标，再在 Build、Preview、Evaluate、Monitor 四个面板里做配置、测试、评估和上线后的监控。对管理员来说，真正要紧的不是模型多强，而是环境、权限、工具、计费和发布边界在哪个阶段检查。下面这套清单按选择 harness、构建、测试、计费、发布、监控排。

适用场景

• 你准备在 Microsoft 365 或 Power Platform 环境里构建多步骤、需要推理和工具调用的 Agent。
• 团队需要一个能处理长任务、操作文件、调用连接器和连接其他 Agent 的企业助手。
• 你负责管理 Copilot Studio 环境，需要在上线前确认权限、测试集和计费边界。
• 你想把 Agent 发布给内部团队或外部客户，而不是只留在个人草稿里。

不适用场景

• 你只需要一个固定规则、固定分支的简单客服流程，标准 harness 可能更合适。
• 你只想扩展 Microsoft 365 Copilot Chat，让人直接在聊天里查企业知识。
• 你还没有 Copilot Studio 环境、许可证或可用的测试用户。
• 你希望 Agent 能绕过企业数据权限、连接器权限或内容安全边界执行任何操作。

先把 GitHub Copilot harness 的定位看清

Microsoft Learn 的 harness 概览把三种 harness 分得很清楚。GitHub Copilot harness 适合推理密集、多步骤的业务流程，会主动把目标拆成步骤、调用工具并在失败时调整路径；标准 harness 适合规则明确、需要稳定回复的对话；Copilot chat harness 适合扩展 Microsoft 365 Copilot Chat，让员工在聊天中获得企业知识。

GitHub Copilot harness 还强调文件能力：它可以创建和编辑 Word、Excel、PowerPoint、PDF 文件，支持 skills 和 memory，并在 Copilot Studio 管理的安全沙箱中运行任务。管理员必须把这些能力当成真实权限来审，而不是把它当成普通问答机器人。

官方 agents overview 说明，用 GitHub Copilot harness 创建 Agent 时会使用 Build、Preview、Evaluate、Monitor 四个面板。Build 配置身份、知识、工具、技能和模型；Preview 做交互测试；Evaluate 创建和运行测试集；Monitor 查看任务、Agent 访问过的文件以及活动。发布前必须把四个面板当成一条验收流水线，而不是只写几条指令就上线。

准备材料

• Copilot Studio 环境访问权限，以及能创建和发布 Agent 的角色。
• 目标用户的许可证和 Copilot Credits 配额信息。
• 知识源、连接器、MCP 或 connected agents 的权限清单。
• 一个测试团队，负责 Preview 和 Evaluate 阶段的真实业务场景。
• 发布渠道、审批人和回滚方案。

步骤一：先选对 harness，再建 Agent

官方文档明确，创建 Agent 时选择哪种 harness 会影响后续所有能力，而且 GitHub Copilot harness 与标准 harness 之间不能互相转换。开始前先把业务场景写清楚：是需要固定规则，还是需要主动拆解目标、调用多个工具、处理文件和从失败中恢复。选错后重建成本比配置成本高得多。

1. 列出目标业务的关键步骤、工具、文件和失败场景。
2. 如果场景需要多步骤推理和工具调用，选择 GitHub Copilot harness。
3. 如果场景是固定问答和分支路由，选择标准 harness。
4. 如果目标是扩展 M365 Copilot Chat，单独评估 Copilot chat harness。

步骤二：在 Build 里配置身份、知识、工具和模型

Build 面板不是只写一个系统提示。你要同时定义 Agent 的身份和边界、能访问哪些知识、能调用哪些工具和技能、使用哪个模型，以及是否需要把任务委托给其他 connected agents。权限审查应该在配置阶段做，而不是等发布后再补救。

1. 写 Instructions，明确角色、目标、允许范围、拒绝执行的边界和需要时如何请求澄清。
2. 添加 Knowledge，确认知识源权限只覆盖 Agent 真正需要的数据。
3. 添加 Tools and skills，逐项检查每个工具的最低权限和写操作边界。
4. 选择模型，记录选型理由和预算影响。
5. 需要时连接其他 Agent，并明确任务委托和结果返回方式。

步骤三：用 Preview 和 Evaluate 建立测试证据

Preview 只证明交互能跑通，Evaluate 才能用测试集量化质量。管理员应该要求每个发布候选都留下测试集记录：正常路径、多步路径、工具失败路径、权限不足路径和拒绝路径。发布审批不能只看截图。

1. 在 Preview 里跑几个真实业务问题，确认回复和工具调用符合预期。
2. 在 Evaluate 里建立测试集，覆盖常见问题和边界情况。
3. 记录每次运行后的质量指标、失败案例和工具访问日志。
4. 修复失败案例后重新运行，而不是只靠口头说“改好了”。

步骤四：发布前确认计费边界

GitHub Copilot harness 的 Agent 使用 Copilot Credits，这是与标准 harness 不同的一项边界。发布前要确认团队可用配额、每个 Agent 的预计调用量、测试阶段和正式发布后的成本增长，以及是否需要设置用户或渠道范围。不要在没有任何配额信息的情况下直接开放给全公司。

1. 查看 Copilot Studio 官方 billing/credit 文档，确认当前计费口径。
2. 记录测试阶段消耗的 Credits，估算正式发布后的月度用量。
3. 先发布给小范围内部团队，观察用量和异常调用。
4. 配额或成本超限时，准备降级、限流或回滚方案。

步骤五：发布到正确渠道，并保持可回滚

GitHub Copilot harness 支持发布到内部团队或外部客户，但发布前要确认渠道权限、访问范围和撤销方式。不要为了让外部客户用，就把内部工具或知识源一起暴露。发布记录里要包含版本、渠道、测试报告、计费预计和回滚负责人。

1. 选择发布渠道，区分内部 Teams、内部网站或外部客户入口。
2. 检查发布后谁能访问、能调用哪些工具、能读取哪些知识。
3. 记录当前版本号和测试集结果，保存可恢复版本。
4. 先发布试点组，确认无异常后再扩大范围。

步骤六：用 Monitor 做持续巡检

Monitor 面板不是给开发者看热闹用的。管理员要定期查看最近任务、Agent 访问过的文件、调用过的工具和异常活动。任何新的权限变化、模型切换或知识源更新，都应该触发一次新的 Preview 和 Evaluate，而不是直接改完就发布。

• 每周查看一次任务完成情况和失败率。
• 关注 Agent 访问了哪些文件、调用过哪些高风险工具。
• 把异常任务转给负责人，记录根因和修复动作。
• 每月复查连接器权限、知识源范围和模型版本。

可复制管理员清单

Agent 名称：
Harness：GitHub Copilot / Standard / Copilot chat
业务场景：
Instructions 范围：
Knowledge 来源：
Tools 清单：
Skills 清单：
Connected agents：
Model：
测试集数量：
Preview 结果：
Evaluate 结果：
Copilot Credits 配额：
预计月用量：
发布渠道：
访问范围：
版本号：
回滚负责人：
Monitor 复查日期：

实际例子：把应付账款 Agent 先放进试点组

一个团队想用 GitHub Copilot harness 做应付账款流程，让 Agent 读发票、匹配采购订单并处理异常。管理员没有直接发布给全公司，而是先在 Build 里只连接只读 ERP 数据和发票文件，把写回动作放进审批流程；随后用 30 个测试案例覆盖金额不匹配、发票重复和权限不足场景。试点组运行两周后，Monitor 里发现 Agent 多次尝试读取一个未被授权的文件夹，团队及时缩小知识源范围，再扩大发布。

验收清单

• 已确认业务场景适合 GitHub Copilot harness，而不是标准 harness。
• Instructions 已明确允许范围和拒绝边界。
• 知识、工具、技能和 connected agents 权限已逐项审查。
• Preview 和 Evaluate 都留下测试记录。
• Copilot Credits 配额和预计用量已确认。
• 发布渠道和访问范围已设置，试点组已运行。
• Monitor 已接入持续巡检，版本和回滚方案已记录。

常见坑

• 把 GitHub Copilot harness 当成普通对话机器人，不审文件能力和工具权限。
• 用标准 harness 的规则流程思维去配置需要推理和多步调用的 Agent。
• 只跑 Preview，不跑 Evaluate，发布审批缺少测试证据。
• 不查 Copilot Credits，发布后成本超出预期。
• 为了外部客户发布，把内部知识源和写权限一起暴露。
• 发布后不看 Monitor，等用户投诉才发现工具异常访问。

排错路径

• Agent 不按预期拆解任务：检查 Instructions、Knowledge 和模型选择，减少无关工具。
• 文件操作失败：确认 Agent 是否有对应文件权限，并查看 Monitor 中访问记录。
• Evaluate 指标低：把失败案例加入测试集，单独调整工具描述或 Instructions。
• Credits 消耗异常：检查测试集是否被重复运行、是否有人高频调用，并收缩发布范围。
• 发布后外部用户看到内部知识：立刻撤销渠道权限，缩小 Knowledge 来源，再重新发布。

后续维护建议

更新日期：2026-08-13。GitHub Copilot harness 是持续演进的平台能力，管理员不能只在上线当天验收一次。每次微软发布新文档、模型或工具能力，都值得重新读一遍官方 overview 和 billing 页；每次新增知识源、连接器或 connected agents，都要重新跑 Preview、Evaluate 和权限审查。把 Monitor 变成周度习惯后，Agent 才会从“能跑”变成“能长期安全地跑”。

公开来源

1. Microsoft Learn: Microsoft Copilot Studio GitHub Copilot harness overview
2. Microsoft Learn: Choose a harness
3. Microsoft Learn: Overview of usage-based billing