4006-998-758
3000+课程任你选择
Harness Engineering 与企业级数字员工操作系统建设
研发学院 Harness Engineering 与企业级数字员工操作系统建设
Tyler

Ø  阿里任职期间后负责阿里云多部门算法工作,操盘过多项国家级产业项目算法工作。曾在多家世界500强企业承担人工智能技术负责人工作,具备深厚的数据智能系统研究和架构经验,实战经验覆盖包括C端B端的用户和商业化产品;

Ø  负责团队内部的技术招聘和面试工作,累计面试千人。作为阿里云内部“布道师”参与多场内部培训

Ø  全国信息学联赛一等奖保送并毕业于哈尔滨工业大学(C9),已发表多篇国际顶会和期刊发表学术论文;申请并已公开的国家发明专利 18 项,国际专利1项;

Ø  中国计算机学会技术前线委员会数据科学特邀讲者;

Ø  中国计算机学会(CCF)技术前线委员会(TF)委员人工智能与模式识别会员会委员

Ø  中国信通院标准化技术专家编委,作为主要作者参与“生成式人工智能”以及“人工智能应用安全”相关行业标准制定,致力于持续提高所负责团队以及行业的工程伦理素养。

查看老师详情
课程内容

课程定位

本课程从 Harness Engineering 的系统视角出发,讲解企业如何建设一套可控、可复用、可观测、可治理、可持续演进的数字员工操作系统。

在企业级数字员工体系中,大模型提供通用智能能力,Harness 负责将这种能力组织为稳定的任务执行能力。它向上承接岗位职责、业务流程、组织知识和交付标准,向下连接模型、工具、权限、上下文、技能、记忆、验证和反馈机制,使数字员工能够在受控环境中理解任务、调用工具、执行流程、验证结果、沉淀经验,并持续优化自身能力。

课程以三层 Harness 架构为主线展开:

第一层是 核心 Harness Runtime,负责数字员工的任务循环、上下文装配、工具调度、权限控制、状态管理、验证门禁、观测审计和数据回收。

第二层是 场景级 Harness,面向研发、测试、运维、数据、知识管理、流程审批等具体场景,将通用 Runtime 能力转化为岗位化、流程化、可交付的数字员工能力。

第三层是 项目级与组织级 Harness 平台,负责将数字员工接入企业流程系统、研发平台、数据平台、知识平台、审批系统、监控系统和治理体系,形成可运营的组织级数字员工平台。

软件工程智能体是课程中的高复杂样板场景,因为它对上下文复杂度、工具链复杂度、权限控制、验证强度、长期执行和失败恢复要求最高,最能体现 Harness Engineering 的系统价值。但本课程不局限于 AI4SE,而是面向通用数字员工平台建设,覆盖研发、测试、运维、数据、知识、流程和经营等多类复杂任务。

课程目标

1.      建立 Harness Engineering 的系统认知
理解大模型从“对话能力”走向“数字员工能力”的关键,不在于单次回答质量,而在于能否通过 Harness 构建稳定的执行环境、上下文工程体系、工具权限边界、验证门禁和组织记忆。

2.      掌握三层 Harness 架构设计方法
掌握核心 Harness Runtime、场景级 Harness、项目级平台 Harness 的分层架构,理解三者如何分别承担运行时控制、场景能力沉淀和组织流程集成。

3.      建设高质量上下文工程体系
掌握任务上下文、组织上下文、业务上下文、工具上下文、历史上下文和验证上下文的组织方式,使数字员工能够在边界清晰、来源可信、状态可追踪的环境中稳定执行。

4.      完成 Skill 从轻量机制到 SkillOS 的升级
理解默认 Skill 机制在企业场景中的能力边界,通过 Harness Runtime 改造,为 Skill 增加结构化声明、确定性路由、依赖编排、权限治理、动态上下文注入、验证门禁、状态恢复、长期记忆接口和运行观测能力。

5.      支撑 Long-run 数字员工运行
掌握长任务状态持久化、多端协同、云端任务队列、subagent 分工、混合环境绑定、人工接管、失败恢复和风险控制机制,使数字员工能够处理长周期、多系统、多角色协同任务。

6.      形成数据回收、长期记忆与模型对齐闭环
掌握如何回收数字员工执行过程中的任务数据、轨迹数据、验证数据、人工反馈数据和业务结果数据,并进一步形成长期记忆、偏好样本、奖励模型数据和后训练对齐数据。

课程对象

企业技术负责人、数字化转型负责人、AI 平台负责人、研发效能负责人、架构师、平台工程师、测试与运维负责人、数据平台负责人、流程治理负责人,以及希望将大模型能力建设为组织级数字员工平台的业务与技术团队。

课程大纲

第一部分:Harness Engineering 总体架构

从大模型应用到数字员工操作系统

目标:
建立顶层认知,理解企业真正需要的不是零散 AI 工具,而是一套能够承接岗位职责、业务流程、组织知识和交付标准的数字员工执行系统。

模块一:企业级数字员工的能力边界

  • 从问答能力到执行能力
         大模型具备语言理解、知识整合和任务推理能力,但企业真正需要的是能够进入业务系统、遵循流程规则、调用工具、完成交付并接受审计的执行能力。

  • 从单点智能到流程智能
         数字员工不能只在某个环节提供辅助,而要进入需求、分析、执行、验证、交付、复盘的完整流程,成为组织流程的一部分。

  • 从个人经验到组织能力
         个人会用 AI 不等于组织具备 AI 能力。企业需要把专家经验、业务规则、工具链、审批流程和质量标准沉淀到统一 Harness 中。

  • 从结果可用到过程可信
         数字员工交付不能只看最终结果是否可用,还要关注执行过程是否合规、证据是否充分、风险是否可控、责任是否可追踪。

  • 实践证明:稳定落地的关键在      Harness
         企业级数字员工能否稳定运行,关键不只是模型能力,而是上下文工程、工具边界、任务状态、验证门禁、人工接管和数据闭环是否完善。

模块二:三层 Harness 架构

  • 核心 Harness Runtime
         负责数字员工的任务执行循环,包括任务接收、上下文装配、任务规划、工具调用、执行验证、状态更新、结果交付和经验回收。

  • 场景级 Harness
         将通用 Runtime 能力映射到具体业务场景中,形成面向研发、测试、运维、数据、知识管理、流程审批等岗位任务的数字员工能力包。

  • 项目级与组织级 Harness 平台
         将数字员工接入企业流程系统、协作系统、知识系统、数据系统和治理系统,形成可运营、可观测、可治理的组织级 AI 执行平台。

  • 三层之间的关系
         Runtime 提供稳定执行内核,场景 Harness 提供岗位化能力,平台 Harness 提供组织流程集成。三者共同决定数字员工能否从单点任务走向企业级规模化落地。

 

第二部分:核心 Harness Runtime 与上下文工程

数字员工稳定执行的运行时内核

目标:
讲清楚 Harness Runtime 的核心组成,以及上下文工程如何成为数字员工稳定执行的任务控制面。

模块三:核心 Harness Runtime 设计

  • 任务执行循环
         数字员工的完整执行过程包括任务接收、上下文装配、计划形成、工具调用、执行验证、状态更新、结果交付和经验回收。Harness Runtime 负责将这些环节组织为可控闭环。

  • 工具调度层
         统一接入企业内部系统,包括代码仓库、数据平台、知识库、工单系统、审批系统、CI/CD、监控系统、邮件、日历、文档和业务系统。

  • 权限控制层
         对只读、写入、执行、审批、发布、删除、生产变更等操作设置不同权限等级,确保数字员工在授权范围内工作。

  • 状态管理层
         将任务进度、关键决策、执行证据、失败原因、人工干预和下一步动作持久化,支撑长任务恢复和跨端接管。

  • 验证门禁层
         将测试、构建、规则校验、数据校验、审批校验、安全扫描、人工复核和业务验收纳入执行链路。

  • 观测与审计层
         记录任务轨迹、工具调用、上下文加载、权限申请、异常处理、人工干预和交付结果,使数字员工执行过程可追踪、可复盘、可治理。

 

模块四:上下文工程体系

  • 任务上下文
         包括任务目标、输入材料、交付要求、范围边界、非目标、优先级和验收标准。

  • 组织上下文
         包括组织制度、流程规范、岗位职责、审批规则、质量标准和合规要求。

  • 业务上下文
         包括业务术语、领域模型、客户规则、产品逻辑、指标口径和历史案例。

  • 工具上下文
         包括可用系统、调用方式、权限范围、输入输出格式、失败处理方式和安全边界。

  • 历史上下文
         包括相似任务、历史问题、过往决策、失败经验、人工修正和复盘结论。

  • 验证上下文
         包括测试方式、校验规则、业务断言、审查清单、通过标准和风险确认项。

  • 动态上下文装配
         不同任务不应加载同一套上下文,而应根据任务类型、风险等级、业务域、工具权限和执行阶段动态装配。上下文不是越多越好,而是要做到最小充分、来源可信、边界清晰、版本正确。

 

第三部分:SkillOS 与 Harness Runtime 增强

弥补默认 Skill 自由度缺陷,建设企业级能力平台

目标:
系统讲清楚默认 Skill 机制的价值与边界,并进一步说明企业如何通过改造 Harness Runtime,将 Skill 从轻量说明文件升级为可路由、可编排、可验证、可治理、可学习的运行时能力单元。

模块五:默认 Skill 机制的能力边界

  • 轻量化优势
         默认 Skill 机制通过名称、描述、说明文件和配套资源,将某一类任务的知识、流程和工具使用方式封装起来,降低了数字员工获得专项能力的成本。

  • 自由度带来的不确定性
         默认 Skill 设计给予开发者较高自由度,但企业级平台更需要确定性。实践中,Skill 的触发、加载、执行顺序和失败处理如果主要依赖模型自行判断,就容易出现该用不用、不该用却用、多个 Skill 同时竞争、任务执行顺序混乱等问题。

  • 描述触发的局限
         依靠 Skill 名称和描述进行能力选择,本质上是一种语义触发机制。它适合开放环境中的灵活匹配,但在生产级数字员工平台中,还需要结合任务类型、业务域、项目、用户权限、风险等级、历史效果和执行阶段进行确定性路由。

  • 静态说明的局限
         静态 Skill 文件可以表达执行方法,但难以动态感知当前项目状态、流程阶段、工具权限、数据版本、历史记忆和风险边界。企业级任务往往需要 Skill 根据运行时环境动态调整行为。

  • 依赖编排不足
         多个 Skill 之间往往存在先后关系和互斥关系。例如任务澄清应先于执行修改,影响面分析应先于实施计划,验证检查应先于交付报告,安全审查应在高风险动作前强制触发。默认 Skill 机制难以自然表达这种能力图谱。

  • 企业治理不足
         企业级 Skill 不能只是个人目录中的能力文件,还必须具备 Owner、版本、审批、灰度、评测、权限、审计、复用统计和废弃机制,否则很难成为组织级资产。

模块六:改造 Harness Runtime 增强 Skill 能力

  • Skill Manifest:结构化能力声明
         在默认 Skill 说明之外增加结构化      Manifest,明确声明 Skill 的适用任务、输入输出、依赖能力、所需工具、权限等级、风险等级、验证方式、失败处理、交付格式和数据回收要求。

  • Skill Router:运行时能力路由
         在 Harness Runtime 中建设      Skill Router,由路由器根据任务类型、上下文状态、业务域、用户角色、项目配置、风险等级和历史效果选择 Skill,减少对模型自由判断的依赖。

  • Skill Graph:能力依赖编排
         将多个 Skill 组织为有向能力图,明确前置      Skill、后置 Skill、互斥 Skill 和强制 Skill,形成可控的能力链路。

  • Skill Policy:权限与风险控制
         为每个 Skill 绑定权限策略,包括可访问系统、可读取数据、可修改对象、可执行工具、是否需要人工审批、是否允许生产操作等。

  • Skill Context      Adapter:动态上下文注入
         由 Harness 根据任务阶段动态为 Skill 注入必要上下文,例如项目规则、历史案例、接口契约、业务术语、权限范围、验证标准和长期记忆,避免 Skill 被写成巨大静态文档。

  • Skill Tool Binding:工具与环境绑定
         每个 Skill 可以显式绑定工具和执行环境。例如研发 Skill 绑定代码仓库、测试命令和 CI 日志;运维 Skill 绑定监控、日志和工单系统;数据 Skill 绑定指标平台、血缘系统和 SQL 校验环境。

  • Skill Validation      Gate:验证门禁
         Skill 执行后必须输出可验证结果,并触发对应校验规则。例如代码类 Skill 需要测试日志和变更说明,数据类 Skill 需要口径校验和样本验证,流程类 Skill 需要审批记录和业务确认。

  • Skill State:状态与恢复接口
         对长任务 Skill 增加状态记录能力,保存当前阶段、已完成步骤、失败原因、人工反馈和下一步动作,使 Skill 能够支持中断恢复、失败重试和跨端接管。

  • Skill Memory      Contract:长期记忆接口
         明确 Skill 在执行后应回收哪些经验,包括成功路径、失败路径、人工修正、质量评价、风险案例和复用建议。这样 Skill 不只是执行任务,还能持续沉淀组织经验。

  • Skill Telemetry:运行观测与效果评估
         Harness 应记录 Skill 的触发次数、执行时长、成功率、验证通过率、人工返工率、成本、风险事件和用户采纳率,为后续 Skill 优化和奖励模型训练提供数据。

 

模块七:SkillOS 平台化建设

  • 从 Skill 文件到 SkillOS
         SkillOS 不是 Skill 文件仓库,而是企业数字员工的能力管理平台,负责 Skill 的创建、评审、发布、路由、编排、执行、评估、复用、下线和数据回收。

  • Skill 分层体系
         将 Skill 分为基础能力层、工具能力层、流程能力层、场景能力层、岗位能力层和组织治理层。基础层提供通用能力,场景层适配业务任务,岗位层组合成数字员工能力,治理层负责合规、审计和质量控制。

  • Skill 生命周期管理
         每个 Skill 都应有 Owner、版本号、适用范围、依赖关系、评测样例、变更记录和废弃规则。新增 Skill 需要经过评审,核心 Skill 需要灰度发布,高风险 Skill 需要权限审批。

  • Skill 评测体系
         对 Skill 建立离线评测和线上观测。离线评测关注触发准确率、流程完整性、输出质量和风险边界;线上观测关注任务完成率、验证通过率、人工返工率、复用次数和业务收益。

  • Skill 与长期记忆联动
         Skill 执行过程产生的数据应进入长期记忆体系。高质量执行路径可以反向优化 Skill,失败案例可以形成反例规则,人工修正可以成为后续模型对齐样本。

 

第四部分:场景级 Harness 设计

以软件工程为高复杂样板,扩展到通用数字员工

目标:
通过软件工程这一高复杂场景讲清楚场景级 Harness 的系统设计方法,再外溢到测试、运维、数据、知识管理和流程审批等通用数字员工场景。

模块八:软件工程 Harness 的系统化建设

  • 软件工程场景的代表性
         软件工程任务天然具有复杂上下文、多文件依赖、工具链执行、测试验证、多人协作、Review 门禁和回滚要求,因此是验证 Harness 能力的典型高复杂场景。

  • Repo 级上下文工程
         建设仓库说明、架构文档、模块地图、接口契约、测试入口、构建命令、危险文件清单、代码所有权边界和历史变更记录。

  • 规格驱动交付
         将业务需求转化为结构化任务说明,包括目标、范围、非目标、影响面、验收标准、风险约束和验证方式,使数字员工在明确边界内执行。

  • 测试驱动执行
         对复杂代码任务优先设计测试和验证方案,再进入代码修改和交付,避免数字员工仅凭自身判断确认结果正确。

  • PR 交付证据包
         软件工程数字员工的交付不只是代码变更,还应包含影响面分析、变更摘要、测试日志、风险说明、回滚策略和待人工确认项。

  • 研发层系统化工作
         企业需要围绕 Repo 建设统一任务模板、上下文装配规则、测试验证入口、风险分级策略、PR 工件标准和失败复盘机制。

模块九:通用场景 Harness 扩展

  • 测试 Harness
         将测试策略、用例结构、缺陷分类、Mock 数据、边界场景、自动化测试脚本和质量报告模板沉淀为场景级能力,使测试数字员工能够稳定完成用例生成、回归验证和质量分析。

  • 运维 Harness
         将监控指标、告警规则、日志检索方式、变更记录、故障预案、回滚流程和值班制度沉淀为场景级能力,使运维数字员工能够完成告警解释、故障归因、风险判断和处置建议。

  • 数据 Harness
         将指标口径、数据血缘、SQL 规范、质量校验、权限边界和审计要求沉淀为场景级能力,使数据数字员工能够完成指标解释、SQL 生成、异常定位和数据质量分析。

  • 知识管理 Harness
         将制度文件、知识库、会议纪要、历史案例、专家经验、FAQ 和文档版本关系沉淀为场景级能力,使知识管理数字员工能够完成问答、摘要、归档、复盘和知识更新。

  • 流程审批 Harness
         将流程节点、审批规则、材料要求、风险清单、合规条款和责任边界沉淀为场景级能力,使流程数字员工能够完成材料检查、节点推进和处理建议生成。

 

第五部分:Long-run Harness 与多端混合执行

让数字员工支撑长周期、多系统、多角色任务

目标:
解决数字员工在真实企业流程中面临的长周期、多系统、多角色、多端协同问题,使其具备持续运行能力。

模块十:Long-run 任务执行机制

  • 长任务状态持久化
         将任务目标、执行计划、已完成步骤、关键证据、失败原因、人工反馈和下一步动作持续记录,避免会话中断或上下文压缩导致任务丢失。

  • 阶段检查点
         在任务确认、计划形成、执行开始、关键工具调用、结果验证、人工审批和最终交付等阶段设置检查点。

  • 失败恢复机制
         对工具失败、权限不足、数据缺失、测试不通过、流程阻塞和环境异常建立自动重试、替代路径、人工接管和回滚策略。

  • 云端任务队列
         支持后台执行、任务排队、资源调度、超时控制、成本限制和优先级管理。

  • 持续观测机制
         对数字员工执行过程进行日志记录、状态展示、风险提示和结果追踪,使复杂任务具备可观测性。

模块十一:Subagent 与混合环境绑定

  • Subagent 分工
         将复杂任务拆分给不同数字员工角色,例如信息收集、方案分析、执行修改、质量验证、风险审查和结果汇报。

  • 独立上下文
         不同 Subagent 应拥有独立上下文窗口和任务边界,避免所有角色共享同一上下文造成混乱。

  • 权限隔离
         探索型 Subagent 可以只读,执行型      Subagent 可以写入限定范围,审查型 Subagent 可以读取证据但不修改结果,高危操作必须人工批准。

  • 混合环境绑定
         不同任务可绑定不同环境,例如本地环境用于交互式处理,云端沙箱用于长任务执行,容器环境用于验证,生产相邻环境用于只读诊断。

  • 多端协同
         支持 Web、IDE、CLI、移动端和企业流程平台之间的状态同步,使用户能够随时查看、干预、暂停、恢复或接管任务。

 

第六部分:数据回收、长期记忆与模型对齐

让数字员工从执行系统进化为学习系统

目标:
讲清楚 Harness 的核心价值不止于执行任务,还在于系统性回收过程数据,形成长期记忆、组织知识资产和模型对齐数据。

模块十二:执行数据回收体系

  • 任务数据
         包括用户需求、任务分类、执行目标、范围边界、验收标准和最终交付物。

  • 过程数据
         包括计划步骤、工具调用、系统响应、状态变化、异常情况、失败原因和恢复动作。

  • 验证数据
         包括测试结果、规则校验、审批记录、业务确认、质量评分和上线反馈。

  • 人工反馈数据
         包括人工修改、审查意见、采纳结果、拒绝原因、风险判断和复盘结论。

  • 业务结果数据
         包括任务是否完成、是否返工、是否产生风险、是否带来效率提升和是否形成可复用经验。

  • 数据回收原则
         数据回收不是简单记录日志,而是围绕后续复用、质量评估、长期记忆和模型对齐进行结构化沉淀。

模块十三:长期经验架构

  • 记忆分层
         将长期记忆分为个人记忆、岗位记忆、项目记忆、场景记忆、业务记忆和组织治理记忆。

  • 记忆写入规则
         不是所有信息都应写入长期记忆,需要通过去重、摘要、质量判断、敏感信息过滤、来源标注和适用范围标注。

  • 记忆读取规则
         数字员工执行任务时,应根据任务类型、业务域、项目、工具环境和风险等级动态读取相关记忆。

  • 记忆更新机制
         当规则变化、流程调整、经验失效或出现新的高质量案例时,长期记忆应能够更新、替换、降权或废弃。

  • 记忆治理机制
         对长期记忆建立权限控制、版本管理、时效管理、来源审计和删除机制,防止错误经验和过期知识长期污染执行。

模块十四:奖励模型与后训练对齐

  • 从执行数据到偏好数据
         任务是否完成、人工是否采纳、是否通过验证、是否减少返工、是否符合流程、是否引发风险,都可以转化为偏好信号。

  • 过程偏好
         不只评价最终结果,还评价执行过程是否遵循流程、是否正确调用工具、是否充分验证、是否提前提示风险、是否保留证据。

  • 结果偏好
         评价交付结果是否准确、完整、可审查、可复用、低风险,并符合组织质量标准。

  • 奖励模型定位
         奖励模型用于评价数字员工的执行计划、工具调用、过程合规性、结果质量和风险水平,为后续训练与运行时决策提供信号。

  • 后训练路线
         使用高质量任务说明、执行计划、工具调用轨迹、验证记录、交付报告、人工修正和偏好样本,支撑监督微调、偏好对齐和在线持续优化。

  • 企业专属价值
         通用模型解决通用能力,企业 Harness 数据解决组织适配。长期来看,真正的壁垒来自组织流程、业务知识、执行轨迹和反馈数据形成的复合资产。

 


返回上一级