首页 > 资讯 > 从可用到好用:Agent 的观测、评估与持续优化|AICon北京

从可用到好用:Agent 的观测、评估与持续优化|AICon北京

InfoQ 2026-11-19 10:10 13 阅读 查看原文

当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案!

AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向推理、工具调用、多模态和长任务延伸,开发重心正从单次调用转向上下文、工具、执行环境与反馈回路的设计,Coding Agent 也从代码补全演进为能理解代码库、运行测试、完成复杂任务的工程协作者。OpenAI、Google Cloud、Anthropic 的最新实践共同指向一个结论:模型决定 Agent 能做什么,工程决定它能否真正进入生产、创造价值。

在这一背景下,2026 年 AICon 人工智能开发与应用大会 · 北京站将于 12 月 18–19 日,在北京新云南皇冠假日酒店举办。本届大会以探索 A 应用边界为主题,设置 13 大技术专题,覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向,汇聚一线技术专家,深入分享 AI 技术突破与企业规模化落地的真实实践。

微软高级解决方案工程师王芷已确认出席 “智能体评测与生产可靠性探索” 专题,并发表题为《从可用到好用:Agent 的观测、评估与持续优化》的主题分享。当 Agent 从 Demo 走向真实业务场景,挑战也从“能不能跑起来”逐渐转变为“如何知道它运行得好不好,以及如何持续优化”。王芷的本次分享将围绕 Agent 的 Observability、Evaluation 和 Optimization 展开,从一次 Agent 请求的完整执行链路出发,介绍如何通过 Trace 和运行数据定位 Agent 的问题,如何构建可量化、可重复的评估体系,并进一步从 Prompt、Model、Tool 和 Workflow 等维度持续优化 Agent。

王芷,微软高级解决方案工程师,专注于生成式 AI、AI Agent、Cloud Native 与企业数据智能等技术方向。近年来持续参与企业 AI 应用的架构设计与落地实践,并重点关注模型选择与路由、Agentic AI、企业级 AI 治理及开发者体验。热衷于将复杂技术转化为可落地的架构和实践,并通过技术分享与社区交流推动 Agent 在企业中的规模化应用。

她在本次会议的详细演讲内容如下:

演讲提纲

  1. Agent 上线之后,真正的挑战才刚开始

    为什么 Agent 在 Demo 中表现很好,真实场景却可能不稳定

    面对复杂 Agent Workflow,如何判断问题出在 Model、Prompt、Tool 还是执行链路

  2. Observe:让 Agent 的运行过程真正可见

    Trace 一次完整的 Agent Execution

    观察模型推理、Tool Calling、Latency、Token 等关键运行信息

    从 Trace 中快速定位异常行为和失败路径

  3. Evaluate:从“感觉不错”走向量化评估

    建立 Evaluation Dataset 和评估基线

    从回答质量、任务完成度、工具调用等维度评估 Agent

    让不同 Prompt、模型和 Agent 版本之间可以量化比较

  4. Optimize:让数据真正驱动 Agent 优化

    根据 Trace 和 Evaluation 结果定位优化方向

    从 Prompt、Model、Tool 和 Workflow 多层面优化

    综合考虑 Quality、Latency 和 Cost,而不仅仅追求模型效果

听众收益

  • 理解为什么生产级 Agent 需要 Observability、Evaluation 和 Optimization

  • 掌握通过 Trace 定位 Agent 问题的基本方法

  • 理解如何构建 Evaluation Dataset、Evaluator 和评估基线

  • 学会从 Prompt、Model、Tool 和 Workflow 等不同层面优化 Agent

  • 理解如何在 Quality、Latency 和 Cost 之间进行数据驱动的优化决策

除此之外,本次大会还策划了Post-Training Engineering|数据、奖励与模型能力塑造、大模型推理与算力调度实践、Knowledge Engineering|让 Agent 理解企业、Multi-Agent Systems、智能体评测与生产可靠性探索、Agent Security|身份、权限与行动安全、AgentOps|企业 Agent 全生命周期管理、Self-Evolving Agents|从经验学习到可控进化、Agentic Software Engineering|从代码生成到软件交付、Personal Agent、AI 原生架构的演进与治理、AI 时代的组织重构、AI × Industries |产业智能化等 13 个专题论坛,届时将有来自不同行业、不同领域、不同企业的资深专家在现场带来前沿技术洞察和一线实践经验。

9 折优惠限时开启,现在报名立减 580,查看更多详情可扫码或联系票务经理 13269078023 进行咨询。