2026 年，智能体将在企业级应用中取得哪些实质性突破？点击下载《2026 年 AI 与数据发展预测》白皮书，获悉专家一手前瞻，抢先拥抱新的工作方式！
AI 智能体正在改变可观测性领域的格局，同时也带来了响应质量和 AI 支出方面的新挑战。即使智能体在执行请求时没有出现错误，仍可能检索到错误的信息，或生成质量不佳的响应。多步骤工作流可能涉及多次提示词输入、工具调用、信息检索、重试和模型生成，因此很难确定质量从哪个环节开始下降，以及哪些因素推动了 Token 消耗和成本增长。此外，智能体产生的遥测数据比传统应用请求更多，进一步增加了保留调查所需数据的成本和复杂性。为了控制成本，团队往往不得不对遥测数据进行采样或直接丢弃部分数据，导致最需要这些数据进行问题排查时，反而面临信息缺失。
Snowflake Observe 即将推出的 Agent Observability（智能体可观测性） 功能（即将开放私有预览），旨在应对这些新兴挑战。通过追踪交互过程，并将智能体行为与成本和质量关联起来，该功能能够帮助团队监控、调试和改进 AI 智能体及大语言模型应用。
Agent Observability 将提供团队调试智能体交互所需的埋点采集能力、指标、工具和用户界面，帮助团队定位性能与质量问题、识别 AI 支出的驱动因素，并改善业务成果。Observe 原生构建于 Snowflake 之上，旨在以经济高效的方式大规模保留和分析智能体遥测数据。团队可以进一步将这些运行信号与 Snowflake 上的业务数据关联起来，了解哪些智能体和工作流能够产生切实的业务成果，改进表现不佳的部分，并将 AI 投资引导至最能创造价值的领域。
Agent Observability 即将推出哪些功能
借助 Agent Observability，团队将能够：
-
使用可选的兼容 OpenTelemetry 的 SDK 或现有埋点方式采集智能体数据： 使用遵循新兴 OpenTelemetry（OTel）生成式 AI 语义约定的 SDK，捕获提示词、模型生成结果、检索操作、工具调用、Token 使用量和会话 ID。该 SDK 已通过测试和验证，支持 LangChain、Anthropic Agents SDK 和 OpenAI Agents SDK。团队也可以自行对智能体进行埋点，或使用自定义框架，再通过 OTLP 端点将符合规范的追踪数据发送至 Observe；
-
通过智能体探索器（Agent Explorer）搜索和调试对话： 跨追踪记录、会话和对话进行搜索，检查智能体的行为、调用了哪些工具，以及故障或异常响应从何处开始出现；
-
监控性能、使用情况和成本： 分析从智能体追踪数据中提取的指标，包括延迟、错误和成本；
-
对生产流量开展在线大语言模型裁判评估（LLM-as-judge）： 识别模型幻觉、安全护栏失效及低质量响应。将评估结果与底层跨度（Span）和追踪记录（Trace）关联起来，持续监控质量变化；
-
追踪离线评估结果： 将现有开发和测试工作流中的评估结果作为追踪数据或指标发送至 Observe，以便进行可视化分析；
-
通过编程方式查询遥测数据： 使用 API，从第三方智能体和自动化工作流中查询追踪记录、指标和在线评估结果。
专为智能体遥测数据的规模与成本效益而构建
随着企业部署更多智能体并扩展应用场景，理解这些智能体所需的遥测数据也在快速增长。这种增长源于智能体交互本身的结构特点。智能体追踪记录会记录一次交互背后的完整步骤，包括模型调用、信息检索、工具调用、重试和中间输出。这意味着，与传统应用的追踪记录相比，智能体追踪记录的持续时间更长、单个跨度包含的数据量更大，产生的跨度数量也更多。
这给许多团队带来了数据方面的挑战。他们需要保留足够的细节，以便重建重要的交互过程，但保留如此大量的遥测数据可能显著增加可观测性成本。一些团队已经开始担忧，持续增长的数据量将迫使他们对数据进行采样或丢弃部分数据，从而在问题调查中留下信息缺口。
Observe 专为高吞吐量、复杂事件数据而构建，其底层架构使 Agent Observability 能够保留和查询高保真度的智能体遥测数据。
借助 Observe，团队能够：
-
完整保留长时间运行的追踪记录和对话： Observe 将其应用性能监控产品采用的事件驱动方法扩展至智能体交互，将跨度作为事件存储，并通过追踪 ID 和对话 ID 进行查询，使延迟到达的跨度和较长的时间间隔仍能纳入完整的交互记录；
-
查询包含丰富上下文的大型跨度数据： Snowflake 原生支持复杂的半结构化事件数据，使 Observe 非常适合存储和查询提示词、模型响应、检索到的上下文，以及工具输入和输出，同时保留具有价值的细节信息；
-
以经济高效的方式保留持续增长的遥测数据： 云对象存储旨在以更低的成本存储详细的智能体遥测数据，而 Observe 的遥测湖仓基础架构（Telemetry Lakehouse Foundation）将存储与计算分离，使团队能够保留更多数据，并根据搜索、分析和调试需求独立扩展计算资源。
调试和调查完整的智能体交互过程
当智能体产生质量不佳的结果时，最终响应通常无法反映问题的全貌。工程师需要了解智能体接收到的上下文、执行模型调用、信息检索、工具调用和重试的顺序、每个步骤产生的中间输出，以及工作流从哪个环节开始偏离预期结果。
客户向我们反馈，这些信息通常分散在应用程序、智能体框架、模型提供商和支持服务中。一些团队在请求离开自身环境后便失去了可见性，导致用户对延迟、错误或异常行为的投诉，可能演变成耗时数小时甚至数天的问题调查。他们需要一种能够在同一平台上追踪和调试端到端智能体工作流的方法。
Observe 旨在捕获这些交互背后的上下文，并按照对话、会话、追踪记录和单个跨度，组织成面向智能体的不同视图。借助智能体探索器（Agent Explorer），团队可以利用已捕获的属性搜索智能体交互，并从对话逐层深入到底层追踪记录。他们能够检查提示词、模型生成结果、检索到的上下文、工具活动和重试过程，从而确定故障或异常响应最初出现的位置。
追踪视图重建模型调用和工具活动的执行顺序及耗时，同时展示每个跨度中捕获的提示词、响应和属性
延迟或错误的响应可能源于智能体工作流内部，例如模型处理、信息检索、工具使用或编排环节，也可能由支持该工作流的应用程序、服务或基础设施组件中的问题引起。Observe 的上下文图谱（Context Graph）将智能体遥测数据与相关应用程序、服务、API、数据库和基础设施连接起来，帮助团队关联智能体跨度与上下游依赖关系，从而避免孤立地分析智能体工作流。
将质量评估纳入生产环境可观测性
传统可观测性可以显示某个请求是否快速且无错误地完成，却无法判断响应是否准确、相关或有用。对于非确定性系统，质量需要成为生产环境中可衡量的指标。
Observe 支持针对生产环境追踪数据开展在线大语言模型裁判评估，并将评估结果转化为可持续监控的指标。由于每项评估结果都与底层交互相关联，工程师能够将质量问题追溯至提示词、检索到的上下文、工具选择、支持服务或模型响应，并评估相关调整是否改善了生产环境中的实际表现。
评估视图（Evaluations）追踪准确性、相关性、幻觉率和指令遵循情况等生产环境质量指标，包括评估分数及其随时间的变化
团队还可以将现有离线评估工作流中的结果作为追踪数据或指标发送至 Observe，在无需替换现有工具的情况下，通过统一视图查看开发阶段的评估结果和生产环境中的实际表现。
将智能体性能和 AI 支出与质量及业务成果关联起来
在与客户的交流中，我们了解到，仅凭 Token 消耗总量不足以判断 AI 支出是否创造了价值。管理者希望将资源消耗归因到具体的应用程序或项目，并了解这些支出取得了什么成果。为此，团队需要了解影响智能体交互成本和性能的各种因素，包括模型选择、提示词长度、检索到的上下文、工具使用、重试和工作流设计。
工程团队可以分析这些数据，识别不必要的重试或昂贵的模型选择等低效环节，因为这些因素可能增加成本，却无法改善质量。例如，配置不当的评估工作流可能以远超预期的速度消耗可用的 AI 预算。
指标视图（Metrics）持续追踪 Token 使用量、延迟、请求量和跨度类型随时间的变化，帮助团队识别智能体性能和资源消耗的变化
Observe 从智能体追踪数据中提取延迟、错误、Token 使用量和预估成本等指标，帮助团队比较不同智能体、模型和工作流，并识别低效的执行路径。如果低成本模型导致更多评估失败，那么它未必是更好的选择；同样，如果高成本模型无法带来实质性的质量提升，其额外支出也可能缺乏合理性。
这正是 Observe 与 Snowflake 能力相结合所体现的优势。在优化 AI 支出方面，Observe 帮助团队更好地权衡性能、质量和成本；Snowflake 则提供理解这些决策所产生影响所需的业务上下文。
对于面向客户的智能体，团队可以将智能体行为与客户体验、问题解决率、转化率和收入关联起来；对于内部应用，则可以将其与任务完成情况和员工生产力关联起来。这有助于企业根据智能体实际产生的成果持续改进，并将 AI 投资引导至真正创造价值的领域。
通过开放标准保持灵活性
智能体架构正在快速演进，可观测性不应限制团队使用哪些模型、框架或网关。客户告诉我们，他们已经在使用自定义框架、专业评估产品和云原生服务。他们需要一种能够在这些环境中获得一致可见性的方法，同时避免被另一种专有数据格式锁定，或在架构发生变化时重新构建埋点采集体系。
Observe 通过 OTLP 端点支持原生 OTel 数据采集，其可选的兼容 OTel 的 SDK 则提供了一种便捷方式，可利用新兴的生成式 AI 语义约定捕获和关联智能体遥测数据。
这种对开放标准的支持还通过 Apache Iceberg™ 延伸至存储层。Observe 可以处理存储在 Iceberg 表中的受支持遥测数据，而兼容的查询引擎则能够通过开放式 REST 目录访问相同的数据。
OTel 与 Iceberg 相结合，帮助团队在埋点采集、存储和查询引擎之间保持灵活性，同时保留 Observe 提供的问题调查和监控能力。
立即开始使用
Observe 中的 Agent Observability 即将开放私有预览。如果您的团队需要调查智能体交互、评估生产环境质量、优化 AI 支出，或大规模保留智能体遥测数据，我们期待与您交流。
-
注册参加 10 月 22 日的 Agent Observability 发布活动，届时 Snowflake 可观测性业务总经理 Jeremy Burton 和 Snowflake 产品执行副总裁 Christian Kleinerman 将分享相关洞见；
-
联系您的 Observe 客户团队，申请私有预览资格。
原文地址：https://www.snowflake.com/en/blog/ai-agent-observability-monitor-debug-optimize-llm-applications/
点击链接立即报名注册：https://www.snowflake.com/events/snowflake-ascent-china/更多 Snowflake 精彩活动请关注专区