首页 > 资讯 > 9秒删库,700个AI失控,豪掷513亿买不来安全?

9秒删库,700个AI失控,豪掷513亿买不来安全?

钛媒体 2026-10-05 08:50 8 阅读 查看原文

(本文作者为 新质动能,钛媒体经授权发布)

文 | 新质动能

过去几年,企业谈AI安全,大多数时候指的是内容安全:过滤有害输出、防止数据泄露、满足合规备案。

但2026年发生的一件事,把这个议题推向了另一个维度:AI智能体在真实环境中做出的行为,正在成为安全的主战场。

2026年4月,美国得州SaaS公司PocketOS的一名工程师让编码智能体处理测试环境中的凭据问题。智能体没有等待人工处理,而是自行找到权限过大的API Token,调用接口删除存储卷。9秒后,公司生产数据库和备份一并消失。没有黑客入侵,没有病毒,只有一个被赋予真实权限的AI智能体。

几个月后,一个更极端的版本出现在OpenAI内部。2026年7月,GPT-5.6 Sol等模型在一次网络安全基准测试中突破隔离环境,入侵了AI开源平台Hugging Face的生产系统。约700个智能体组成协作集群,搭建了未经授权的内部留言板,交换了超过7万条消息。为了弄清它们究竟做了什么,OpenAI投入约300万GPU小时分析超过70亿条日志。

当AI从“回答问题”走向“执行任务”,安全问题的性质已经彻底改变。

来源:央视网

AI安全市场正进入爆发期

数据印证了这一转变。据IDC预测,中国网络安全相关AI Agent应用收入的复合增速将高达106.5%,2030年达到593.5亿元,是AI安全本身规模的近两倍。浙商证券指出,当攻击者开始用AI Agent自动化发起钓鱼、漏洞利用和横向移动,防守方也必须用Agent对抗Agent,安全运营正从人工驱动转向智能体驱动。

企业端的准备程度远未跟上。据AvePoint《State of AI 2026》报告,89.5%的组织在过去一年遭遇过生成式AI相关安全事件,88.4%遭遇过AI智能体相关事件。世界经济论坛《2026年全球网络安全展望》显示,94%的受访者认为AI将是2026年网络安全变化的最重要驱动因素,87%认为相关漏洞有所增加。

中国工程院院士吴世忠在西湖论剑大会上表示,系统的内生风险已经超越外延攻击:“现在最大的危险不再仅仅是黑客入侵,可能还有算法本身的不可解释性、偏见、幻觉以及被诱导后的越权执行。”

据Gartner数据,2025年全球AI安全市场支出为259.2亿美元,2026年攀升至513.47亿美元,同比增幅接近98.1%,远超全球AI整体47%的年度增长率。Gartner预测,专门保护AI系统的Securing AI市场2027年将接近48亿美元,2026至2027年同比增速达68.7%,连续多年保持在65%以上的高增长区间,远高于传统网络安全10%左右的增速。

中国方面,据IDC预测,人工智能安全收入将从2025年的44.1亿元增长至2030年的340.3亿元,五年复合增速约50.5%。作为对照,中国网络安全整体市场2024至2029年复合增速仅约8.9%,2026年整体规模约800亿元。AI Agent安全赛道增速更为突出。

据Technavio预测,全球AI Agent安全与身份管理平台市场2025至2030年间将增长约59.6亿美元,复合年增长率达19.8%。另据Technavio另一份报告,面向自主AI系统的网络安全解决方案市场同期复合年增长率为38.5%,增长规模为28.8亿美元。

一级市场反应直接。AI安全初创公司HiddenLayer完成1亿美元B轮融资,由Delta-v Capital领投,微软旗下M12、摩根士丹利等参投,过去一年年度经常性收入增长超过10倍,超过90%的增长来自新客户签约。

Obsidian Security于8月完成8500万美元D轮融资,估值达11亿美元。Cyera于9月从高盛获得4亿美元G轮扩展融资,估值超过120亿美元,并以10亿美元收购专注非人类身份安全的Oasis Security。Cyera联合创始人约塔姆·塞格夫直言:“AI基础设施的发展速度已经超过了围绕其构建的安全架构。”

AI赋能安全与AI原生安全形成双轮驱动

产业界,AI安全正分化为两条路径。一条是AI赋能安全,即用大模型重构传统安全能力。

天融信、深信服等传统安全厂商走这条路,将大模型作为效率工具,重构日志分析、威胁情报关联、漏洞自动修复等流程。据浙商证券研报,IDC数据显示2025年中国基于大模型的安全运营平台市场规模达15亿元,同比增长144%,61%的中国企业计划在未来1至3年内采购安全大模型产品和服务。

天融信2026年上半年AI安全防护业务收入同比增长超过130%,AI赋能安全业务直接收入超过8000万元。绿盟科技上半年AI安全相关订单额达1.17亿元,运营商行业签单同比增长超300%。启明星辰大模型应用防火墙收入同比增长238.15%。

来源:证券之星

另一条是AI原生安全,即为AI系统本身设计安全机制。

CrowdStrike在2027财年第二财季实现营收14.7亿美元,同比增长26%,年度经常性收入达58.4亿美元,单季新增ARR高达3.33亿美元,刷新历史新高。公司首席执行官乔治·库尔茨表示,企业AI采用正在成为网络安全支出的持久驱动力。

Okta于7月签署协议收购Permiso Security,将云原生身份威胁检测纳入其安全平台。NVIDIA联合Cisco、JFrog等企业提出围绕AI Agent全栈安全的工程化框架,并开源OpenShell运行时,在智能体触及范围之外强制执行策略。

OWASP在2026年网络安全趋势观察中总结:“安全产品正从‘用AI提效’走向‘为AI设防’。”

安全预算增速,仍远低于AI能力渗透速度

2026年9月14日,全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》,延续风险分类、技术应对、综合治理的核心逻辑,治理视角从单一技术环节拓展到数据、算法、模型、应用、供应链等全过程。3.0版本特别提到强化开源生态安全、供应链安全管理,明确了禁止性行为,划出红线。

随后,《电信和互联网生成式人工智能服务安全分级指南》团体标准宣布将于10月8日起正式实施,成为电信和互联网行业首部专门面向生成式AI服务安全分级的标准。

国际层面,欧盟AI法案已于2026年8月2日进入可执行阶段,欧盟AI办公室获得对通用AI模型提供商的正式调查和执法权力。NIST于2026年2月17日正式启动AI Agent Standards Initiative,围绕智能体安全与身份、行业标准制定、开源协议开发三个支柱推进。

中美欧三条治理路径的差异也愈发清晰:美国关注前沿能力、以行业自律为主;欧盟强调风险分级、建立强制性合规框架;中国以统筹发展和安全为主线,通过备案、分类分级和内容标识落地。矛盾浮出水面:AI安全的预算增长速度,远远赶不上AI能力渗透的速度。

据Gartner预测,2026年全球AI总支出将达到2.52万亿美元,其中AI软件支出约4525亿美元,AI网络安全支出为513.5亿美元。AI安全支出在AI软件支出中的占比约为11%,在AI总支出中的占比则更低。

Gartner同时指出,AI软件支出是用于保护AI本身的安全支出的约9倍。即便是这极其有限的安全预算,绝大部分也并没有投向真正代表未来方向的Agent行为与系统防护,而是被传统安全厂商的智能化包装和基础的内容合规拿走了。

奇安信集团董事长齐向东在2026中国国际软件博览会上提出,智能体部署要“把智能体画在圈里,管好‘手脚’”。他提出部署圈、连接圈、权限圈、数据圈、审计圈五个圈的概念,并以智能体安全管理平台为大脑、以AI安全网关为中枢,形成发现、研判、定位、处置、优化的完整闭环。

“智能体是当前提高生产力的最强引擎,数字员工将成为企业骨干。”齐向东说,“但智能体重构软件,安全是一道‘必答题’。”这道必答题的答案,正在被2026年的市场、政策和产业实践共同书写。

但当Gartner的调查显示仅有约三分之一的企业拥有明确的AI治理结构、且其中多数仅部分遵守自身规则时,当AI软件支出仍是AI安全支出的约9倍时,这个答案远未完成。

当AI系统从“工具”走向“同事”,安全不再是一个可以事后补上的选项,而是决定这场技术变革能否持续的前提条件。

信息来源说明:

  • 数据来源:

Gartner、IDC、Technavio、AvePoint、世界经济论坛、浙商证券、天融信、绿盟科技、启明星辰、CrowdStrike、Okta、NVIDIA、OWASP、NIST、全国网络安全标准化技术委员会、欧盟AI法案

  • 研报来源:

Gartner,《Worldwide AI Spending by Market, 2025-2027》,2026年9月

IDC,《中国人工智能安全支出市场预测,2026-2030》

Technavio,《AI Agent安全与身份管理平台市场报告》,2026年5月

浙商证券,《AI安全行业点评》,2026年9月22日

报道来源:

央视网,OpenAI模型失控入侵事件报道,2026年9月

澎湃新闻,PocketOS智能体删库事件报道,2026年5月11日

证券之星,天融信AI安全业务图表,2026年8月31日

公开报道,OpenAI与Hugging Face入侵事件,2026年8月26日

公开报道,HiddenLayer、Obsidian Security、Cyera融资与收购,2026年6-9月

  • 其他来源:

吴世忠,西湖论剑大会发言,2026年9月

齐向东,2026中国国际软件博览会发言,2026年

乔治·库尔茨,CrowdStrike财报电话会议发言,2026年8月

更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App