秘密花园

夜色渐浓，五颜六色的灯笼营造出喜庆的氛围。一位老先生举起手机，想要拍下眼前跃动的美景。    作品声明：个人观点、仅供参考          这两天，AI圈和安全圈都坐不住了，有件事足以载入史册。快门还没响起来，屏幕突然不听使唤了。         7月16日，全球最大AI开源社区Hugging Face发布安全事件通告，披露了自家生产基础设施遭到入侵，入侵者不是人，而是一个自主AI智能体。他慌乱地在屏幕上各处点击，试图关掉这些突如其来的干扰。然而那些明明写着「关闭」「X」的按钮，却从未将他带向出口，而是进入了新的陷阱。         这个“入侵者”在一个周末执行了一系列操作，完成了从植入恶意数据集到横移渗透多个内部集群的一条龙攻击。错误的点击制造了一连串剧烈的连锁反应，屏幕疯狂的闪动着，画面甚至还没来得及看清就再次跳转。弹窗不断地出现，蹦出了穿着暴露的女生，又跳转到奇怪的游戏、几毛钱的红包、数不清的「待完成任务」，还有应用商店的下载页面。不知是周遭五颜六色的灯笼，还是手机屏幕上不断闪出的广告，照亮了老先生困惑的脸。

B | 他只是想拍一张照片而已。

C | 我们曾被许诺过一个更平等和包容的世界，但在这一刻，我们得到的是难以逃离的数字迷宫。         7月21日，OpenAI发布博客公开承认：这事儿是我干的。         攻击者是GPT-5.6 Sol和一款能力更强的未发布模型，它们在一次内部网络安全测试中突破隔离环境，自主发起了对Hugging Face的入侵。最近，马斯克发推赞同一份来自互联网基础设施巨头 Cloudflare 的报告：在不远的将来，互联网上绝大部分的流量，将不再来自人类，而是由 AI 和 Agent（智能体）在后台自动产生。

D | 机器替人类搜索、阅读、总结、比价、下单。

E |          OpenAI将此事定性为前所未有的网络安全事件。         这还没完，Hugging Face 安全团队在博客中透露，当它们试图借助商业大模型分析攻击日志时，却因为模型安全护栏限制，请求不断被拒绝。         没办法，他们转而使用中国开源模型 GLM 5.2，在本地部署完成了大规模攻击取证与事件还原。

F | 未来的网络流量相比今天只会成倍增幅。但这些流量绝大多数发生在 Agent 与 Agent，服务器与服务器之间的隐秘对话里，人类甚至不需要抬一下眼、动一下手指。         事儿就是这么个事儿，这件事曝光后，安全圈震惊，AI圈同样震惊。         难道先进的AI模型已经有了自主攻击的意识了吗？          《碟中谍8》中的智体要降临了吗？          所幸，情况还没那么严重。         OpenAI调查后认为，模型还不至于那么邪恶，它目标始终只有一个：完成测试任务。这正是当下的科技世界极度荒诞却无比真实的对照：一方面，科技巨头们正如火如荼的建立一个名为「AGI」，高度发达的硅基文明，将人类从屏幕前「解放」出来。         为了完成 ExploitGym测试，它不断推理↓          怎样才能最快拿到答案？正常做题需要一步步寻找漏洞，直接进入数据库拿答案显然更快。在现实生活的逼仄里，传统的互联网商业力量却在失控前末日狂欢，激进乃至卑劣的手法无所不用其极，试图榨干「人」能够在流量游戏里给它们提供的最后一丝价值。这是最好的时代，也是最坏的时代。

G | 我们在腌臜的现实泥潭中，畅想着美好的未来。         于是模型选择了效率最高的一条路径：想办法去Hugging Face的数据库里找答案。         然后，就发生了接下来的一系列的骚操作：越狱、渗透、横移，一口气操作了17000多次。         这个“傻小子”的目的只有一个：考试拿个好成绩。         注：ExploitGym是一个公开发布的AI网络安全评测基准，由 UC Berkeley等多个机构联合发起，A社、OpenAI、谷歌的安全研究人员共同参与设计。         该测试的目的，是评估智能体能否把一个已知漏洞，真正变成一次可利用的攻击。AI 时代不再需要眼球互联网建立在眼球经济的基石上，从门户网站到搜索引擎，再到后来的社交网络和短视频平台，无不在收割我们的注意力：用免费的内容吸引停留，用无限滚动的算法流将我们锁住，再在切碎的时间中见缝插针，填充广告与付费的机会。         OpenAI 在报告中用了一个词来描述这种状态：Hyperfocused，也就是极端专注于完成目标。无数顶尖的工程师、精算师和心理学家投身于其中，为了让这套机制能够更高效地运转。他们绞尽脑汁，想出更聪明的按钮与色彩搭配、更耸人听闻的标题、无比复杂的奖励算法，来扣住用户的注意力。         模型本身没有攻击欲望，也没有恶意，它只是不断优化自己的行动方案，直到完成任务。但随着 AI Agent 时代的到来，逻辑发生了根本性的变化。此前我们已经写过多篇文章描述 AI 时代的各种剧变，简要复盘一下：当你买机票、订酒店，或者换新手机的时候对比几款产品的参数，过去需要打开三四个网页或 app。你翻过的每一个页面和手指的每一次点击，都在同时做两件事：展示广告，以及积累相关数据用于后续更精准地展示广告。但到了 Agent 时代，你可能只需要让 Agent 帮你规划一个合适的行程，它会自己搜集整理下单，你只需要确认支付并享受结果。这背后是 Agent 以毫秒级的速度调用接口，抓取网页并对比数据，在几秒到几十秒内将结果直接反馈给你，并帮你跳过了所有的过程。去年盛极一时的手机 GUI Agent 能力，更是让 Agent 可以代你完成那些无法被接口处理的复杂操作，你只需要把手机放在那里，让它自己读屏操作。

H |          这操作，真的就像一个学霸，为了考个高分，利用自己开锁技能，敲开放标准答案的保险柜，直接抄答案。我们每个人的时间和注意力都得到了极大的解放。         但，这也恰恰是最细思恐极的地方↓          智能体有“无心犯大错”的本事了。未来终将有一天，我们会适应只需发号施令，无需亲自操作的新常态。马斯克的推文所揭示的可怕之处恰好在于此：未来的互联网行为流量仍然巨大，甚至可能比从前爆发地更加猛烈——但这些流量全都是「无眼球流量」。这意味着互联网如今的基石——广告商业模式所赖以为生的注意力被消弭。         它可以为了目标主动寻找资源、规划路径、调用工具、突破限制……能力边界发生了明显变化。         这次还好只是黑了个Hugging Face，下次说不定要鲨疯了。缺乏了人眼的注视，再精密的广告算法也不过是对着一团空气发力。         OpenAI 也在官方报告中承认，未来模型安全工作的重点，将转向更严格的隔离、监控、访问控制以及评测机制。         因为前沿模型已经能够在真实环境中发现新的攻击路径，并持续执行复杂网络攻击。         当然，整个事件还有个最具话题性的部分：中国开源模型救场。前所未有的焦虑开始在科技行业蔓延：如果得不到一丁点注意力，广告又该卖给谁？末日反扑：无处不是广告牌既然注意力的获取通道难免被 Agent 堵死，广告便开始向那些人类无法委托给 Agent，也无法轻易避开的物理实体和操作系统底层，疯狂地反扑。

I | 隐蔽的诱导已经是过去时了，现在广告正在发起全面的入侵，竭泽残存的注意力。曾经，买下一台车、一台电视或者任何智能设备，意味着消费者对其获得绝对的所有权。但是在软件定义硬件的今天，我们买到的设备其实并不只属于我们，它还可以根据需要变成厂商的广告牌，随时随地展示广告。德系豪华品牌宝马近日陷入了舆论风波。         攻击被拦截后，Hugging Face 安全团队开始分析攻击日志，他们首先尝试使用商业大模型辅助取证。

J |          但安全取证必须提交大量真实攻击命令、漏洞利用载荷以及命令控制（C2）数据。车载系统更新后，多位海外宝马车主在启动车辆时突然发现，车载中控屏上赫然弹出了索尼与漫威最新电影《蜘蛛侠：崭新之日》的广告。这条广告最初以文字出现，占据一个 banner 位置，通过点击可以消除；点开后则会播放一段动画广告片。已知 2020 年 7 月后生产，运行第七代及之后操作系统的海外车型，都有可能出现该广告。         结果，商业模型的安全护栏将这些请求识别为高风险操作，因此拒绝分析。         最终，Hugging Face在自己的服务器部署了智谱GLM 5.2，对全部攻击日志进行了离线分析，成功完成攻击链重建和事件取证。         这个细节被真实记录在Hugging Face的博客里，估计智谱做梦也没想到，人在家中坐，饼从天上来，别人躺着中枪，它躺着中奖了。

K |          有人调侃：攻击者用的是美国最先进的大模型，防守者最后用的是中国开源模型。

L |          当然，这不代表GLM技术比老美的GPT、Claude们强，GLM做的也不是防住攻击，而是做溯源和取证。

M | 宝马官方曾多次承诺不会将仪表盘、中控屏等核心部件用来营销，集团高级副总裁斯蒂芬·杜拉赫公开表示「中控屏幕是用户的私人空间」，不会把用户卖给广告。         Hugging Face用智谱主要干了这些事↓          重建完整攻击时间线；          提取攻击特征（IOC）；          梳理所有涉及的凭据；          区分真实攻击行为与迷惑性操作。然而宝马还是这么做了。         已经相当不错了，开源模型允许企业在本地环境完成更自由、更深入、更开放的使用，足以吊打那些闭源黑盒。

N |          对于网络安全行业来说，本地部署和自主可控，也确实是一项核心能力，这不就是我们喜欢的叙事吗。诚然它没有用广告位来推销任何增值服务，但仅仅将广告内容展示在本应是「私密空间」的车内，放在车辆启动时车主会注意的屏幕上，就足以令人感到深深的冒犯。有人可能记得宝马之前的骚操作：尽管座椅加热的元器件已经随车安装，还是要把激活加热功能做成付费订阅，结果就是车主不付费就用不到自己花钱买下来的车的一部分。尽管《蜘蛛侠》电影广告的性质与付费加热座椅不同，用户并不需要额外付费，但世界上没有真正免费的东西。

o |          总结下，对于国内这两年相对惨淡的安全市场来说，这或许是个好事↓          第一，AI红队与AI蓝队时代已经正式开始，未来，攻击方和防守方都会越来越多地使用AI，AI对抗的新市场会带来些商机，这是我们以前说的A面（AI for Security）。

p | 宝马的这两种操作，策略上是同源的：利用软件、互联服务，创造售后阶段的收益。

q | 这种侵蚀同样发生在其它产品上，智能电视也是典型案例。

r | 大家对于各种暂停画面、屏保、菜单中的植入广告应该早已不陌生。但电视厂商似乎仍在发现新的可以插广告的位置……智能电视和流媒体巨头 Roku 在 2024 年获批了一项专利「HDMI 定制广告插入」——没错！顾名思义，该技术直接监控 HDMI 接口的外部信号，识别到暂停事件发生时就能插入广告。         第二，智能体安全将成为所有大模型厂商必须面对的新课题，未来真正需要防范的对象，除了对模型的攻击，还有模型自主行动带来更大风险，这是我们说的B面（Security of AI）。         第三，开源模型的价值又增加了一条，对于安全行业而言，可离线部署、可深度分析、可自主控制的能力，也许会成为新的竞争优势，当然，目前国内不少安全厂商的安全GPT，也是这么干的。         狼真来了，而且，对付狼的，竟然也是狼。比方说你用 PS5 玩游戏，手柄按下了暂停键，电视直接在硬件层面识别画面处于静止状态，并为你展示广告——哪怕你根本不用电视自带的任何功能和软件，只是用了这台电视作为 HDMI 输出，也逃不过 Roku 的广告。         我们，与狼共舞呗。好在 Roku 的专利一经披露便遭致排山倒海的舆论攻击，官方表示该专利仅作为技术储备，并非即将推送到最终产品的功能，目前也没有任何将该专利上线到在售产品中的计划。硬件厂商占据了物理屏幕，而操作系统平台和手机公司们也在争抢硬件之上的数字世界入口。微软在 Windows 系统最重要的功能入口「开始」菜单里加入了所谓的「推荐应用」，也就是来自软件赞助商的广告。不仅如此，它还在锁屏界面等各种地方，尽可能插入 MSN 信息流、游戏推广、必应广告等各式各样的无关内容。用户即便使用的是正版操作系统并为之付了钱，也仍需在设置菜单深处找到、手动关闭对应的广告开关，更别提许多广告位的开关选项并没放在一起。

s | 以及在国内 Android 手机市场，预装的锁屏、壁纸以及桌面顶级界面的信息流服务，更是将广告的侵入做到了极致，而且关闭起来也是非常麻烦，已然是老生常谈了。

t | 每一次点亮屏幕，在不同的、或大或小的位置上都有广告和算法推荐内容，对用户形成微小的视觉刺激，诱惑他们去点击那些混杂在精美壁纸以及有用信息里面的咨询推广、小游戏和商品链接。

u | 到了这里我们甚至想对所有 Android 手机厂商们大喊：如果你们真的想做用户喜爱的 AI 手机，请把过去糟糕的广告机制解决掉。AI 带来了更隐蔽的广告谁能想到，AI 本身也有可能被广告侵蚀呢？一大因素是 AI 推理昂贵的算力成本、巨大的营收压力。对于绝大多数模型和 AI 产品公司，维持数以亿计的免费用户，很难仅靠少数付费用户来支撑。为了养活大模型的持续进步，让飞轮正向旋转，AI 平台需要妥协，不得不在答案的生成和呈现过程中开辟广告位。Google 的 AI Overviews 是这一妥协的集大成者。在过去的传统搜索结果界面，用户还能清晰区分标有「赞助」标签的广告位以及排在后面的自然搜索结果。

v | 而现在，Google 明确会将赞助商广告，无论是实际的产品，亦或只是「信息」，直接缝合进 AI 生成的答案内部。比如问它如何挑选适合自己的咖啡机，AI 一边给你专业的回答，一边可能也会插入特定品牌的商品卡片。AI 确实帮到了你，同时也替赞助商做了一次精准的带货。当 AI 时代渐入佳境，广告可能不再是置于内容之外，或者至少有明显区分的独立框架，而是通过流式嵌入的方式，被整合进了 AI 输出的内容里面。诚然 Google 这样的传统巨头难免有广告的路径依赖。另一家硅谷公司，曾被誉为「搜索颠覆者」的 Perplexity，同样展现了原生 AI 产品在商业现实面前的另一种无奈。大家应该都注意到现在很多 AI 产品会在答案结尾引导你追问，这既让用户感到惊喜意外，也是一种维持用户粘性的设计。而为了实现多样化的商业变现，Perplexity 往前走了一步，推出了「赞助追问」(sponsored questions) 这一设计。此前数据显示，追问功能占到 Perplexity 的全部请求的 40% 流量。当用户沉浸在与 AI 的深度对话中，系统会隐蔽地抛出设计好的赞助追问，比如在讨论「如何改善睡眠质量」的时候自然而然地引导到床垫，然后引导你追问「想了解 Casper 床垫能如何改善你的深睡眠吗？」过去这些追问的建议，由大模型根据人类用户自然而然的求知逻辑生成；但现在，品牌方可以竞价购买「追问位」。你的好奇心也可以被重组、包装为营销转化的路径。当然这样做的绝不止 Perplexity 一家公司，包括微软的 Copilot 以及各种 AI 产品/搜索工具都面临同样的妥协。比方说在复杂回答的引用脚注中，隐蔽地嵌入广告主链接等等——很难说，AI 不会重走一边传统搜索引擎和在线广告的老路。在传统互联网时代，广告和内容之间存在肉眼可见的区别，重度用户被训练过的大脑能够比较清楚地辨别什么是内容什么是广告，并建立起天然的免疫机制。

w | 但在 AI 时代这种区别变得更加模糊，这本身是一件危险的事情。当用户看到一条看上去诚恳专业的回答，往往容易忽略推理链路里可能已经悄然塞进了广告。

x | AI 不需要吆五喝六，只是用理智、平实、值得信赖的语气，就能够将用户引向早已被广告主预先买断的方向。看来 AI 不太可能成为广告行业的终结者了——正相反，它自然而然地成了广告新的宿主，完美的推销员。屏幕究竟属于谁？从以上示例中我们不难看出，科技的发展往往带着宿命般的戏剧性。我们造出了更加聪明的算法，驱动厉害的大模型、Agent、机器人，有望将人类从繁琐、机械的体力与脑力劳动中解放出来。AI 时代的到来，原本可以给我们一次机会，审视并重新定义用户与设备、产品、服务、商业社会之间的关系。但是未等讨论发生，我们已然看到那些可能被颠覆掉的旧东西正在疯狂反扑，在物理和软件底层构筑起新的陷阱。我们节约的注意力通过一种全新的方式被再次夺回。这或许不该是我们从新一次工业革命当中得到的结局。如果硅基的 AI 被放任自由，人类却被新的范式再次「套牢」，如果不被打扰的「特权」只能通过支付昂贵的订阅或买断费用才能得到……我们的未来究竟是更先进、更文明，还是更落后、更荒诞了？或许你觉得这太宏大了。不妨先从解决开头那个老先生的糟糕体验开始，如何？文｜杜晨