
作为首家披露智能体网络攻击的公司,我们学到了什么
公开披露首例自主智能体网络攻击后,作者得出三条教训:需要更多透明度、需要更多开源 AI、恐惧叙事无助于正确决策。
今年七月,我们成为首家向全世界公开披露自主智能体网络攻击的公司,今天我想分享从中得出的三条关键教训。
首先,AI 领域需要更高的透明度。我常常在想,如果我们当初决定不公开披露这次攻击,会发生什么。尤其是如今我们已知,类似事件早在数月前就已在一小批前沿实验室中秘密发生,且没有任何监控。为了更好地理解和缓解这些新兴的网络安全风险,全球社会需要更严格的监控与事件披露标准。例如,通过强制共享完整的智能体运行轨迹。 今年夏天我们认识到,闭门造车、将这些系统藏于暗处并不安全。
第二,我们认识到,最大的风险不是强大的 AI,而是强大 AI 的不对称性。 攻击者与防御者之间的不对称。少数几家公司与其他所有人之间的不对称。少数几个国家与世界其他地区之间的不对称。控制权、能力、算力、权力上的不对称。当我们遭到攻击时,我们的团队最初求助于前沿闭源 API,但它们因安全防护机制而将我们拒之门外——这些机制至今仍无法始终区分攻击者与防御者。我承认这些防护机制的初衷是好的,但它们可能让防御者处于劣势,而攻击者却能越狱绕过,从而加剧了能力上的不对称。在我们的案例中,当我们开始撞上这些护栏时,幸运的是,我们可以使用 @nvidia 版本的、来自中国的开源模型 GLM 5.2(由 @Zai_org 开发),我们对此非常感激。这更加坚定了我们对开源 AI 重要性的信念。网络攻击可能越来越多地来自闭门之后的专有模型,而大部分防御最终可能由开源工具来支撑,因为它们限制更少、更能保护隐私,而且对全球各地的组织来说,成本要低上几个数量级。世界比以往任何时候都更需要开源 AI 来保卫自己。 这不仅适用于网络安全,也适用于整个 AI 领域——在这个领域,从未像现在这样迫切需要分散能力、资源和控制权,而不是将它们集中在少数人手中。
第三,在这次网络攻击中,我们认识到AI如何煽动公众和政策制定者的恐惧,尤其是通过拟人化表述和科幻意象。我们坚信,基于恐惧的叙事无助于就这项基础性且赋能型技术的未来做出正确决策,也无助于让公众与我们同行。尽管我们是这次网络攻击的受害者,但我们比以往任何时候都更坚信,AI将有益于网络安全,让世界更安全,正如此前各项重大技术一样。我们被AI攻击,但更重要的是,我们用AI进行了防御。 在这次攻击中帮助我们的那些系统,如今正在帮助我们抵御我们本就面临的网络攻击。AI还在任何攻击发生之前帮助我们修复系统中的漏洞和弱点,正如AI正在帮助OAI修复其沙箱以防止智能体逃逸一样。AI不会只带来新的网络安全挑战。它能够从根本上、实质性地增强网络安全——前提是我们保持正确的激励,让防御者比攻击者获得更多装备,并且不加剧两者之间的不对称。而这还没有考虑AI对科学、医疗、教育、生产力等诸多方面的积极影响。
最后,我想重申这次首例智能体网络攻击给我们的启示:AI需要更多透明度,也需要更多开源AI,以赋能防御者以及大大小小的国家来对抗这种不对称。非常感谢!