随着人工智能在商业运营中变得越来越重要,新的安全隐患和安全威胁以前所未有的速度出现——超出了传统网络安全解决方案的能力。
风险很高,可能会产生重大后果。根据思科的2024年人工智能准备指数,只有29%的受访组织感到完全有能力检测和防止对人工智能技术的未经授权的篡改。
持续的模型验证
思科人工智能软件与平台负责人DJ Sampath表示:“当我们谈论模型验证时,这不仅仅是一次性的事情,对吧?你是在持续进行模型验证。
“所以当你看到模型发生变化时——如果你正在进行任何类型的微调,或者你发现新的攻击开始出现,你需要让模型学习——我们不断学习所有这些信息,并重新验证模型,以查看这些模型在我们发现的新攻击下的表现。
“另一个非常重要的点是,我们有一个非常先进的威胁研究团队,他们不断关注这些人工智能攻击,并理解这些攻击如何进一步增强。事实上,我们正在为MITRE、OWASP和NIST等标准组织的工作组做出贡献。”
除了防止有害输出外,思科还解决了人工智能模型对恶意外部影响的脆弱性,这些影响可能会改变它们的行为。这些风险包括提示注入攻击、越狱和训练数据中毒——每一种都需要严格的预防措施。
演变带来新的复杂性
IDC安全与信任集团副总裁Frank Dickson对网络安全的演变及人工智能的进步对行业的影响发表了看法。
“第一个宏观趋势是我们从本地转向云,这引入了一整套我们必须解决的新问题。然后,随着应用程序从单体转向微服务,我们看到了这一整套新的问题。
“人工智能和大型语言模型的加入……同样,带来了整套新的问题。”
随着应用程序变得多模型,人工智能安全的复杂性加剧。脆弱性可能在各个层面上出现——从模型到应用程序——涉及不同的利益相关者,如开发人员、最终用户和供应商。
“一旦应用程序从本地转移到云,它就会留在那里。是的,我们在多个云中开发应用程序,但一旦你将应用程序放在AWS、Azure或GCP中,你不会每月、每季度、每周在这些不同的云环境之间跳转,对吧?
“一旦你从单体应用程序开发转向微服务,你就会停留在那里。一旦你将应用程序放入Kubernetes,你就不会再跳回其他东西。
“当你试图保护一个大型语言模型时,重要的是要注意模型的变化。当我们谈论模型变化时,这并不是说这是一个修订……这周也许[开发人员]在使用Anthropic,下周他们可能在使用Gemini。
“它们完全不同,每个模型的威胁向量也完全不同。它们都有自己的优势,也都有显著的弱点。”
与集成到单个模型中的传统安全措施不同,思科通过其新宣布的人工智能防御为多模型环境提供控制。该解决方案是自我优化的,使用思科的专有机器学习算法来识别不断演变的人工智能安全和安全问题——这些问题由思科Talos提供的威胁情报提供支持。
适应新常态
思科执行副总裁兼首席产品官Jeetu Patel分享了他的观点,即在短时间内的重大进展总是显得革命性,但很快就会变得正常。
“Waymo是来自谷歌的无人驾驶汽车。你上车时,车里没有人,它会把你从A点送到B点。这感觉令人难以置信,就像我们生活在未来。第二次,你就有点习惯了。第三次,你开始抱怨座椅。
“即使在过去几年中,我们对人工智能和ChatGPT的适应速度如此之快,我认为任何重大的进展在短时间内都会感觉非常进步。然后会发生一种正常化,大家开始习惯它。”
Patel相信,AGI也会经历正常化。然而,他指出“你不能低估这些模型开始取得的进展”,最终,它们将解锁的用例类型。
“没有人会想到我们会有一部智能手机,它的计算能力超过你手边的主机,并且能够在任何时候做成千上万的事情,而现在这只是生活的另一种方式。我的14岁女儿甚至都不再考虑这个问题。
“我们应该确保我们作为公司能够迅速适应这一点。”
另请参见:Sam Altman,OpenAI:为朝着超智能的目标而感到“幸运和谦卑”
想了解更多行业领袖关于人工智能和大数据的见解吗? 请查看人工智能与大数据博览会,该活动将在阿姆斯特丹、加利福尼亚和伦敦举行。该综合活动与其他领先活动共同举办,包括智能自动化会议、区块链博览会、数字化转型周和网络安全与云博览会。
探索由TechForge提供的其他即将举行的企业技术活动和网络研讨会这里。