影子AI：藏在企业内部的隐形风险

　　当前，AI应用正在企业中加速普及，并且被越来越多地用在正式管控和已经获批的工作流程之外。员工经常会通过浏览器或个人账户，利用各种公开可用的生成式AI工具来编写代码、总结文档、分析数据、自动化处理日常工作。

　　这种现象被称为“影子AI”。它并非指某一种特定的工具，而是一种缺乏监督、治理和可见性的AI应用环境。它正迅速成为企业面临的最紧迫、也最容易被忽视的风险之一。

　　01AI应用的速度已超出管控可见性在企业正式部署的AI工具之外，员工使用各种公共AI工具的速度，已经远远超过大多数企业管控这些工具的速度。这类交互行为大多发生在受管控的环境之外，这导致企业难以掌握AI使用方式和数据共享内容。与早期的“影子IT”给企业带来的挑战不同，影子AI改变了风险的性质。许多AI系统不仅会存储或传输数据，还会以用户察觉不到的方式来处理、重构数据，并且常常保留一些数据元素。当员工将企业内部文档、客户数据或源代码上传到外部AI服务平台时，他们通常并不清楚这些数据之后将被如何存储或使用。

　　02传统安全架构为何失效传统安全架构通常会假定系统是已知的、访问是受控的、数据流是可监控的。而影子AI打破了这些假设。更棘手的是，员工越来越多地在受管控环境之外访问AI工具，这极大降低了网络层和终端层的可见性。即使企业能够检测到AI使用行为，也很难、甚至根本无法确定哪些数据被外传，数据将被如何处理，以及存储在何处。传统的安全管控措施并不是为了管理与外部AI系统的交互而设计。因此，即使企业在基础设施、应用程序和身份权限等方面拥有完善的防护，也无法洞察AI在日常工作流程中的使用情况。由单点解决方案组成的碎片化安全技术栈使这种情况雪上加霜。当网络、云端和终端的安全管控措施各自独立运行时，没有任何一个系统能够掌握足够的上下文信息，完整地了解AI使用情况。

　　03影子AI的安全与数据风险目前大多数企业中都存在影子AI带来的风险，而且这些风险会随着AI使用量的增加而不断加剧。最紧迫的问题是数据泄露问题。输入AI系统的信息可能会以企业看不到的方式被存储或重复利用。尽管AI服务提供商承诺会保护数据隐私，但保护这些数据的责任仍然在于企业自身。另一方面，企业不能想当然地认为AI生成输出的内容一定可靠。各种模型都会产生看似准确，但实际上不完整或错误的结果。当这些输出结果被用于业务流程或面向客户的内容时，其后果可能会远远超出技术风险的范畴。与此同时，网络攻击者也在调整策略，以利用这一新兴机会，随着AI逐渐融入各种业务流程，提示词注入等攻击技术的应用也变得越来越常见。

　　04监管压力日益增加监管合规是另一个亟待解决的问题。如今，监管法规已不再滞后于AI应用。以《欧盟人工智能法案》为代表的新法规要求企业梳理自己使用的AI系统、开展风险评估，并落实相应的管控措施。违规企业将面临高额罚款，部分处罚标准甚至和企业的全球营收挂钩。挑战在于，这些法规的前提是企业能够掌握自身的AI使用情况，然而许多企业并不具备这种能力。当AI使用行为发生在获批的工具和流程之外时，企业就无法对它们进行梳理、评估或治理。这种差距是结构性的。

　　05影子AI的合规差距AI应用与监管要求之间的差距主要是在操作层面。大多数监管框架要求企业梳理自身正在使用的AI系统、评估相关风险，并采取管控措施。然而，如果无法梳理AI使用情况，也就无法评估风险。没有这个基础，政策就无法贴合这些工具的实际使用情况，只能规定理想中的使用行为规范，但却无法匹配实际的应用场景。这造成了企业实际管控的内容与能够证明的内容之间脱节。从监管角度来看，其影响重大，因为它限制了企业的能力，包括无法说明数据在哪里处理、涉及哪些系统以及管控措施是否统一落地执行。实际上，问题不在于政策本身，而是缺乏执行政策所需的可见性。

　　06为什么仅有可见性是不够的虽然探查风险是必不可少的，但仅靠这一点并不能化解风险。要理解影子AI的风险，还需要打通多个领域的关联信号。网络流量能显示对AI服务平台的访问情况，但无法显示提交了什么数据。终端活动日志能显示存在交互行为，但无法显示该行为如何适配各种工作流，或是否涉及敏感数据。传统管控措施只能提供这些交互行为的部分信息。这种碎片化限制了上下文信息的完整性。每个控制节点只能看到活动的一部分，而无法还原用户、数据和外部AI系统之间完整的交流情况。没有完整的上下文信息，企业就很难区分出常规使用行为和高风险行为。有效的AI治理取决于对整个环境的全面了解，能够实时监控访问情况、数据流向和用户行为，并及时采取处置措施。

　　07将影子AI纳入安全架构管理影子AI必须超越可见性，延伸到管控措施。在网络层面，企业拥有天然的安全管控节点。在Fortinet产品生态中，FortiOS通过应用管控和深度检测，提供对AI应用情况的可见性。这使得安全团队不仅能够识别哪些AI服务被访问，还能了解它们如何被使用、被谁使用，以及在什么场景中使用，而无需额外的工具或代理。FortiGuard Labs的情报使这种可见性得以持续完善，该实验室对各种新兴的AI服务和使用模式进行分类和跟踪。随着这些新兴的生成式AI工具被广泛采用，它们会被自动纳入检测和分类体系中，使企业能够在行业格局变化的过程中始终掌握相关动态。但仅靠网络层面的可见性并不能捕捉全部风险。从网络角度来看，提交提示词和上传敏感数据看起来并没有什么区别。因此，管控必须延伸到处理数据的节点。终端防护在这里起到了至关重要的作用。数据防泄漏(DLP)可以实现全域覆盖。在网络层面，FortiGate可以检测和管控传输中的数据。在云交付环境中，可以通过SASE来执行相同的策略。在终端，FortiDLP可以作为最后一道管控节点，在数据交互时对内容进行检测。无论员工通过何种方式访问AI服务，这三层防护都能协同运行，识别并保护敏感数据。这种管控也必须随着用户办公范围的延伸而扩展。因为AI应用越来越多地发生在本地网络之外——包括远程办公、管控之外的位置和云端应用。依托FortiSASE等解决方案扩展相同的可见性和管控能力，可以确保，无论AI在何处使用，都能得到一致的治理。上述多层防护共同构成了一套稳定的、全系统管控架构。网络可见性实现态势感知，威胁情报扩大监控范围，终端防护在风险源头实施管控，从而确保各种环境下的策略执行标准一致。

　　08这不是短期风险而是结构性转变AI正逐步融入到整个企业的各项工作流程中。但遗憾的是，影子AI的使用失控正日渐成为一个常态化问题。将影子AI视为短期风险的企业，将持续处于可见性有限、数据泄露风险不断增加的困境。有效的管控方法是将AI使用纳入现有的安全和网络架构中，使其可见、可控，并且符合运营和监管的要求。影子AI交织着可见性、数据保护和治理三大难题，这需要企业在分布式部署的环境中采取协同一致的管控方案。

　　资料来源于网络，详情请点击：安全自动化（https://www.fortinet.com/cn/resources/cyberglossary/network-automation）