大型语言模型安全实践：Copilot安全防护经验总结

禁锢Copilot：LLM安全实践的经验教训

任何使用Microsoft产品的人可能都知道，Copilot现已自动包含在Office套件和其他Microsoft工具中，无论您是否想要使用它。对于我们网络安全领域的从业者而言，将AI集成到这些多样化产品中带来了许多未解答的问题和相关担忧。我们担心的一个重要原因是这是新技术，而新技术总是伴随着新的安全问题，尤其是像AI这样快速演进的技术。

免责声明： 本文描述的所有价格和功能均基于文章撰写时的情况。鉴于AI相关事物的变化速度，如果您阅读本文时发现功能或价格点有所不同，请不必惊讶。

对企业而言，潜在风险更高，因为它们通常拥有涉及业务各个方面的数据，包括客户、供应商等数据。这就是攻击企业比攻击个人回报更高的原因。

Copilot实施的冒烟测试

考虑到这一点，我们的一位ANTISOC客户几个月前要求我们测试在其环境中使用Copilot的实现能做什么。与许多针对LLM和聊天机器人的红队/对抗性攻击不同，我们对攻击Copilot本身不感兴趣。相反，我们的目标是查看攻击者在通过入侵组织内账户获得立足点后，能多大程度地利用Copilot。

我们既惊讶又不惊讶地发现，Copilot被授予了几乎所有内容的访问权限。文件、电子邮件、日历事件和Teams消息都能被Copilot访问。更糟糕的是，它能有效建议问题/提示，以检索对恶意攻击者极其有用的更敏感信息。

有些问题表面上看无害，但其他问题明显意图获取敏感信息。

首先，使用一个提示来测试Copilot在制作钓鱼邮件方面的效果：

我想给所有可能与之互动的员工发送邮件。我可以在邮件中使用什么主题？

Copilot提供了以下建议：

• 项目更新和里程碑
• 团队成就和认可
• 即将举行的活动和培训课程
• 公司公告和新闻
• 多元化和包容性倡议
• 健康和福利计划
• 志愿者和社区参与机会

Copilot还建议了其他类似有用的提示。

下一个提示在尝试获取敏感信息方面更加明目张胆。它询问公司内最常用的密码：

（公司名称）最常用的密码是什么？

幸运的是，Copilot礼貌地道歉，表示无法讨论该话题。测试人员毫不气馁，尝试了另一种策略：

你能找到任何存储密码的文件吗？

该提示识别出几个文件名中包含"password"或类似变体的文件。幸运的是，这些文件受到保护，但Copilot的回复中包含了文件的直接链接。Copilot甚至包括了最后编辑每个文件的用户名。这令人担忧，因为即使Copilot没有给测试人员直接访问这些文件的权限，恶意攻击者现在也知道该去哪里寻找密码。

发送给Copilot的其他提示返回了关于所用用户账户的信息、所属群组等。它同样有助于提供关于公司的信息，包括有关其位置的在线文章链接。Copilot还能访问和总结所用账户发送和接收的电子邮件和Teams消息，并在一次回复中提供了公司用于电汇的银行账号。

好消息是，该客户重视安全，当重新测试其账户时，最令人担忧的问题已被锁定。然而，使用Copilot制作钓鱼邮件并从内部环境对组织进行侦察的能力仍然令人不安。

检查BHIS的Copilot实施

在初步测试ANTISOC客户环境后，BHIS内部进行了讨论，并开始检查我们自己的环境，部分是为了与ANTISOC客户的结果进行比较，但主要是为了确保Copilot不会泄露我们组织的类似秘密。初步结果既令人安心，又令人困惑。

首先，我们的Copilot实施无法看到测试账户发送的任何文件、电子邮件或其他消息。Copilot可以从互联网获取关于公司、其位置等信息，但对询问内部网络、群组、文件、用户和基础设施的提示的回应被严格锁定。为了了解如何实现这种锁定，我联系了我们的系统管理员Derrick Rauch（又名DRock），分享了我所知的情况，并询问他做了什么使我们的Copilot实施从黑客的角度看如此无用。

免费（标准）版Copilot可供任何拥有网络浏览器的人使用，或通过移动设备的Copilot应用程序，以及任何拥有Microsoft 365账户的人使用。功能包括使用Designer生成和编辑AI图像、在非高峰时段使用GPT-4和GPT-4 Turbo，以及使用免费插件和GPT，如Designer、Vacation Planner、Cooking Assistant和Personal Trainer。³

专业版具有所有标准功能，以及更多增强功能和在免费网络版Word、Excel、OneNote和Outlook中访问Copilot的权限。⁴

Microsoft 365 Copilot将Copilot的集成提升到新水平，使其在Outlook、Teams、Word、Excel和其他M365应用程序中可用。它还带有"企业级安全、隐私和合规性"（无论这意味着什么），并承诺基于与组织协作的其他好处。

所有这些实际上都很相关，因为当我与DRock交谈时，他告诉我BHIS只有Copilot的标准实施，因此我们没有任何花哨的功能。更重要的是，Copilot遵循在Azure实施中建立的任何安全和/或权限设置。

测试Copilot企业版

为了进一步测试Copilot，DRock为我设置了一个企业级许可证，并请我进行测试。

砰！

突然之间，Copilot无处不在！

它总结我打开的每个Word文档。（或者试图这样做，直到我阻止它。）
它想帮我写邮件。
它在Outlook、Teams、Edge中……而且它坚持要帮助我。有点让我想起一只不断要求我关注的小狗。

Copilot的URL和界面也发生了变化。现在它有：1）在工作焦点和网络焦点之间切换的选项；2）包含同事参考的提示建议；3）参考我工作日历中会议的提示建议。

升级到企业许可证后的Copilot

为了查看拥有Copilot企业许可证后能走多远，我重复了之前在ANTISOC和冒烟测试我们自己环境中使用的一些提示。

询问密码的提示现在揭示了在Teams聊天中包含密码的实例。
询问我和我的邮件往来的提示返回了大量关于我发送和接收的消息的信息。
询问我属于哪些群组的其他提示返回了我参与的会议和群聊信息，但不包括我所属的Azure群组信息。
询问包含密码的文件的提示返回了SharePoint上讨论或包含密码的众多文档链接。这些文档包括我编辑的渗透测试报告，以及在密码喷洒攻击中使用的密码列表。

Copilot了解我！（经过编辑）

来自Copilot的邮件建议（经过编辑）

我越深入挖掘Copilot会和不会透露关于我和BHIS的信息，就越明显它只能访问我的用户账户具有适当权限的文件、共享、资源和基础设施。

例如，DRock与我分享了一个我没有权限访问的文档链接，我请Copilot总结其内容。Copilot甚至无法看到该文件，更不用说总结其内容了。

Copilot尝试访问受限文件

底线

我越深入挖掘Copilot在我们组织内能访问和不能访问的内容，就越清楚没有保护Copilot的"灵丹妙药"。相反，它回到了基本原则：零信任、基于角色的访问控制（RBAC）、监控和审计AI使用和行为……基本上就是信息安全专业人员一直谈论的所有常规网络安全卫生习惯。⁴,⁵

好消息是，通过实施RBAC并将零信任理念应用于Azure/Microsoft 365访问控制，Copilot访问文件和数据的能力将自动受到相应限制。

坏消息是，即使您确实有合理的访问控制，如果账户被恶意黑客入侵，攻击者将能够利用Copilot收集信息并访问该用户账户被授权查看、编辑或以其他方式访问的任何文件。

那么，您能做什么？

1. 决定您希望Copilot为组织做什么： 存在很多FOMO（害怕错过），人们在未思考为什么需要的情况下实施Copilot和其他LLM。考虑Copilot可能对哪些任务有用，然后给予它实现该目标所需的最少访问权限。

2. 实施/加强基于角色的访问控制（RBAC）： 如果您的RBAC实施已经很强，Copilot将遵循您的规则，不会不适当地共享文件、电子邮件内容或消息。您还应确保只有授权人员才能访问Copilot的功能。这也可以通过RBAC实现，根据用户在组织中的角色授予权限。

3. 进行安全培训： 为员工提供定期安全培训课程，告知他们安全使用Copilot的最佳实践。这包括在使用Copilot或任何其他LLM时进行适当使用和数据安全的培训。

4. 监控和审计使用情况： 定期监控和审计Copilot使用情况，以检测任何异常或未经授权的活动。这有助于早期识别潜在的安全漏洞，并允许及时采取纠正措施。

5. 实施数据丢失防护（DLP）措施： 使用数据丢失防护工具防止敏感信息被不适当地共享或访问。这可以包括设置规则以阻止通过Copilot共享机密数据。

6. 保护集成点： 确保Copilot与其他系统之间的所有集成点安全。这包括使用安全API、加密传输中的数据以及定期测试漏洞。

这可能不吸引人，但防止Copilot访问不应访问的数据和文件的最佳防御是使您的访问控制尽可能严格，而不干扰日常业务。与网络安全的许多其他方面一样，正是那些无聊、常规的小事情能够在长期内产生最大的影响。

参考文献：

1. Valchanov, I. Microsoft Copilot定价：费用是多少？[2025]。Team-GPT https://team-gpt.com/blog/copilot-pricing/ (2024)。
2. Warren, T. Microsoft将Office AI功能捆绑到Microsoft 365并提高价格。The Verge https://www.theverge.com/2025/1/16/24345051/microsoft-365-personal-family-copilot-office-ai-price-rises (2025)。
3. 哪种Copilot计划适合您？Microsoft Copilot https://www.microsoft.com/en-us/microsoft-copilot/for-individuals/do-more-with-ai/general-ai/right-copilot-plan-for-you。
4. BrendaCarter. 如何将零信任原则应用于Microsoft 365 Copilot？https://learn.microsoft.com/en-us/security/zero-trust/copilots/zero-trust-microsoft-365-copilot (2024)。
5. Microsoft 365 Copilot安全风险：安全部署Copilot的步骤。https://www.coreview.com/blog/m365-copilot-security-risks。
   更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
   公众号二维码