AI与应用安全：理解当前和未来的挑战

关键要点

AI无疑是当下的热门话题，如今很多人随意传述或复述相关信息和看法。Invicti的首席技术官兼安全研究负责人Frank Catucci近日在应用安全周播客第234集中与Mike Shema探讨了AI对当今应用安全的现实意义以及未来的影响。请观看下面的视频，并继续阅读以了解AI与应用安全关系的概况，同时学习全新的“幻觉蹲点”艺术。

更快、易用且面临风险

尽管最近几个月大型语言模型LLM和生成式AI备受关注，但其根本技术早已有之，近期的微小调整使得AI更易于获取和使用。虽然技术上没有根本变化，但AI已成为一种常态，并将更快速地发展。因此，我们需要深入理解其应用场景及潜在影响。实际上，最近业界领袖们签署了一封公开信呼吁暂停开发超出GPT4能力的模型，以更好地理解其风险。

随着AI的不断演变，在越来越多领域的使用，负责任的使用、隐私和安全等问题变得尤为重要。如果我们希望早日了解风险并提前规划，而不是在事后手忙脚乱，必须认真对待这些问题。几乎每天都有与ChatGPT数据隐私相关的争议，无论是机器人泄露用户信息，还是被输入查询中的专有数据，而这些信息是如何处理又会被谁看到则无从知晓。这些担忧因ChatGPT是基于公开网络数据训练而加剧，因此，尽管进行了大量的管理工作，我们也无法完全确定会泄露什么。

攻击机器人的方法：输入注入等

对于像ChatGPT这样的对话AI，用户输入的提示是应用的主要输入。在网络安全领域，看到“输入”意味着“攻击面”。不出所料，输入注入攻击已成为当前安全研究的热点。这里主要有两个方向可以探索：构建可以提取本不应公开的数据的提示以及将现有的注入攻击应用于AI提示。

第一种涉及绕过或修改对话AI开发者和管理员定义的保护机制。在这一背景下，输入注入的重点在于构建查询，使机器人以不预期的方式工作。Invicti的Sven Morgenroth创建了一个专门的输入注入游乐场，用于在可控环境中测试和开发这种输入注入攻击。

第二种输入注入则涉及将输入视为其他用户输入，以注入攻击负载。如果应用没有在处理之前对AI提示进行清理，它可能会面临跨站脚本(XSS)等著名攻击。考虑到ChatGPT常被用于询问有关应用代码的问题，输入清理就更为棘手。如果攻击成功，这类攻击可能远比提取敏感数据的提示更危险，因为它们可能会破坏机器人运行的系统。

AI生成的应用代码的许多警告

AI生成的代码是另一个复杂的问题，如今工具如GitHub Copilot不仅能够自动补全，还能写出完整的代码段，从而节省开发者的时间和精力。众多风险中，安全性尤为突出