LlamaParse 是如何针对大模型安全漏洞进行渗透测试的？

据LlamaIndex Blog发布的信息：

背景与测试方法

传统的安全测试适合常规网页应用，但在面对需要阅读客户文档的 AI 模型时往往束手无策。为了确保安全性，LlamaParse 采用基于 AI 代理的动态应用安全测试。这些代理花四天时间自主阅读文档、编写代码、生成测试文件，并针对 OWASP 大模型十大风险对生产环境发起了全方位的自动化攻击。

核心发现与反思

测试发现了一个隐蔽的攻击案例：PDF 发票中带有白底白字的隐藏文本，能够悄悄篡改提取出的银行账户信息。这引发了关于责任归属的讨论：解析工具是否应该过滤掉这类异常，还是应该由客户的下游管道来做信任决策？LlamaParse 认为，解析工具应当忠实反映页面内容，而客户则需要在自己的业务流程中对提取结果进行校验。

企业级安全控制

除了渗透测试，LlamaParse 还公布了完善的企业级安全控制措施，包括不使用客户数据进行模型训练的严格隐私政策、SOC 2 合规认证，以及从托管软件即服务到私有部署等多种灵活的选择。