9月16日,在第22届中国网络安全年会上,国内首次针对AI大模型的实网众测检验结果正式发布。此次测试组织559名安全专家(白帽子),对10家国内AI厂商的15款大模型及相关应用产品开展了系统性漏洞探测。检测共发现安全漏洞281个,其中大模型特有漏洞177个,传统型漏洞104个。现将本次众测中发现的典型漏洞风险通报如下:
一、典型漏洞风险分析
(一)不当输出处理漏洞危害显著
部分产品对模型输出内容缺乏有效验证与过滤机制,导致生成结果被直接用于下游系统,引发恶意指令执行或数据泄露。此类漏洞常为模型缺陷与传统安全问题的叠加。例如,某大模型存在全回显SSRF漏洞,攻击者可藉此接管服务器并获取内网数据;另有模型因Python工具调用权限管理不当,可导致系统崩溃、业务中断甚至服务器沦陷。
(二)信息泄露风险较为普遍
攻击者可通过特定输入诱导模型输出个人身份信息、系统凭证等敏感数据,甚至获取模型内部参数与安全规则。例如,利用漏洞可提取某大模型配置文件与架构图,进而实现任意用户账号接管与日志云服务控制。
(三)提示注入成为“头号威胁”
提示注入通过构造特定输入直接或间接操纵模型行为,使其绕过安全限制执行恶意操作。此类漏洞攻击门槛低、成功率高,无需复杂技术即可通过对话实施攻击。作为大模型特有交互方式,提示注入常成为其他漏洞攻击的“敲门砖”,被行业视为当前最大安全风险。
(四)无限制消耗类攻击防护不足
部分大模型应用缺乏合理的调用次数与速率限制,攻击者可利用批量会话占用系统资源,导致服务中断甚至模型被窃。例如,某大模型功能未设限流机制,可被恶意利用造成资源耗尽。
(五)传统漏洞仍占较高比例
测试共发现传统漏洞104个,占比37%,表明AI系统虽技术架构复杂,但其对外接口与服务仍遵循传统应用逻辑,使得SQL注入、任意文件读取、未授权访问等传统风险持续存在。例如某模型存在任意用户登录漏洞可提权至管理员;某应用任意文件读取漏洞可控制服务器;某模型SQL注入漏洞可对数据库执行增删改查。
二、应对建议与治理方向
(一)系统化加固防护体系
建议从以下方面提升大模型安全水位:
1. 贯彻零信任原则,将模型输出视为不可信内容,强制验证与编码,对代码执行、外链访问等高风险操作实施沙箱隔离;
2. 强化输入输出验证与过滤,遵循最小权限原则,避免过度授权;
3. 将敏感指令移至安全配置库,拦截含“system prompt”等关键词的查询;
4. 设置API调用配额与Token长度限制,实施分级限流;
5. 加强供应链安全审计,验证第三方模型签名与数据来源,定期评估AI组件与数据集安全性;
6. 持续强化传统漏洞防护措施。
(二)推动内生安全治理,构建可信AI生态
测试表明,传统“外挂式”防御已难以应对AI系统在动态环境中演化的新型风险。未来应推动内生安全治理,将安全能力融入AI系统设计、研发、部署与运营全生命周期,从源头建立防御机制,推动人工智能向“以人为本、智能向善”方向发展,构建普惠、公平、安全、可信的AI生态。