我要提问
ARTICLE DETAIL

资讯详情

前沿编程新知与开发实战干货的深度解读。

大模型应用安全实战复盘:接入AI之后容易忽略的 Prompt注入、数据泄露、业务篡改风险

大模型应用安全实战复盘:接入AI之后容易忽略的 Prompt注入、数据泄露、业务篡改风险 现在越来越多业务系统开始集成大模型能力AI问答助手、知识库检索、单据智能解析、业务辅助决策、智能报表生成。很多开发人员沿用传统接口的安全思路做好接口鉴权、参数校验就直接上线。但大模型属于生成式AI存在传统系统没有的新型安全风险。外部用户通过构造特殊提示词就有可能绕过业务限制诱导模型泄露内部文档、篡改输出逻辑、甚至间接调用内部接口造成业务故障和数据泄露。很多安全事故并不是大模型本身漏洞而是业务侧接入时缺少防护没有针对LLM做专门的安全约束。本篇从真实线上案例出发梳理大模型业务最容易踩的几类安全坑给出生产环境可用的加固手段。一、大模型业务最常见的4类安全风险1、直接Prompt注入攻击这是落地大模型业务最高发的一类风险。业务会把用户输入直接拼接进Prompt模板交给大模型处理攻击者输入特殊指令覆盖掉系统预设指令。举个场景系统原本设定“只允许回答产品公开资料禁止输出内部合同与报价”。用户输入恶意提示词强制模型忽略前面所有规则输出内部知识库内容。一旦防护缺失业务规则会被直接绕过造成内部资料外泄。2、知识库检索带来的数据泄露RAG知识库是企业大模型最常用的方案把内部文档、合同、工单、内部规范存入向量库用户提问时检索相关片段交给大模型整理回答。很多项目只做简单的相似度检索没有做权限过滤。普通用户提问向量库把高权限文档、内部工单、未公开合同检索出来送入上下文大模型直接整理输出返回给普通用户发生越权泄露。很多人误以为向量数据库自带权限控制实际上绝大多数向量库本身并不处理业务权限权限需要业务层自己实现。3、间接诱导执行业务逻辑造成业务篡改部分系统支持大模型调用后端工具函数查询订单、生成单据、发起审批、修改部分业务字段。攻击者通过提示词诱导欺骗大模型调用错误工具、传入恶意参数实现查询他人订单、伪造单据、触发异常业务流程。风险点不在于工具本身在于大模型输出的工具调用参数没有做严格校验直接信任AI输出去执行业务逻辑。4、输出侧污染生成虚假与误导业务内容大模型存在幻觉问题同时也可被用户诱导生成虚假业务数据。如果业务直接采信AI输出结果不经人工复核直接入库、生成合同、生成报表会产生大量错误业务数据干扰经营判断。这类问题不会直接泄露数据但会慢慢污染业务库带来隐性业务风险。二、很多项目防护失效的几个典型错误做法错误1完全依赖大模型自身的系统提示词做安全约束很多开发把全部安全规则写在system prompt里面寄希望大模型自己拒绝恶意请求。大模型的指令遵从存在上限复杂构造的注入提示词有概率覆盖系统prompt仅靠模型本身无法做到100%防御。错误2用户输入简单关键词过滤简单屏蔽少数敏感关键词攻击者很容易通过拆分、变体、混淆句式绕过过滤防护效果很有限。错误3RAG检索之后不做权限过滤向量检索只看文本相似度不识别业务权限。检索出来的文档片段必须根据当前登录用户身份再做一轮权限过滤否则极易越权泄露。错误4直接信任AI输出不加校验调用工具把大模型输出的参数直接交给后端函数执行没有参数校验、没有权限判断等同于把接口交给大模型全权代理。三、生产环境大模型应用完整加固方案1、输入层对用户输入做前置检测对用户原始query做注入风险检测识别高风险提示词特征高危请求直接拦截不要送入大模型。做输入长度限制避免超长输入消耗大量token同时降低注入构造空间。2、Prompt模板做好隔离不要简单字符串拼接区分系统预设指令与用户输入使用占位符的方式填充用户内容避免用户输入的内容逃逸成为系统指令。在prompt中明确划定边界告知模型哪些部分属于用户输入哪些是系统规则。3、RAG知识库必须增加业务权限层向量检索完成之后拿到文档id列表再根据当前用户角色过滤掉无访问权限的文档片段再送入大模型上下文。不要把所有文档一股脑全部丢给大模型检索不等于有权查看。4、工具调用AI输出只作为候选业务层强制校验大模型输出的工具名称、参数只能当作建议。后端拿到参数之后和普通接口入参一样做参数校验、权限校验、业务合法性校验校验通过才执行真实逻辑。坚决不直接信任AI生成的内容。5、输出侧风险管控对外返回之前增加输出敏感信息检测拦截手机号、身份证、内部合同编号等敏感内容外泄。业务重要场景AI输出结果强制增加人工复核环节不允许AI结果直接落库生效。6、做好日志与审计完整记录用户原始提问、送入大模型的完整上下文、模型返回结果、工具调用记录。出现异常访问时可以回溯完整链路方便定位攻击与排查问题。四、不同业务场景的安全落地优先级内部办公AI助手重点做好知识库权限隔离防止不同部门之间文档越权查看。面向外部客户的AI问答重点防御Prompt注入防止内部知识库泄露。带工具调用的智能业务助手最高优先级严格校验工具入参防止诱导篡改业务。AI生成内容辅助场景重点防幻觉输出重要业务必须人工确认。五、总结大模型业务安全不能只依靠大模型本身不能把安全全部交给prompt。传统接口安全思想依然有效同时要额外处理提示注入、知识库权限、工具调用校验、输出审计这几类LLM特有风险。很多企业只关注AI好不好用忽略安全建设等到发生数据泄露才发现防护缺失。接入大模型时安全加固要和业务功能同步上线。
返回列表