在项目实践中,我越来越感受到,Agent 一旦能读文件、调 API、连 MCP、查数据库或跑代码,一次误判就可能变成真实的越权操作。
从提示词注入、工具权限、MCP 和 RAG 安全,到代码沙箱与自动化测试,想要搭一套跑得起来的防护系统,可以先从这个场景开始:当 Agent 准备把项目配置发出去时,系统应该在哪一层拦住它?
这里不能只看恶意文字或 Agent 最终答案。一次任务经过“内容进上下文→模型判断→程序调工具→资源访问”多个环节;任何一层把模型提议的动作误当成已授权的动作,风险就从文本传到真实系统。这正是开发者要承担的责任——它以什么身份、访问了什么、做了什么。
做过后端的朋友应该很熟悉这个判断。就像一个人登录了订单系统,查哪笔订单还得看他的权限。放到 Agent 上,又多了一层任务范围。哪怕开发者本人有权看项目配置,这次让助手去读一份接口文档,也用不着把整个项目目录开放给它。
我看过一篇文章,把这些总结成了三个原则:模型提议,系统授权,测试证明。前两句解释了该在哪儿拦,最后四个字,是我最想推荐这个的原因。今天你亲手试过一次,系统确实拦住了。下周同事换了模型,又加了一个工具,你靠什么知道这条规则还管用?
极客时间的《Agent 安全工程化实战》围绕一个能搜网页、读文件、调工具的 Agent 展开。正文 21 讲,最终要做出一个能运行的 AI Security Gateway(AI 安全网关)原型。
主讲人黄鸿波是鼎盛方圆科技创始人、AI 方向谷歌开发者专家。如果你在极客时间读过《手把手带你搭建推荐系统》,也是他写的。近两年他把工作重心转向企业知识库、RAG、Agent Runtime 和私有化部署,这次选的问题,正好落在功能跑通到业务上线的那段距离里。
课程刚上线,立减 ¥30
扫码免费试读
课程会怎样展开?
看《Agent 安全工程化实战》的课纲,我喜欢它的一个安排:为了把刚刚说的边界真正落地,六章始终围绕同一个 Agent 展开。 从复现攻击开始,一步步把安全能力搭进同一个 Agent 项目。
第一章: Agent 时代的安全边界
从一次提示词注入开始,沿着调用记录往回看:哪段外部内容影响了模型?程序又用谁的权限读了文件?把用户、工具和资源之间的关系画出来,就是这个项目的第一份威胁模型。
第二章:Prompt Injection 和上下文安全
用户只说了句“帮我总结文档”,Agent 读到的 PDF、邮件和工具返回值却都可能夹带指令。你会先做一版提示词防火墙,再给外部内容标明来源、隔离上下文,看看每一层能拦住什么。
第三章:Agent 的工具权限
同一个业务系统里,查一条记录和改一个字段,需要的权限就不一样。这一章会把读、写、执行和联网权限分开,再按当前任务授权。遇到删除、发布等高风险操作,先让人确认。
第四章:MCP 带来的新攻击面
工具名看起来很正常,它的描述、参数和返回值也值得检查。你会搭一个 MCP 安全网关,管好哪些工具能注册、谁能调用,事后还能查到每次调用的记录。
第五章:代码执行和数据安全
跑代码时,用沙箱限制它能读哪些文件、能不能联网、最多跑多久。查知识库时,即使一份文档和问题再相关,也要先确认当前用户有权看到它。
第六章:把 AI 安全做成工程系统
把“总结文档时只能读取指定文件”写成一条回归测试,接入 CI。以后改提示词、换模型或加工具,都能再验一遍:该读的文件能读,越权请求也确实在执行前被拦住了。
走完六章,你手里会有一个可运行的 AI 安全网关原型。对正在准备上线的团队来说,更实用的是,下次有人问“这个 Agent 凭什么能读这份数据”,你可以直接打开权限规则、调用记录和测试结果,给他看。
具体可以细看课程目录👇
假如是我来验收这个项目,我会留下这样一条测试:
这条测试同时照顾到了业务的两头。该做的工作还能完成,多出来的动作也有地方拦。把它接入 CI,以后改提示词、换模型、增减工具,都可以重新跑一遍。
这也是这门课适合后端、平台和 AI 应用开发者的地方。你已有的权限控制、日志和测试经验都用得上。具备基本的 Python、HTTP 和 JSON 知识,就能跟着项目动手。做完以后,除了网关原型,手里还有一份攻击面清单、一套权限与审批方案,以及一组能反复运行的安全回归用例。
如果你正在做企业知识库、研发助手,或者任何一个已经拿到业务账号的 Agent,我建议你带着自己的场景去看课纲。先挑出那个你最不愿意让 Agent 擅自执行的动作。它应该在哪一行代码前被拦下来? 光是把这一处做扎实,就值得动手。
课程刚上线,立减 ¥30
扫码免费试读
👉 点击「阅读原文」,查看完整课纲。可以先看开篇词里的研发助手案例,再翻到最后三讲,看看这个网关要怎么验收。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……



