TGO鲲鹏会 | 从大模型到智能体：AI创新应用与安全治理的全景解读

6月27日，TGO鲲鹏会在成都成功举办AI大模型应用生态大会，汇聚产学研多方专家，共同探讨 AI 驱动业务创新与跨领域融合的路径。

知道创宇AI开拓部负责人王利伟参加会议并发表了《AI的安全&AI做安全》主题演讲，深入剖析大模型时代AI应用所面临的系统性安全挑战，并分享了知道创宇在AI安全攻防和智能体创新应用方面的最新实践。

AI安全：

大模型全生命周期的风险与应对

在AI安全方面，王利伟指出，随着大模型技术快速落地，AI应用已暴露出诸多系统性风险。一方面，数据泄露与商业机密安全问题突出。大模型的应用使得数据和商业机密面临被泄露的风险，各类AI应用更是导致漏洞安全问题集中爆发。再如Ollama等大模型工具，已被发现默认配置存在未授权访问与模型窃取等安全隐患。

另一方面，应高度警惕大模型生成内容合规风险。大模型可能通过“时间绕过”“地点欺骗”“情绪操控”等方式绕过审查，生成涉政、暴力或色情等违规的文本、视频内容，甚至利用越狱字符串突破安全检测。若训练数据遭到污染或恶意植入，也会对模型输出带来巨大内容安全风险。

王利伟着重强调了大模型生成内容对未成年人的影响。他分享了知道创宇此前针对国内「文生文」「文生图」大模型的未成年人专项测评结果。测评显示：

值得注意的是，AI滥用正逐渐演化为新型犯罪手段。不法分子利用AI模仿语音和行为实现精准诈骗，伪装度极高，给社会造成了巨大的经济损失。AI勒索、AI诈骗等新型犯罪行为不断涌现，对传统安全体系构成了巨大挑战。

此外，王利伟还提到，在实际业务生产中，出于场景多样化、技术风险规避及资源优化等因素考量，越来越多企业选择同时部署多个大模型。但也存在大模型管理碎片化等复杂挑战。在实际业务生产中，出于场景多样化、技术风险规避及资源优化等因素考量，越来越多企业选择同时部署多个大模型。

针对上述问题，王利伟表示，随着大模型技术广泛落地，必须高度关注其潜在安全风险与治理难点。他从语料安全、算法验证、应用环境与过滤机制四个关键控制点出发。

在准备阶段，重点做好训练数据的标注与合规检测，为模型训练打牢安全基础；在上线阶段，必须接受系统化安全评测，确保符合《生成式人工智能服务安全基本要求》（TC260-003）；在运营阶段，需部署大模型安全围栏（如大模型安全网关），实现政府、企业对大模型的“用、管、防”全面可控。

AI做安全：

AiPy的创新实践，不止于安全领域

在AI做安全方面，王利伟分享了知道创宇旗下智能体产品AiPy在网络安全场景中的实践。AiPy既能够像红队一样去“进攻”，也能够像蓝队一样去“侦查”：

AiPy能够用于网络安全领域，得益于其融合了大模型能力+Python编程能力+创宇安全数据能力深度融合，从而赋予AiPy完整的感知、行动、反馈闭环能力。

但AiPy的应用绝不仅限于安全领域。AiPy是一款具备通用智能体特征的本地AI助手。通过Python use范式，AiPy具备高度扩展性，可调用多样化的 API、Python 包及各类解释器，能够广泛应用于：数据分析、文档生成、本地文件处理、IOT设备联动与远程操控等。

例如，AiPy支持本地合同文件的自动审阅，识别潜在风险条款并提出修改建议，提高审批效率与合同风险防控能力；在办公自动化方面，AiPy还可根据文档内容自动拆解任务，生成客户所需报告，编写定时发送邮件的脚本并连接邮件系统，最终实现邮件内容的自动发送；AIPy还具备音视频处理场景下的应用能力，通过调用本地开源语音识别小模型，AiPy能够自动分析本地视频文件，排除背景噪音干扰，识别并提取清晰人声内容，进而转换为结构化文本。系统会自动进行断句、语病修正等文本优化，最终输出可直接使用的视频字幕文案，适用于内容审核、视频制作等实际需求。

更多案例可在案例分享社区（https://d.aipyaipy.com/）了解。

王利伟指出，Security of AI，意味着像AI这样的新技术永远会带来新问题。而 AI for Security ，则是要用新技术去解决新问题。从而实现高质量发展和高水平安全的良性互动。

想要交流、分享更多AiPy使用体验

欢迎扫码进群