当前很多安全AI模型依赖历史样本监督归纳:通过数学模型来“识别相似”,没有对时序依赖与因果结构的刻画。
1884年,埃德温·A·阿伯特出版了一本非常超前的小说:《平面国》(Flatland)。《生活大爆炸》里的理论物理天才谢尔顿,对这本书极为推崇。平面国里的居民生活在二维世界,只能感知线段与角度。如果有一个球穿过平面,居民们看到的是从点到圆再回到点的轮廓变换——那是他们全部的“现实”。有个居民偶然脱离了平面、俯瞰整个空间,才意识到轮廓背后另有维度与实体。
在信息安全的实践中,训练一个安全领域的人工智能系统就类似于让平面国的居民通过有限切片去重建球体。日志、流量与告警只是多维攻击链的某些截面。我们执着于某一类特征、某一段轨迹或某一种标签,然后深信那就是“威胁全貌”,但真实的攻击面可能包含动静混合、社会工程与业务逻辑漏洞交织的复杂态势,远非“切片”可以穷尽。
“低维投影”带来的风险在大模型进入安全领域后进一步凸显。当前很多安全AI模型依赖历史样本监督归纳:通过数学模型来“识别相似”,没有对时序依赖与因果结构的刻画。当攻击手法持续演化,纯粹的模型就可能在数据分布漂移面前失灵。与此同时,攻击者还可能对训练集“投毒”,在推理阶段植入对抗提示,甚至通过跨模态逆向反演模型,使模型持续盯住“错误的切片”。
老子说,“大音希声,大象无形”。大象是什么,是整体态势的深层结构且超越感知能力的存在吗?大象到底有没有形?在本期专题中,来自浙江大学、清华大学、泉城实验室、国家电网、绿盟科技、安恒信息等单位的专家学者,围绕生成内容治理、自动漏洞挖掘、因果追踪分析、安全体系架构等方向,提出了一系列具有前瞻性的研究路径。他们不只关注新型攻击技术的识别,更注重从认知机制出发,探索如何让人工智能系统能“知象意”,同时也能“知象形”。
认知的机制和角度对认知本身有多大影响?《世说新语》里有个记载,说西晋被打垮之后,晋元帝司马睿偏安于建康(南京)建立了东晋,一直梦想回到西晋的故都洛阳和长安。有使者从长安来拜见,司马睿很伤感,六七岁的儿子司马绍坐在他膝盖上问爸爸为何唏嘘,晋元帝就问儿子,你说咱们的故都长安,是不是比眼前的太阳还远啊?儿子说那肯定还是太阳远,我听说过有人从长安来访问咱们,“不闻人从日边来”。司马睿听了大为惊叹。第二天朝会,司马睿当着一众大臣又问了儿子同样的问题,没想到小皇子却说,长安比太阳远啊,“举目见日,不见长安”。
在您的认知里,是太阳远,还是年少时的故乡远呢?
本文系《计算》第2期卷首语。
CCF会士,ACM Fellow,《计算》主编,2022年CCF王选奖获得者。清华大学教授。ACM Transactions on Sensor Networks主编。
更多阅读
点击“阅读原文”,加入CCF。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...