2023计算机前沿技术研究生创新示范课程精彩回顾VII

11月11日，计算机前沿技术研究生创新示范课程之“信息安全”如期而至，南京大学的仲盛教授与广州大学的田志宏教授分别带来题为“人工智能安全的若干研究课题”和“网络空间高隐蔽未知威胁智能检测与溯源-四蜜体系简介”的两节精彩内容。

学有所思、学有所悟、学有所得。让我们通过两位同学的Lecture Review再次走入课堂，近距离感受前沿科技的力量。

Lecture 13 仲盛教授 

人工智能安全的若干研究课题

学生

覃梓峰

AlphaGO“横扫”围棋界，掀起了机器学习的浪潮，而ChatGPT的出现，令机器学习浪潮被推向高峰。随着人工智能的发展，人工智能的安全方面的问题也得到越来越多的关注。本次计算机前沿课程，是由南京大学软件学院院长仲盛教授带来的《人工智能安全的若干研究课题》专题课程，给我们带来了MLaaS中的数据隐私保护、对抗性样本、后门问题以及ChatGPT带来的新安全挑战四个课题的探讨。

仲教授首先带来的是MLaaS中的数据隐私保护问题，首先先通过研究机器学习的成本较高，一般大众需要依赖MLaaS引出问题，随后从用户数据窃取、模型参数窃取、模型窃取三个子问题进行探讨。对于用户数据窃取，窃取方可以通过窃取用户输入模型的数据或输出数据以获得用户隐私等。对于模型参数窃取，窃取者通过数据集、算法以及参数，可以对模型进行精确逆向。对于模型窃取，如字面意思，直接对模型进行窃取从而节省了大量成本。仲教授还在后面分别给出了针对三个子问题的对应可行解决方案，如针对用户数据窃取可以使用同态加密方法等。

仲教授之后带来的是对抗性样本问题，仲教授通过一种简单易懂的方式向我们讲解了对抗性样本是什么，通过一系列例子，让我们得以快速了解。对抗性样本就是通过对样本添加人类无法察觉的噪音污染样本，使得模型输出错误的结果，例如图片中的限速标志，任何人都看得出限速是100，但是由于噪音影响，模型识别出来的是限速120，若在自动驾驶来说是及其危险的情况。仲教授给出了两个角度的解决思路，其一是增加模型的健壮性，使得模型足以应对这些“被污染”的样本；其二是对样本下手，对样本进行对抗性的检测，从而降低对抗性样本的影响。

然后是后门问题，仲教授首先给出的例子是在一个能被正确识别的停止标志图片上夹了一块标签，使得模型做出了不同的应答，咋看之下和对抗性样本一样，但是后门问题和对抗性样本问题是不同的，对抗性样本是为了让模型的准确度降低，而后门并不让模型准确度降低，后门不关心模型的准确度，而是使模型在看到特定的触发标识需要做出对应的响应，这种问题危害性极大，仲教授在之后也给出了相应的解决思路。

最后是，ChatGPT带来的安全性挑战，仲教授通过图灵检测来向我们说明，ChatGPT已经可以被认为是通用AI了，并且向我们展示了ChatGPT已经攻破了全球的重要考试的数据，说明ChatGPT已经在各种各样的方面逐渐影响我们的生活，给我们带来了各种各样的安全性挑战，最后，通过费米悖论和大过滤器理论向我们抛出了一个AI是否是人类面临的大过滤器的问题。

本次课程，仲教授提出的几个人工智能的安全问题开拓了我的视野，让我了解到人工智能领域的安全相关的问题以及对应解决方案。令我印象最深的是最后一部分的ChatGPT的安全性挑战的探讨，在我看来，AI就相当于小说《群黑山脉》中的修格斯，人工智能究竟会如何影响我们，还得看我们如何去使用，如何去对待，而且只有积极对待问题，才有可能令其往好的方向发展。

Lecture 14 田志宏教授

网络空间高隐蔽未知威胁智能检测与溯源-四蜜体系简介

学生

何宇翔

网络空间安全是保护网络与数据免受攻击、损害或未授权访问的措施与技术。在计算机前沿技术课程中，来自广州大学网络空间安全学院田志宏老师为我们带来了《网络空间高隐蔽未知威胁智能检测与溯源——四蜜体系》专题。在这节课中，我对网络空间安全有了更深入的理解，同时也激发了我的学术热情。

在课程开始，田老师讲述了APT攻击安全形势。首先，通过举一些近年来我们国家、知名企业、西工大、俄乌战争等遭受的网络攻击为例，让我们对网络空间安全的重要性有了直观深刻的感受。然后田老师又将网络空间安全问题拆分为对政治、技术、行业的影响，向我们强调了强化网络空间安全技术是对抗网络犯罪、保护经济和社会秩序稳定的重要措施，并且探讨了我国对网络空间安全的重视，提出了一系列的政策。

随后，田老师不仅分享了他本人对网络空间安全技术发展的深入思考，还详细解释了解决网络空间问题中的研究思路、重难点问题。他强调解决问题需要结合应用示范层、事件检测层、数据支撑层、策略响应层、状态感知层等多层架构来实现。这让我们清楚认识到了三大科学问题：对抗场景下未知威胁难于检测、不确定环境中攻击者画像与溯源分析取证困难、既有防御策略模型难于适应复杂多变的攻击场景。

课堂最后一部分，田老师又为我们介绍知识图谱、大语言模型(LLMs)等前沿技术对网络空间安全的影响，通过存储丰富的事实知识，知识图谱可以通过提供外部知识来增强大语言模型的能力。

这节课末尾，田老师做了总结与展望，提升网络空间安全对保障个人、企业、国家及全球网络环境的安全稳定具有不可估量的价值。田老师在报告中指出：中国是最大的黑客受害国，是全球APT攻击的第一目标国，是美国无差别网络攻击的重点目标。田老师的分享激发了大家技术强国、网络强国的报国热情，作为研究生的我们更应该深入思考如何将所学技能报效国家，并付诸行动！

精品课程

扫码访问课程主页

学院官网开辟了“精品课程”栏目，第一时间发布课程资讯、学习动态和优秀学生作品。

欢迎全院老师积极联系加入，在官网分享传递自己的课程主页。

https://csse.szu.edu.cn/pages/courses