图片丢失啦 人工智能安全

默认 最新文章 浏览次数
Please wait a minute...
选择: 显示/隐藏图片
1. 人工智能安全专栏前言
计算机科学    2021, 48 (7): 0-1.  
摘要334)      PDF(pc) (454KB)(875)    收藏
相关文章 | 多维度评价
2. 人工智能安全框架
景慧昀, 魏薇, 周川, 贺欣
计算机科学    2021, 48 (7): 1-8.   DOI: 10.11896/jsjkx.210300306
摘要939)      PDF(pc) (2122KB)(2582)    收藏
随着人工智能时代的到来,各行各业均开始结合自身业务需要部署人工智能系统,这全面加速了全球范围内人工智能规模化部署和应用进程。然而,人工智能基础设施、设计研发以及融合应用过程中面临的安全风险也随之而来。为了充分规避风险,世界各国纷纷采取制定人工智能伦理准则、完善法律法规和行业管理等方式来进行人工智能安全治理。在人工智能安全治理中,人工智能安全技术体系具有重要指导意义。具体而言,人工智能安全技术体系是人工智能安全治理的重要组成部分,是落实人工智能伦理规范和法律监管要求的重要支撑,更是人工智能产业健康有序发展的重要保障。然而,在当前阶段,全球范围内人工智能安全框架普遍缺失,安全风险突出且分立,迫切需要对人工智能各生命周期存在的安全风险进行总结与归纳。为解决上述问题,文中提出了涵盖人工智能安全目标、人工智能安全分级能力、人工智能安全技术和管理体系的人工智能安全框架,期待为社会各界提升人工智能安全防护能力提供有益参考。
参考文献 | 相关文章 | 多维度评价
3. 人工智能模型水印研究综述
谢宸琪, 张保稳, 易平
计算机科学    2021, 48 (7): 9-16.   DOI: 10.11896/jsjkx.201200204
摘要1482)      PDF(pc) (2905KB)(3563)    收藏
近年来人工智能迅速发展,被用于语音、图像等多种领域,并取得了显著效果。然而,这些训练好的人工智能模型非常容易被复制并扩散,因此,为了保护模型的知识产权,关于模型版权保护的一系列算法或技术应运而生,其中一种就是模型水印技术。通过模型水印技术,向人工智能模型植入水印,一旦模型被窃取,可以通过验证水印来证明自己的版权所有权,维护自己的知识产权,从而达到保护模型的作用。该类技术在近年来成为了一大热点,但目前尚未形成较为统一的框架。为了更好地理解,总结了现阶段模型水印的研究成果,论述了当前主流的模型水印算法,分析了模型水印研究方向的研究进展,还复现了其中几种典型算法并进行了比较,最后提出了未来可能的研究方向。
参考文献 | 相关文章 | 多维度评价
4. 针对人脸检测对抗攻击风险的安全测评方法
景慧昀, 周川, 贺欣
计算机科学    2021, 48 (7): 17-24.   DOI: 10.11896/jsjkx.210300305
摘要809)      PDF(pc) (2671KB)(2291)    收藏
人脸检测是计算机视觉领域的一个经典问题,其在人工智能大数据驱动的赋能下焕发出崭新生机,在刷脸支付、身份认证、摄像美颜、智能安防等领域均体现出重要的应用价值与广阔的应用前景。然而,随着人脸检测部署应用进程的全面加速,其安全风险与隐患也日益凸显。因此,文中分析总结了现行人脸检测模型在全生命周期的各阶段所面临的安全风险,其中对抗攻击因对人脸检测的可用性和可靠性构成严重威胁,并可能使人脸检测模块丧失基本功能性而受到了广泛关注。目前,面向人脸检测的对抗攻击算法主要集中于白盒攻击。但是,由于白盒对抗攻击需要充分理解特定人脸检测模型的内部结构和全部参数,而出于对保护商业机密和企业利益的考虑,现实物理世界中商业部署的人脸检测模型的结构与参数通常是不可访问的,这使得使用白盒攻击方法在现实世界中攻破商业人脸检测模型几乎不可能。针对上述问题,提出了一种面向人脸检测的黑盒物理域对抗攻击方法。通过集成学习的思想,提取众多人脸检测模型的公共注意力热力图,并针对获取到的公共注意力热力图发起攻击。实验结果表明,该方法能够成功逃逸部署于移动终端的黑盒人脸检测模型,包括移动终端自带相机软件、刷脸支付软件、美颜相机软件的人脸检测模块。这说明所提出的方法对评测人脸检测模型的安全性能够提供有益帮助。
参考文献 | 相关文章 | 多维度评价
5. 基于特征梯度的调制识别深度网络对抗攻击方法
王超, 魏祥麟, 田青, 焦翔, 魏楠, 段强
计算机科学    2021, 48 (7): 25-32.   DOI: 10.11896/jsjkx.210300299
摘要772)      PDF(pc) (2887KB)(1341)    收藏
基于深度神经网络(Deep Neural Network,DNN)的自动调制识别(Automatic Modulation Recognition,AMR)模型具有特征自提取、识别精度高、人工干预少的优势。但是,业界在设计面向AMR的DNN(AMR-oriented DNN,ADNN)模型时,往往仅关注识别精度,而忽视了对抗样本可能带来的安全威胁。为此,文中从人工智能安全的角度出发,探究了对抗样本对ADNN模型的安全威胁,并提出了一种新颖的基于特征梯度的对抗攻击方法。相比传统标签梯度的攻击方式,特征梯度攻击方法能够更有效地攻击ADNN提取的调制信号空时特征,且具有更好的迁移性。在公开数据集上的实验结果表明,无论白盒攻击还是黑盒攻击,所提出的基于特征梯度的对抗攻击方法的攻击效果和迁移性均优于当前的标签梯度攻击方法。
参考文献 | 相关文章 | 多维度评价
6. 基于特征映射的差分隐私保护机器学习方法
陈天荣, 凌捷
计算机科学    2021, 48 (7): 33-39.   DOI: 10.11896/jsjkx.201200224
摘要882)      PDF(pc) (2100KB)(1359)    收藏
图像分类中的差分隐私算法在通过添加噪声的方式提高机器学习模型的隐私保护能力的同时,容易造成模型分类准确度的下降。针对以上问题,提出了一种基于特征映射的差分隐私保护机器学习方法,该方法结合预训练神经网络和影子模型训练技术,以差分向量的形式将原数据样本的特征向量映射到高维向量空间,缩短样本在高维向量空间的距离,以减小模型更新造成的隐私信息泄露风险,同时提高机器学习模型的隐私保护能力和分类能力。由MNIST和CIFAR-10数据集上的实验结果表明,ε分别等于0.01和0.11的ε0-差分隐私的模型的分类准确度分别提高到了99%和96%,说明所提方法训练的模型相比DP-SGD等现有多种常用差分隐私算法,能在更低隐私预算下保持更强的分类能力;且在两个数据集上针对该模型的推理攻击成功率降低为10%,其对推理攻击的防御能力相比传统图像分类的CNN模型有较大幅度的提升。
参考文献 | 相关文章 | 多维度评价
7. 基于深度强化学习的智能化渗透测试路径发现
周仕承, 刘京菊, 钟晓峰, 卢灿举
计算机科学    2021, 48 (7): 40-46.   DOI: 10.11896/jsjkx.210400057
摘要820)      PDF(pc) (2540KB)(2522)    收藏
渗透测试是通过模拟黑客攻击的方式对网络进行安全测试的通用方法,传统渗透测试方式主要依赖人工进行,具有较高的时间成本和人力成本。智能化渗透测试是未来的发展方向,旨在更加高效、低成本地进行网络安全防护,渗透测试路径发现是智能化渗透测试研究的关键问题,目的是及时发现网络中的脆弱节点以及攻击者可能的渗透路径,从而做到有针对性的防御。文中将深度强化学习与渗透测试问题相结合,将渗透测试过程建模为马尔可夫决策模型,在模拟网络环境中训练智能体完成智能化渗透测试路径发现;提出了一种改进的深度强化学习算法Noisy-Double-Dueling DQNper,该算法融合了优先级经验回放机制、双重Q网络、竞争网络机制以及噪声网络机制,在不同规模的网络场景中进行了对比实验,该算法在收敛速度上优于传统DQN(Deep Q Network)算法及其改进版本,并且适用于较大规模的网络场景。
参考文献 | 相关文章 | 多维度评价
8. DRL-IDS:基于深度强化学习的工业物联网入侵检测系统
李贝贝, 宋佳芮, 杜卿芸, 何俊江
计算机科学    2021, 48 (7): 47-54.   DOI: 10.11896/jsjkx.210400021
摘要1169)      PDF(pc) (2283KB)(2356)    收藏
近年来,工业物联网迅猛发展,在实现工业数字化、自动化、智能化的同时也带来了大量的网络威胁,且复杂、多样的工业物联网环境为网络入侵者创造了全新的攻击面。传统的入侵检测技术已无法满足当前工业物联网环境下的网络威胁发现需求。对此,文中提出了一种基于深度强化学习算法近端策略优化(Proximal Policy Optimization 2.0,PPO2)的工业物联网入侵检测系统。该系统将深度学习的感知能力和强化学习的决策能力相结合,以实现对工业物联网多种类型网络攻击的有效检测。首先,运用基于LightGBM的特征选择算法筛选出工业物联网数据中最有效的特征集合;然后,结合深度学习算法将多层感知器网络的隐藏层作为PPO2算法中的价值网络和策略网络的共享网络结构;最后,基于PPO2算法构建入侵检测模型,并使用ReLU(Rectified Linear Unit)进行分类输出。在美国能源部橡树岭国家实验室公开发布的工业物联网真实数据集上开展的大量实验表明,所提出的入侵检测系统在检测对工业物联网的多种类型网络攻击时,获得了99.09%的准确率,且在准确率、精密度、召回率、F1评分等指标上均优于目前基于LSTM,CNN,RNN等深度学习模型和DDQN,DQN等深度强化学习模型的入侵检测系统。
参考文献 | 相关文章 | 多维度评价
9. 对抗攻击威胁基于卷积神经网络的网络流量分类
羊洋, 陈伟, 张丹懿, 王丹妮, 宋爽
计算机科学    2021, 48 (7): 55-61.   DOI: 10.11896/jsjkx.210100095
摘要953)      PDF(pc) (1741KB)(2259)    收藏
深度学习算法被广泛地应用于网络流量分类,具有较好的分类效果,应用卷积神经网络不仅能大幅提高网络流量分类的准确性,还能简化其分类过程。然而,神经网络面临着对抗攻击等安全威胁,这些安全威胁对基于神经网络的网络流量分类的影响有待进一步的研究和验证。文中提出了基于卷积神经网络的网络流量分类的对抗攻击方法,通过对由网络流量转换成的深度学习输入图像添加人眼难以识别的扰动,使得卷积神经网络对网络流量产生错误的分类。同时,针对这种攻击方法,文中也提出了基于混合对抗训练的防御措施,将对抗攻击形成的对抗流量样本和原始流量样本混合训练以增强分类模型的鲁棒性。文中采用公开数据集进行实验,实验结果表明,所提对抗攻击方法能导致基于卷积神经网络的网络流量分类方法的准确率急剧下降,通过混合对抗训练则能够有效地抵御对抗攻击,从而提高模型的鲁棒性。
参考文献 | 相关文章 | 多维度评价
10. 基于变分自编码器的不平衡样本异常流量检测
张仁杰, 陈伟, 杭梦鑫, 吴礼发
计算机科学    2021, 48 (7): 62-69.   DOI: 10.11896/jsjkx.200600022
摘要704)      PDF(pc) (1927KB)(1491)    收藏
随着机器学习技术的快速发展,越来越多的机器学习算法被用于攻击流量的检测与分析,然而攻击流量往往只占网络流量中极小的一部分,在训练机器学习模型时存在训练集正负样本不平衡的问题,从而影响模型训练效果。针对不平衡样本问题,文中提出了一种基于变分自编码器的不平衡样本生成方法,其核心思想是在对少数样本进行扩充时,不是对全部进行扩充,而是分析这些少数样本,对其中最容易对机器学习产生混淆效果的少数边界样本进行扩充。首先,利用KNN算法筛选出少数类样本中与多数类样本最近的样本;其次,使用DBSCAN算法对KNN算法筛选出的部分样本进行聚类处理,生成一个或多个子簇;然后,设计变分自编码网络模型,对DBSCAN算法区分出的一个或多个子簇中的少数类样本进行学习扩充,并将扩充后的样本加入原有样本中用于构建新的训练集;最后,利用新构建的训练集来训练决策树分类器,从而实现异常流量的检测。选择召回率和F1分数作为评价指标,分别以原始样本、SMOTE生成样本、SMOTE改进方法生成样本和文中所提方法生成样本为训练集进行对比实验。实验结果表明,在4种异常类型中,采用所提算法构造训练集训练的决策树分类器在召回率和F1分数上都有提升,F1分数相比原始样本及SMOTE方法最高提升了20.9%。
参考文献 | 相关文章 | 多维度评价
11. 基于信息携带的SQL注入攻击检测方法
程希, 曹晓梅
计算机科学    2021, 48 (7): 70-76.   DOI: 10.11896/jsjkx.200600010
摘要522)      PDF(pc) (2488KB)(1475)    收藏
目前,基于传统机器学习的SQL注入攻击检测的准确度仍有待提高,产生这一问题的主要原因是:在提取特征向量时,若选择的特征向量过多,则会导致模型过拟合,并影响算法的效率;若选择的特征向量过少,则会产生大量的误报数和漏报数。针对这一问题,文中提出了一种基于信息携带的SQL注入攻击检测方法SQLIA-IC。SQLIA-IC在机器学习的检测基础上加入了标记器和内容匹配模块,标记器用于检测样本中的敏感信息,内容匹配模块用于对样本进行特征项匹配,以达到二次判断的目的。为了提高SQL注入攻击检测的效率,利用信息值简化机器学习和标记器的检测结果,在内容匹配模块中根据样本携带的信息值进行动态匹配。仿真实验结果表明,相比传统的机器学习方法,所提方法的准确率平均高出2.62%,精确率平均高出4.35%,召回率平均高出0.96%,而时间损耗仅增加了5 ms左右,便能够快速、有效地检测出SQL注入攻击。
参考文献 | 相关文章 | 多维度评价
12. 基于i_ResNet34模型和数据增强的深度伪造视频检测方法
暴雨轩, 芦天亮, 杜彦辉, 石达
计算机科学    2021, 48 (7): 77-85.   DOI: 10.11896/jsjkx.210300258
摘要688)      PDF(pc) (4141KB)(1260)    收藏
针对深度伪造视频检测存在的面部特征提取不充分的问题,提出了改进的ResNet(i_ResNet34)模型和3种基于信息删除的数据增强方式。首先,优化ResNet网络,使用分组卷积代替普通卷积,在不增加模型参数的前提下提取更丰富的人脸面部特征;接着改进模型虚线残差结构的shortcut分支,通过最大池化层完成下采样操作,减少视频帧中人脸面部特征信息的损失,然后在卷积层后引入通道注意力层,增加提取关键特征通道的权重,提升特征图的通道相关性。最后,利用i_ResNet34模型对原数据集及3种基于信息删除的数据增强方式扩充后的数据集进行训练,其在FaceForensics++的两类数据集Face-Swap和Deepfakes上的检测准确率分别达到了99.33%和98.67%,优于现有的主流算法,从而验证了所提方法的有效性。
参考文献 | 相关文章 | 多维度评价
13. 基于3D CNNS的深度伪造视频篡改检测
邢豪, 李明
计算机科学    2021, 48 (7): 86-92.   DOI: 10.11896/jsjkx.210200127
摘要830)      PDF(pc) (2833KB)(1761)    收藏
近年来,“Deepfake”视频引起了广泛的关注。 人们很难区分Deepfake视频。这些篡改的视频将给社会带来巨大的潜在威胁,如被用来制作假新闻等。 因此,目前需要找到一种有效识别这些合成视频的方法。 针对上述问题,提出了一种基于3D CNNS的深度伪造视频检测模型。 该模型注意到Deepfake视频的时域特征和空域特征的不一致,而3D CNNS可以有效捕获Deepfake视频的这一特征。实验结果表明,基于3D CNNS的模型在Deepfake检测挑战数据集和Celeb-DF数据集上具有较高的准确率和较强的鲁棒性,准确率可达96.25%,AUC值可达0.92,同时该模型解决了泛化性差的问题。通过与现有的Deepfake检测模型进行对比,所提模型在检测准确率和AUC取值方面均优于现有模型,验证了该模型的有效性。
参考文献 | 相关文章 | 多维度评价