计算机科学

第50卷第11期目录

计算机科学. 2023, 50 (11): 0-0.

摘要 ( 195 )

PDF(277KB) ( 360 )

相关文章 | 多维度评价

高性能计算技术及标准现状分析

陆平静, 熊泽宇, 赖明澈

计算机科学. 2023, 50 (11): 1-7. doi:10.11896/jsjkx.221100021

摘要 ( 419 )

PDF(2112KB) ( 2056 )

参考文献 | 相关文章 | 多维度评价

高性能计算是科技创新体系的重要组成,是知识创新和技术创新的重要能力支撑,是新时期下与理论、实验并重的三大科技创新手段之一。在过去的三十年间,高性能计算取得了以突飞猛进的进展,高性能计算已经进入E级计算时代,我国在高性能计算领域也取得了跨越式的发展,取得了天河、神威、曙光为代表的一系列成果,高性能系统研制水平跻身国际一流行列。随着摩尔定律接近极限,高性能计算技术的性能提升之路面临巨大挑战,在后摩尔时代,将依赖算法、软件和硬件架构去提升高性能计算机系统的终极性能。另一方面,与高性能计算机技术飞速发展相比,高性能计算标准的发展还存在很多不足。文中首先分析了当前国内外高性能计算机技术的发展现状及趋势,然后剖析了当前国内外高性能计算标准的现状及趋势,最后给出了当前发展中国高性能计算机标准的必要性和重要性。

CNN景象匹配算法的加速设计与FPGA实现

王晓峰, 李超然, 路坤锋, 栾天娇, 姚娜, 周辉, 谢宇嘉

计算机科学. 2023, 50 (11): 8-14. doi:10.11896/jsjkx.221100104

摘要 ( 265 )

PDF(2126KB) ( 1931 )

参考文献 | 相关文章 | 多维度评价

基于卷积神经网络的景象匹配算法较传统方法具有更高的匹配精度、更好的适应性以及更强的抗干扰能力。但是,该算法有海量的计算与存储需求,导致在边缘端部署存在巨大困难。为了提升计算实时性,文中设计并实现了一种高效的边缘端加速计算方案。在分析算法的计算特性与整体架构的基础上,基于Winograd快速卷积方法,设计了一种面向特征匹配层的专用加速器,并提出了利用专用加速器与深度学习处理器流水线式计算特征匹配层和特征提取网络的整体加速方案。在Xilinx的ZCU102开发板上进行实验发现,专用加速器的峰值算力达到576 GOPS,实际算力达422.08 GOPS,DSP的使用效率达4.5 Ope-ration/clock。加速计算系统的峰值算力达1600 GOPS,将CNN景象匹配算法的吞吐时延降低至157.89 ms。实验结果表明,该加速计算方案能高效利用FPGA的计算资源,实现CNN景象匹配算法的实时计算。

面向处理器设计的快速性能评测方法

邓林, 张瑶, 罗家豪

计算机科学. 2023, 50 (11): 15-22. doi:10.11896/jsjkx.220900250

摘要 ( 239 )

PDF(2351KB) ( 1888 )

参考文献 | 相关文章 | 多维度评价

面对日益复杂的处理器设计和有限的设计周期,如何有效地快速进行性能评估,是每一个处理器设计团队需要解决的问题。完整的性能测试集需要运行较长的时间,特别是在硅前验证阶段,高昂的时间成本导致设计团队无法使用完整的性能测试集进行性能评估分析。文中介绍了一种通用处理器快速性能评测方法(Fast-Eval),Fast-Eval性能评测方法基于SimPoint技术,使用FastParallel-BBV方法、最优模拟点的选取以及模拟点的热迁移等方法,显著缩短了BBV生成时间和性能测试时间。实验结果表明,相比完整运行SPEC CPU 2006 REF数据规模测试程序获得的性能数据,所提方法在ARM64处理器上BBV生成时间缩短为原来的16.88%,性能评估时间缩短为原来的1.26%,性能评估结果的平均相对误差为0.53%;在FPGA开发板上测试集的平均相对误差可以达到0.40%,运行时间仅为完整运行时间的0.93%。

Cahn-Hilliard方程多重网格求解器收敛性分析

郭靖, 齐德昱

计算机科学. 2023, 50 (11): 23-31. doi:10.11896/jsjkx.220800030

摘要 ( 253 )

PDF(1930KB) ( 1815 )

参考文献 | 相关文章 | 多维度评价

Cahn-Hilliard(CH)方程是相场模型中的一个基本的非线性方程,通常使用数值方法进行分析。在对CH方程进行数值离散后会得到一个非线性的方程组,全逼近格式(Full Approximation Storage,FAS)是求解这类非线性方程组的一个高效多重网格迭代格式。目前众多的求解CH方程主要关注数值格式的收敛性,而没有论证求解器的可靠性。文中给出了求解CH方程离散得到的非线性方程组的多重网格算法的收敛性证明,从理论上保证了计算过程的可靠性。针对CH方程的时间二阶全离散差分数值格式,利用快速子空间下降(Fast Subspace Descent,FASD)框架给出其FAS格式多重网格求解器的收敛常数估计。为了完成这一目标,首先将原本的差分问题转化为完全等价的有限元问题,再论证有限元问题来自一个凸泛函能量形式的极小化,然后验证能量形式及空间分解满足FASD框架假设,最终得到原多重网格算法的收敛系数估计。结果显示,在非线性情形下,CH方程中的参数ε对网格尺度添加了限制,太小的参数会导致数值计算过程不收敛。最后通过数值实验验证了收敛系数与方程参数及网格尺度的依赖关系。

基于SYCL的多相流LBM模拟跨平台异构并行计算研究

丁越, 徐传福, 邱昊中, 戴未希, 汪青松, 林拥真, 王正华

计算机科学. 2023, 50 (11): 32-40. doi:10.11896/jsjkx.230300123

摘要 ( 195 )

PDF(2328KB) ( 1735 )

参考文献 | 相关文章 | 多维度评价

异构并行体系结构是当前高性能计算的重要技术趋势。由于各种异构平台通常支持不同的编程模型,跨平台性能可移植异构并行应用开发非常困难。SYCL是一个基于C++语言的单源跨平台并行编程开放标准。目前针对SYCL的研究主要集中于与其他并行编程模型的性能比较,对SYCL中提供的不同并行内核实现及其性能优化研究得较少。针对这一现状,基于SYCL编程模型对开源多相流数值模拟软件openLBMmflow实现跨平台异构并行模拟,通过对比基础并行版本、细粒度调优的ND-range并行版本以及计算到工作项多对一映射方法,系统总结了SYCL并行应用的性能优化方法。测试结果表明,在Intel Xeon Platinum 9242 CPU以及NVIDIA Tesla V100 GPU上,相比优化后的OpenMP并行实现,在不需要额外调优的情况下,基础并行版本在CPU上获得了2.91的加速比,表明了SYCL的开箱即用性能具备一定优势。以基础并行版本为基准,ND-range并行版本通过改变工作组大小及形状,在CPU与GPU上分别取得了最高1.45以及2.23的加速比。通过优化计算到工作项的多对一映射改变每个工作项处理的格子数量以及形状,与基础并行版本相比,在CPU与GPU上分别取得了最高1.57以及1.34的加速比。结果表明,SYCL并行应用在CPU上更适合采用计算到工作项多对一映射的优化方法,在GPU上更适合采用ND-range并行内核,以提高性能。

基于AR与DNN联合模型的地理传感器时间序列预测

董红斌, 韩爽, 付强

计算机科学. 2023, 50 (11): 41-48. doi:10.11896/jsjkx.230500231

摘要 ( 101 )

PDF(1856KB) ( 2430 )

参考文献 | 相关文章 | 多维度评价

地理传感器时间序列具有复杂动态的语义时空相关性和地理时空相关性。尽管已经开发了各种深度学习模型用于时间序列预测,但很少有模型能专注于捕捉地理传感器时间序列内的多类型时空相关性。此外,同时预测多个传感器在未来某一时间步的值非常具有挑战性。为了解决上述问题,提出了一种自回归模型与深度神经网络的联合模型( Joint model of Autoregression and Deep Neural Network,J-ARDNN),用于处理地理传感器时间序列的多目标预测任务。在该模型中,空间模块用于捕捉不同序列间多类型空间的相关性,时间模块采用时间卷积网络来提取单个序列内的时间依赖关系。此外,还引入自回归模型来提高预测模型的鲁棒性。为了验证J-ARDNN模型的有效性和优越性,在不同领域的真实时间序列数据集上进行了充分的实验,结果表明,J-ARDNN模型的预测性能优于对比方法。

基于边推断增强对比学习的社交媒体谣言检测模型

刘楠, 张凤荔, 尹嘉奇, 陈学勤, 王瑞锦

计算机科学. 2023, 50 (11): 49-54. doi:10.11896/jsjkx.221000043

摘要 ( 137 )

PDF(1741KB) ( 2531 )

参考文献 | 相关文章 | 多维度评价

近年来,为了应对谣言广泛传播所带来的一系列社会问题,研究者开发了许多基于深度学习的谣言检测方法。虽然这些方法通过从传播结构中学习谣言的高级表征实现了较优的检测性能,但它们都忽略了在构造传播网络时边的不确定性,导致模型的可靠性降低,出现累积误差。针对该问题,提出了边推断增强对比学习的社交媒体谣言检测模型(Edge-Inference Con-trastive Learning,EICL)。首先,EICL基于消息转发(评论)时间戳为给定消息构建传播图;然后,利用新设计的边权重调整策略进行事件传播图数据增强以捕获传播结构边的不确定性;最后,利用对比学习方法解决原数据集本身存在的稀疏性问题,提高模型泛化能力。实验结果表明,与其他基准模型相比,模型EICL在公开数据集Twitter15和Twitter16上的准确率分别提高了2.0%和3.0%,证明其可显著提升社交媒体谣言检测效果。

基于N-list和DiffNodeset结构的频繁项集并行挖掘算法

张阳, 王瑞, 吴贯锋, 刘弘毅

计算机科学. 2023, 50 (11): 55-61. doi:10.11896/jsjkx.221000011

摘要 ( 237 )

PDF(1869KB) ( 2431 )

参考文献 | 相关文章 | 多维度评价

频繁项集挖掘是数据挖掘中的一个基本问题,在许多数据挖掘应用中发挥着重要作用。针对并行频繁项集挖掘算法MrPrePost在大数据环境存在密集数据集下算法效率下降、计算节点负载量不均衡和冗余搜索等问题,提出了基于N-lists和DiffNodeset两种结构的并行频繁项集挖掘算法(Parallel Mining algorithm of Frequent Itemset based on N-list and DiffNodeset structure,PFIMND)。首先,根据N-list和DiffNodeset在存储不同数据集上的优势,设计了稀疏度估计函数(Sparsity Estimation,SE),根据数据集稀疏程度灵活选取其中之一压缩数据集,相比采用单一存储结构消耗的内存更少;其次,提出了计算量估计函数(Computation Estimation,CE)来估计频繁1项集F-list中每一项的负载量,并根据计算量进行均匀分组;最后采用集合枚举树作为搜索空间,为避免组合爆炸和冗余搜索问题,设计了超集剪枝策略和基于宽度优先搜索的剪枝策略,生成最终的挖掘结果。实验结果表明,相比同类算法HP-FIMBN,PFIMND算法在Susy数据集上挖掘频繁项集的效果提升了12.3%。

基于对比学习的多关系属性图聚类方法

谢卓, 康乐, 周丽娟, 张志鸿

计算机科学. 2023, 50 (11): 62-70. doi:10.11896/jsjkx.220900166

摘要 ( 296 )

PDF(2715KB) ( 4504 )

参考文献 | 相关文章 | 多维度评价

现实世界包含复杂的图数据,其节点之间通常包含多种关系,这种图被称为多关系属性图。图聚类是挖掘图数据相似信息的技术之一,然而现有的图聚类的方法大多只适用于单关系图。即使有的方法考虑到了多关系图,也往往是将图表示学习与聚类看作两个单独的过程。受Deep Graph Infomax(DGI)算法的启发,文中设计了一种基于对比学习的多关系属性图的聚类方法(CCLMAG),用于解决上述问题:1)通过引入社区级互信息机制,弥补了DGI算法无法融合簇信息的缺点;2)引入嵌入融合模块来聚合不同关系上的节点嵌入;3)引入聚类优化模块将图表示学习与聚类两个过程联系起来,使得学习到的节点表示更适合聚类任务。在3个公开数据集和1个构建的期货数据集上的大量实验表明,所提方法优于目前最先进的基线方法,且具有实际应用价值。

融合无监督SimCSE的短文本聚类研究

贺文灏, 吴春江, 周世杰, 何朝鑫

计算机科学. 2023, 50 (11): 71-76. doi:10.11896/jsjkx.220900214

摘要 ( 145 )

PDF(2238KB) ( 262 )

参考文献 | 相关文章 | 多维度评价

传统的浅层文本聚类方法在对短文本聚类时,面临上下文信息有限、用词不规范、实际意义词少等挑战,导致文本的嵌入表示稀疏、关键特征难以提取等问题。针对以上问题,文中提出一种融合简单数据增强方法的深度聚类模型SSKU(SBERT SimCSE K-means Umap)。该模型采用SBERT对短文本进行嵌入表示,利用无监督SimCSE方法联合深度聚类K-Means算法对文本嵌入模型进行微调,改善短文本的嵌入表示使其适于聚类。使用Umap流形降维方法学习嵌入局部的流形结构来改善短文本特征稀疏问题,优化嵌入结果。最后使用K-Means算法对降维后嵌入进行聚类,得到聚类结果。在StackOverFlow,Biomedical等4个公开短文本数据集进行大量实验并与最新的深度聚类算法作对比,结果表明所提模型在准确度与标准互信息两个评价指标上均表现出良好的聚类性能。

基于节点聚类复杂度的图聚类方法

郑文萍, 王富民, 刘美麟, 杨贵

计算机科学. 2023, 50 (11): 77-87. doi:10.11896/jsjkx.230600003

摘要 ( 262 )

PDF(4558KB) ( 2465 )

参考文献 | 相关文章 | 多维度评价

图聚类可以发现网络中的社区结构,是复杂网络分析中的一项重要任务。针对不同节点的聚类难度各异的问题,提出了一种基于节点聚类复杂度的图聚类算法(Graph Clustering Algorithm Based on Node Clustering Complexity,GCNCC),用于判断节点的聚类复杂度,为聚类复杂度低的节点赋予伪标签,利用伪标签提供的监督信息降低其他节点的聚类复杂度,进而得到网络聚类结果。GCNCC包括节点表示、节点聚类复杂度判别和图聚类3个主要模块。节点表示模块得到保持网络集聚性的表示;节点聚类复杂度判别模块用于判断网络中的低聚类复杂度节点,并利用低聚类复杂度节点的伪标签信息来优化更新网络中其他节点的聚类复杂度;图聚类模块采用标签传播方法,将低聚类复杂度节点标签传播给高聚类复杂度节点,以得到聚类结果。在3个真实的引文网络和3个生物数据集上与9种经典算法进行对比,算法GCNCC在ACC,NMI,ARI和F1等方面均表现良好。

基于时间感知Transformer的交通流预测方法

刘起东, 刘超越, 邱紫鑫, 高志敏, 郭帅, 刘冀钊, 符明晟

计算机科学. 2023, 50 (11): 88-96. doi:10.11896/jsjkx.221000201

摘要 ( 270 )

PDF(3039KB) ( 2551 )

参考文献 | 相关文章 | 多维度评价

作为智能交通系统的关键一环,交通流预测面临着长时预测不准的难题,其主要挑战在于交通流数据本身具有复杂的时空关联。近年来,Transformer的提出使得时序数据预测的研究取得了巨大进展,但将Transformer应用于交通流预测仍然存在以下两个问题:1)静态的注意力机制难以捕获交通流随时间动态变化的时空依赖关系;2)采用自回归的预测方式会引发严重的误差累积现象。针对以上问题,提出了一种基于时间感知Transformer的交通流预测模型。首先,设计了一种新的时间感知注意力机制,可以根据时间特征定制注意力计算方案,从而更精准地反映时空依赖关系;其次,在Transformer的训练阶段舍弃了Teacher Forcing机制,并采用非自回归的预测方式来避免误差累积问题;最后,在两个真实交通数据集上进行实验,实验结果表明,所提方法可以有效捕获交通流的时空依赖,相比最优的基线方法,长时预测性能提升了2.09%～ 4.01%。

骨架数据增强和双重最近邻检索自监督动作识别

吴雨珊, 徐增敏, 张雪莲, 王涛

计算机科学. 2023, 50 (11): 97-106. doi:10.11896/jsjkx.230500158

摘要 ( 96 )

PDF(2753KB) ( 2410 )

参考文献 | 相关文章 | 多维度评价

传统基于骨架数据的自监督方法常将某一样本的不同增强作为正例,将其余样本均视为负例,这使得正负样本的比例严重失衡,限制了相同语义信息的样本发挥作用。针对上述问题,提出了一种正样本不受数据增强限制的双重最近邻检索动作识别算法DNNCLR。首先,基于人体关节的物理连接设计了一个新的关节级空间数据增强,即Bodypart增强,对输入的骨架序列用正态分布数组随机替换,以获得高级语义嵌入;其次,为避免正样本受数据增强的限制,提出了一种更合理的双重最近邻检索(DNN)正样本扩充策略,进一步提出了双重最近邻检索对比损失DNN Loss。具体为利用支撑集进行全局检索,将正样本集的寻找范围扩展到普通数据增强无法覆盖的新数据点;而负样本集中存在被误判的正样本,其是来自不同视频但语义信息相同的骨架样本。为此,再一次利用最近邻检索,从负样本集中寻找这种潜在的正例,二次扩展正样本集,并进一步提出双重最近邻检索对比损失,迫使模型学习更多的一般特征表示,使得模型优化更加合理。最后,将DNNCLR算法应用在AimCLR模型上,得到AimDNNCLR模型,并在NTU-RGB+D数据集上对该模型进行了线性评估,与前沿模型相比,所提方法在精度上平均提升了3.6%。

基于二部图表示的属性网络社区发现算法

赵兴旺, 薛晋芳

计算机科学. 2023, 50 (11): 107-113. doi:10.11896/jsjkx.221000226

摘要 ( 262 )

PDF(1487KB) ( 2400 )

参考文献 | 相关文章 | 多维度评价

属性网络社区发现是网络数据分析中的一项重要研究内容。为了提高社区发现的准确性,现有算法大多通过融合拓扑信息和属性信息对属性网络进行低维表示,然后基于低维特征进行社区发现。然而,这类算法通常基于深度模型进行表示学习,缺乏一定的可解释性。因此,文中提出了一种基于二部图表示的属性网络社区发现算法,以提高社区发现结果的准确性和可解释性。首先,分别基于属性网络的拓扑信息和属性信息计算网络中各个节点作为代表点的概率,通过两类信息融合选出一定比例的节点作为代表点;其次,基于拓扑结构和节点属性计算各个节点到代表点的距离,构建二部图;最后,基于二部图利用谱聚类算法进行社区发现,得到最终结果。在人造属性网络和真实属性网络上与已有的属性网络社区发现算法进行实验比较分析。实验结果表明,所提算法在标准化互信息、调整兰德指数等评价指标上均优于已有算法。

路网拓扑感知的轨迹表示学习方法

陈嘉俊, 陈伟, 赵雷

计算机科学. 2023, 50 (11): 114-121. doi:10.11896/jsjkx.221000058

摘要 ( 206 )

PDF(2889KB) ( 2459 )

参考文献 | 相关文章 | 多维度评价

现有路网场景下的轨迹表示学习(Trajectory Representation Learning,TRL) 方法可分为两类,即基于循环神经网络(RNN)和长短期记忆(LSTM)的序列化模型以及基于自注意力机制的学习模型。尽管已有研究做出了重大贡献,但它们仍然存在以下问题:(1)现有的路网表示学习方法忽略了相邻路段之间的转移概率,不能充分捕获路网的拓扑结构信息;(2)基于自注意力机制的学习模型在短轨迹和中长轨迹上的表现优于序列化模型,但在长轨迹的表示学习上性能较差,未能很好刻画轨迹的长期语义特征。基于此,文中提出了一个新的轨迹表示学习模型TRMS。该模型采用概率感知游走来优化传统DeepWalk算法,以深入挖掘路网的拓扑结构,然后将自注意力机制和Masked Seq2Seq学习框架相结合来捕获轨迹的长期语义特征。最后,基于真实轨迹数据进行实验,结果表明,TRMS在短、中、长轨迹的嵌入表示上,性能都优于最好的基线方法。

NeuronSup:基于偏见神经元抑制的深度模型去偏方法

倪洪杰, 刘嘉威, 郑海斌, 陈奕芃, 陈晋音

计算机科学. 2023, 50 (11): 122-131. doi:10.11896/jsjkx.220900169

摘要 ( 255 )

PDF(3193KB) ( 2431 )

参考文献 | 相关文章 | 多维度评价

随着深度学习的广泛应用,研究者在关注模型分类性能的同时,还需要关注模型的决策是否公平可信。存在决策偏见的深度模型会造成极大的负面影响,因此如何维持深度模型的分类正确率,同时提高模型的决策公平至关重要。目前已有工作提出了较多方法,用于改善模型的个体公平,但是这些方法仍然在去偏效果、去偏后模型可用性、去偏效率等方面存在缺陷。为此,文中分析了深度模型存在个体偏见时神经元异常激活现象,提出了一种基于偏见神经元抑制的模型去偏方法NeuronSup,具有显著降低个体偏见、对主任务性能影响小、时间复杂度低等优势。具体而言,首先根据深度模型部分神经元由于个体偏见而产生异常激活的现象提出了偏见神经元的概念。然后,利用歧视样本对查找深度模型中的偏见神经元,通过抑制偏见神经元的异常激活大幅降低深度模型的个体偏见,并且根据每个神经元的最大权重边确定主任务性能神经元,通过保持深度模型的主任务性能神经元参数不变,来减小去偏操作对深度模型分类性能造成的影响。因为 NeuronSup只对深度模型中的特定神经元进行去偏操作,所以时间复杂度更低,效率更高。最后,在3个真实数据集的6种敏感属性上开展去偏实验,与5种对比算法相比,NeuronSup将个体公平指标THEMIS降低了50%以上,同时使去偏操作对深度模型分类准确率的影响降低到3%以内,验证了NeuronSup在保证深度模型分类能力的情况下降低个体偏见的有效性。

面向兴趣点推荐系统的自然噪声过滤算法

朱俊, 韩立新, 宗平, 徐逸卿, 夏吉安, 唐铭

计算机科学. 2023, 50 (11): 132-142. doi:10.11896/jsjkx.230400045

摘要 ( 129 )

PDF(4795KB) ( 2426 )

参考文献 | 相关文章 | 多维度评价

推荐系统源数据中存在着固有的自然噪声,给推荐算法带来了误差与干扰。现有研究更加关注以各类安全攻击为代表的恶意噪声,仅有少数文献针对更为隐蔽、更难处理的自然噪声进行研究,且这些研究几乎都集中在传统推荐领域。在兴趣点推荐场景中,无论是源数据特征,还是自然噪声的产生原因和表现方式,均与传统推荐领域有较大差别。针对兴趣点推荐系统中的自然噪声,提出了基于离散特征量化与聚类距离分析的自然噪声过滤算法NFDC。该算法定义并计算用户签到数据的离散度,量化数据驱动的不确定性,利用推荐算法的准确度(F1值)量化预测驱动的不确定性,深入挖掘两者之间的相关性,构建经验模型,推导潜在自然噪声比例;采用模糊C均值聚类方法分析用户行为模式的相似性,在聚类距离分析的基础上筛选可疑噪声,并自定义噪声验证规则,删除真正的自然噪声。在两个真实的位置社交网络数据集(Brightkite和Gowalla)中,分别采用NFDC算法和其他4种基准方法对源数据进行预处理,将处理后的数据集分别输入到5类代表性的兴趣点推荐算法中,对比不同的降噪技术对提升各类兴趣点推荐算法准确性的影响程度。实验结果表明,NFDC算法能够有效降低系统源数据中的自然噪声,为后续的推荐算法提供可靠的输入。与其他降噪数据集中的最高推荐精度相比,各类推荐算法在NFDC处理后的Brightkite和Gowalla数据集中的准确度分别平均提高了15.95%和5.00%。

基于多粒度的Transformer目标检测算法

徐放, 苗夺谦, 张红云

计算机科学. 2023, 50 (11): 143-150. doi:10.11896/jsjkx.230600028

摘要 ( 241 )

PDF(4143KB) ( 1855 )

参考文献 | 相关文章 | 多维度评价

与其他尺度目标不同,小目标具有携带语义信息和训练样本数量较少等特点。因此,当前目标检测算法存在小目标检测精度较低的问题。针对该问题,提出了基于多粒度的Transformer目标检测算法。首先,采用多粒度思想,设计了一种新的Transformer序列化方法,从粗到细逐个粒度地预测目标位置,从而提升模型的目标定位效果。然后,基于三支决策思想,细粒度挖掘小目标样本和常规尺度目标样本,从而增加小目标样本和难例负样本数量。最后,实验结果表明,在COCO数据集上,该算法的小目标检测精度(APs)达到了31.5%,平均检测精度(mAP)达到了49.1%;相比基线模型,AP_S提升了1.4%,mAP提升了2.2%;改进后的算法有效地提升了小目标检测效果,并显著提高了目标检测的整体精度。

基于图像重构与语义差异识别的表面异常检测

王尚尚, 金城

计算机科学. 2023, 50 (11): 151-159. doi:10.11896/jsjkx.221100023

摘要 ( 124 )

PDF(3596KB) ( 1849 )

参考文献 | 相关文章 | 多维度评价

基于图像重构的方法是表面异常检测中一类广泛使用的方法。该类方法仅期望模型较好地重构正常模式,并通过异常区域较大的重构误差来检测和定位异常。已有方法一方面易出现“泛化”过好的现象,异常区域也被高保真地重构了出来;另一方面仅在图像空间度量重构误差,并没有真正捕捉到原图和重构图之间的语义差异。为了解决上述问题,文中提出了由重构网络和识别网络组成的表面异常检测框架,其中重构网络嵌入了多尺度位置增强动态原型单元,强化了对正常模式的学习;识别网络进行了输入图和重构图的多尺度深度特征融合,从多个尺度利用了重构前后的语义差异信息,强化了对重构差异的识别。在MVTec数据集上,所提方法在异常检测任务上取得了99.5%的 AUROC,在异常定位任务上取得了98.5% 的AUROC,以及95.0%的RPO检测表现,与之前基于重构的表面异常检测方法相比取得了较大提升。

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

俞洋, 袁家斌, 蔡纪元, 查可可, 陈章屿, 戴加威, 冯煜翔

计算机科学. 2023, 50 (11): 160-167. doi:10.11896/jsjkx.221100109

摘要 ( 143 )

PDF(3400KB) ( 1811 )

参考文献 | 相关文章 | 多维度评价

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA_S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。

基于QDCT全局均分策略的鲁棒视频水印方案

陶新宇, 熊礼治, 张翔

计算机科学. 2023, 50 (11): 168-176. doi:10.11896/jsjkx.221000228

摘要 ( 223 )

PDF(2993KB) ( 1895 )

参考文献 | 相关文章 | 多维度评价

视频水印作为一种应用前景广阔的版权保护技术,近年来受到了广泛关注。与原始域方案不同,压缩域方案不需要完全编解码视频,具有更高的效率;并且视频存储和传输一般需要经过压缩编码才能进行,使得压缩域的鲁棒视频水印方案成为了研究热点。但现有的压缩域方案大多利用压缩域中的QDCT系数个体来嵌入水印,使得算法的鲁棒性不高。为了增加压缩域算法的鲁棒性,文中提出了一种基于QDCT全局均分策略的鲁棒视频水印方案。首先,利用非零系数个数选出视频中兼具纹理和高空间复杂度的块作为水印块,将两块水印块组成块对;然后,分别计算出块对中所有系数的总和,根据系数总和的大小以及水印信息,通过全局均分策略修改后序块内所有非零系数的幅值,来满足方案设置的块对系数和规则,以实现水印的嵌入。实验结果表明,在保证含水印视频具有较高视觉质量的前提下,该方案抵抗重压缩攻击和噪声攻击的鲁棒性均优于现有压缩域的鲁棒视频水印方案,分别提高了8%,9%。

一种三维度基于改进MFCC特征模型的AI克隆语音源鉴定方法

王学光, 诸珺文, 张爱新

计算机科学. 2023, 50 (11): 177-184. doi:10.11896/jsjkx.221000024

摘要 ( 300 )

PDF(4051KB) ( 1882 )

参考文献 | 相关文章 | 多维度评价

AI克隆语音技术的出现将对现代社会法治秩序造成致命冲击。近年来研究人员仅关注了AI合成语音与样本语音内容相同领域的研究,而对AI合成语音与样本内容不同的检材的鉴定研究却甚少,相关鉴定内容无法识别。为此,提出了一种三维度基于改进MFCC特征模型对AI克隆语音源进行鉴定。首先对先前研究人员人工分析的AI克隆语音特性进行验证,总结出可识别的“共振峰F5异常活跃”与“能量、共振峰、音高曲线异常突变”的特征。其次基于AI克隆语音的特征运用二阶差分修正MFCC系数并采用“逆差逻辑推演法”将能量、共振峰、音高曲线突变特性进一步量化采样,将其定义为语音鉴定的特征向量三元组。然后以特征向量三元组为输入,运用D-S证据合成规则将三组检材与样本比对的结果融合。最后形成三维度基于改进MFCC特征参量的检材评定模型。人群随机采样实验结果表明,该AI克隆语音源鉴定方法对以同一人为克隆源所合成的AI克隆语音鉴定的平均概率为67.324%,标准差为7.32%,鉴定效果很好。

基于核心句的端到端事件共指消解

环志刚, 蒋国权, 张玉健, 刘浏, 丁鲲

计算机科学. 2023, 50 (11): 185-191. doi:10.11896/jsjkx.221000078

摘要 ( 253 )

PDF(1799KB) ( 1918 )

参考文献 | 相关文章 | 多维度评价

大多数先前的事件共指消解模型都属于成对相似度模型,通过编码两个事件提及的表示并计算相似度来判断是否共指。但是,当两个事件提及在文档内出现的位置接近时,编码其中一个事件提及的上下文表示会引入另一事件的信息,从而降低模型的性能。针对此问题,提出了一种基于核心句的端到端事件共指消解模型(End-to-end Event Coreference Resolution Based on Core Sentence,ECR-CS),该模型自动抽取事件信息并按照预先设置好的模板为每个事件提及构造核心句,利用核心句的表示代替事件提及的表示。由于核心句中只包含单个事件的信息,因此所提模型可以在编码事件表示时消除其他事件信息的干扰。此外,受到事件信息抽取工具的性能限制,构造的核心句可能会丢失事件的部分重要信息,提出利用事件在文档中的上下文表示来进行出弥补。所提模型引入了一种门控机制,将上下文嵌入向量分解为分别与核心句嵌入向量平行和正交的两个分量,平行分量可以认为是与核心句信息维度相同的信息,正交分量则是核心句中不包含的新信息。通过上下文信息和核心句信息的相关度,控制正交分量中被用来补充核心句中缺失的重要信息的新信息的量。在ACE2005数据集上进行实验,结果表明,相比最先进的模型,ECR-CS的CoNLL和AVG分数分别提升了1.76和1.04。

基于多粒度对比学习的聊天对话摘要模型

康梦瑶, 刘扬, 黄俊恒, 王佰玲, 刘树龙

计算机科学. 2023, 50 (11): 192-200. doi:10.11896/jsjkx.230300241

摘要 ( 245 )

PDF(3035KB) ( 2059 )

参考文献 | 相关文章 | 多维度评价

社交网络的发展在给人们带来便捷的同时也产生了海量的聊天数据,如何从聊天对话中筛选出关键信息成为一大难题。聊天摘要是解决此类问题的有效工具,既不必重复浏览冗长的聊天记录,又可以快速获取重要内容。目前,预训练模型被广泛应用于各种类型的文本,包括非结构化、半结构化和结构化文本。然而,针对聊天对话文本的应用,常见的预训练模型难以捕捉到其独特的结构特征,仍需进一步探索与改进。对此,提出了一种基于对比学习的聊天摘要算法MGCSum。该算法无需人工标注数据集,便于学习和迁移。首先使用文档频数、词项频数和信息熵构造了针对聊天文本的停用词列表,去除聊天中的干扰信息;其次,从词语和主题两个粒度进行自监督对比学习,识别对话中的结构信息,挖掘聊天中的关键词和不同主题信息。在聊天摘要公开数据集SAMSum和金融欺诈对话数据集FINSum上进行实验,结果表明,与当前主流的聊天摘要方法相比,该算法在摘要的连贯性、信息量和ROUGE评价指标上均有显著提升。

QubitE:用于知识图谱补全的量子嵌入模型

林学渊, 鄂海红, 宋文宇, 罗浩然, 宋美娜

计算机科学. 2023, 50 (11): 201-209. doi:10.11896/jsjkx.221100217

摘要 ( 259 )

PDF(1573KB) ( 1906 )

参考文献 | 相关文章 | 多维度评价

知识图谱补全任务通过预测知识图谱中缺失的事实补全知识图谱。基于量子的知识图谱嵌入(KGE)模型利用变分量子电路,通过测量量子比特状态的概率分布对三元组进行评分,评分高的三元组即为缺失的事实。但是目前基于量子的KGE要么在优化过程中失去了量子优势,矩阵酉性被破坏,要么需要大量参数用于存储量子态,从而导致过拟合和低性能。此外,这些方法忽略了对于理解模型性能必不可少的理论分析。为了解决性能问题和弥合理论差距,提出了QubitE模型:将实体嵌入作为量子位(单位复向量),将关系嵌入作为量子门(酉复矩阵),评分过程为复矩阵乘法,利用核方法进行优化。该模型的参数化方式能在优化中保持量子优势,时空复杂度为线性,甚至可以进一步实现基于语义的量子逻辑计算。此外,从理论上可以证明该模型具有完全表达性、关系模式推理能力和包含性等,有助于理解模型性能。实验表明,QubitE在一些基准知识图谱上可以取得与最先进的经典模型相当的结果。

基于边界自适应技术的精英交互学习粒子群算法

徐杰, 周新志

计算机科学. 2023, 50 (11): 210-219. doi:10.11896/jsjkx.221000129

摘要 ( 106 )

PDF(2836KB) ( 1900 )

参考文献 | 相关文章 | 多维度评价

粒子群优化(PSO)算法依靠粒子之间的合作行为,使其在解决诸多优化问题上显示出极大的智能。然而,由于寻优机制,粒子很容易突破可行域的边界限制,若能使该行为在寻优过程中具有明确的指导意义将有助于提高算法的优化性能;更关键的是,原始粒子群优化算法中粒子的学习对象主要集中在全局最佳粒子上,这种更新机制无疑加速了种群多样性的损失,并使种群倾向于陷入局部最优。为了进一步提高求解复杂问题时的种群多样性和收敛精度,提出了一种基于边界自适应技术的精英交互学习粒子群算法(A-EIPSO)。该算法首先在原有的PSO算法中引入了新的边界处理技术,根据越界粒子的历史位置信息和越界距离自适应地赋予粒子在解空间内的分布特征;接着在多种群技术的基础上设计了一种精英学习策略来促进子群间社会信息的交换,并由精英粒子代替全局最佳粒子指导各子群内粒子的优化行为。实验结果表明,在大多数情况下,自适应处理技术保证粒子在搜索空间内实现均匀探索的同时显著提升了PSO算法的性能。此外,还将A-EIPSO在CEC2017基准测试套件上与5种先进的粒子群变体算法及2种主流的进化算法进行了比较。结果表明,A-EIPSO在不同类型函数上均表现出了优越的性能,改进了大多数优化问题的收敛精度,优于其他代表性的PSO变体算法和进化算法。

基于AdaGrad+的自适应Heavy-Ball动量法及其最优个体收敛性

韦洪旭, 陇盛, 陶蔚, 陶卿

计算机科学. 2023, 50 (11): 220-226. doi:10.11896/jsjkx.220900131

摘要 ( 179 )

PDF(2682KB) ( 1919 )

参考文献 | 相关文章 | 多维度评价

自适应策略与动量法是提升优化算法性能的常用方法。目前自适应梯度方法大多采用AdaGrad型策略,但该策略在约束优化中效果不佳,为此,研究人员提出了更适用于处理约束问题的AdaGrad+方法,但其与SGD一样在非光滑凸情形下未达到最优个体收敛速率,结合NAG动量也并未达到预期的加速效果。针对上述问题,文中将AdaGrad+调整步长的策略与Heavy-Ball型动量法加速收敛的优点相结合,提出了一种基于AdaGrad+的自适应动量法。通过设置加权动量项、巧妙选取时变参数和灵活处理自适应矩阵,证明了该方法对于非光滑一般凸问题具有最优个体收敛速率。最后在l_∞∞范数约束下,通过求解典型的 hinge 损失函数优化问题验证了理论分析的正确性,通过深度卷积神经网络训练实验验证了该方法在实际应用中也具有良好性能。

基于深度哈希学习的知识库问答检索框架

刘铄, 周刚, 李珠峰, 吴皓

计算机科学. 2023, 50 (11): 227-233. doi:10.11896/jsjkx.220900206

摘要 ( 237 )

PDF(2241KB) ( 1960 )

参考文献 | 相关文章 | 多维度评价

知识库问答通常包含3个子任务:中心实体识别、实体链接和关系检测。鉴于当前知识库中通常包含数量巨大的实体和关系,为了进一步解决基于复杂规则和倒排索引在知识库中进行检索带来的搜索空间局限性、召回率偏低和难以兼顾语义信息等问题,提出了一种构造知识库问答检索框架的新方法。该框架包含文本召回和哈希召回两个主要模块,通过二次召回设计构成传统文本检索与保留语义信息的哈希码检索的级联检索模式。所提方法在大规模知识库问答测评基准KgCLUE和NLPCC2016提供的数据集上进行实验,结果表明:基于深度哈希学习的知识库问答检索框架可以高效地获取高质量的候选项,在适应大规模知识库的同时能够节省一定的时间开销。

基于贝叶斯规则的具有层次注意力的知识补全

单晓欢, 赵雪, 陈廷伟

计算机科学. 2023, 50 (11): 234-240. doi:10.11896/jsjkx.221000056

摘要 ( 201 )

PDF(1579KB) ( 1899 )

参考文献 | 相关文章 | 多维度评价

知识图谱作为大数据时代的人工智能,被广泛应用于诸多领域,然而知识图谱普遍存在不完备性及稀疏性等问题。知识补全作为知识获取的子任务,旨在通过知识库中已知三元组来预测缺失的链接。然而现有方法普遍忽略了实体类型信息联合邻域信息对提高知识补全准确性的辅助作用,同时还存在特征信息被紧密编码到目标函数,导致集成操作高度依赖训练过程等问题。为此,提出了一种基于贝叶斯规则的具有层次注意力的知识补全方法。首先将实体类型和邻域信息视为层次结构,按关系进行分组,并独立计算组内各类信息的注意力权重。然后将实体类型和邻域信息编码为先验概率,将实例信息编码为似然概率,且按照贝叶斯规则将二者进行组合。实验结果表明,所提方法在FB15k数据集上的MRR(Mean Reciprocal Rank)指标比ConvE提高14.4%,比TKRL提高10.7%;在FB15k-237数据集上的MRR指标比TACT提高了2.1%。在FB15k,FB15k-237和YAGO26K-906数据集上,其Hits@1达到了77.5%,73.8%和95.1%,证明了引入具有层次结构的类型信息和邻域信息能够为实体嵌入更丰富、准确的描述信息,进而提升知识补全的精度。

基于注意力机制的概念增强认知诊断模型

苑冬雪, 孙权森, 傅鹏

计算机科学. 2023, 50 (11): 241-247. doi:10.11896/jsjkx.221100169

摘要 ( 254 )

PDF(1822KB) ( 1926 )

参考文献 | 相关文章 | 多维度评价

认知诊断是智能教育系统中的一个基础问题,旨在评估学生对不同知识概念的掌握程度。虽然目前基于深度学习的认知诊断方法相比传统方法有了较大改进,但是其无法充分利用概念之间的潜在相关性。为此,提出一种基于注意力机制的概念增强认知诊断模型(ACECD),通过建模相关概念之间的关系来获得更准确的认知诊断结果。具体来说,首先将学生、练习和概念投影到因子向量来执行复杂交互;然后把概念因子输入自注意力网络中捕获概念之间存在的隐式相关性关系,并用捕获到的隐式关系增强概念因子向量;最后把增强过的概念因子与学生因子和练习因子进行交互,将交互结果输入诊断模块得到最终诊断结果。此外,利用练习因子与概念因子之间的交互修正人为标定Q矩阵的误差。在两个真实世界数据集上与其他方法进行比较,实验结果表明基于注意力机制的概念增强认知诊断模型有效地改善了诊断结果。

融合麻雀搜索和随机差分的双向学习平衡优化器算法

侯新宇, 鲁海燕, 卢梦蝶, 徐杰, 赵金金

计算机科学. 2023, 50 (11): 248-258. doi:10.11896/jsjkx.221100143

摘要 ( 307 )

PDF(3080KB) ( 1882 )

参考文献 | 相关文章 | 多维度评价

针对平衡优化器算法(Equilibrium Optimizer,EO)求解精度低、收敛速度慢等问题,提出一种融合麻雀搜索和随机差分的双向学习平衡优化器算法。首先,给出了基于麻雀搜索算法的自适应种群划分策略,以平衡算法的全局探索和局部勘探,从而提高算法的收敛精度和收敛速度。其次,引入随机差分策略来重建平衡池,增加个体之间的信息交流,以利于算法跳出局部最优。最后,设计了一种双向混沌反向学习策略并将其应用到更新后的种群,以增加种群多样性,从而进一步提高算法的收敛精度。通过14个测试函数进行仿真实验,使用Wilcoxon秩和检验以及平均绝对误差来评价算法性能,并将改进算法应用到两个工程设计问题,实验结果验证了3种改进策略的有效性,且改进算法的收敛精度、收敛速度和鲁棒性都有显著提高。

基于相似一致性的模型自蒸馏方法

万旭, 毛莺池, 王孜博, 刘意, 平萍

计算机科学. 2023, 50 (11): 259-268. doi:10.11896/jsjkx.221000009

摘要 ( 258 )

PDF(3863KB) ( 1921 )

参考文献 | 相关文章 | 多维度评价

针对传统自蒸馏方法存在数据预处理成本高、局部特征检测缺失,以及模型分类精度低的情况,提出了基于相似一致性的模型自蒸馏方法(Similarity and Consistency by Self-Distillation,SCD),提高模型分类精度。首先,对样本图像的不同层进行学习得到特征图,通过特征权值分布获取注意力图。然后,计算Mini-batch内样本间注意力图的相似性获得相似一致性知识矩阵,构建基于相似一致性的知识,使得无须对实例数据进行失真处理或提取同一类别的数据来获取额外的实例间知识,避免了大量的数据预处理工作带来的训练成本高和训练复杂的问题。最后,将相似一致性知识矩阵在模型中间层之间单向传递,让浅层次的相似矩阵模仿深层次的相似矩阵,细化低层次的相似性,捕获更加丰富的上下文场景和局部特征,解决局部特征检测缺失问题,实现单阶段单向知识转移的自蒸馏。实验结果表明,采用基于相似一致性的模型自蒸馏方法:在公开数据集CIFAR100和TinyImageNet上,验证了SCD提取的相似一致性知识在模型自蒸馏中的有效性,相较于自注意力蒸馏方法(Self Attention Distillation,SAD)和保持相似性的知识蒸馏方法(Similarity-Preserving Knowledge Distillation,SPKD),分类精度平均提升1.42%;相较于基于深度监督的自蒸馏方法(Be Your Own Teacher,BYOT)和动态本地集成知识蒸馏方法(On-the-fly Native Ensemble,ONE),分类精度平均提升1.13%;相较于基于深度神经网络的数据失真引导自蒸馏方法(Data-Distortion Guided Self-Distillation,DDGSD)和基于类间的自蒸馏方法(Class-wise Self-Knowledge Distillation,CS-KD),分类精度平均提升1.23%。

改进双延迟深度确定性策略梯度的多船协调避碰决策

黄仁贤, 罗亮, 杨萌, 刘维勤

计算机科学. 2023, 50 (11): 269-281. doi:10.11896/jsjkx.221000131

摘要 ( 266 )

PDF(5892KB) ( 1920 )

参考文献 | 相关文章 | 多维度评价

目前,多数海上避碰模型都是将船舶作为单智能体进行避碰决策,未考虑船舶间的协调避让,在多船会遇场景下仅靠单船进行避碰操作会导致避让效果不佳。为此,提出了一种改进双延迟深度确定性策略梯度算法(TD3)的Softmax深层双确定性策略梯度(SD3)多船协调避碰模型。从考虑船舶航行安全的时空因素出发构建时间碰撞模型、空间碰撞模型,对船舶碰撞风险进行定量分析,在此基础上采用根据会遇态势和船速矢量动态变化的船域模型对船舶碰撞风险进行定性分析。综合船舶目标导向、航向角改变、航向保持、碰撞风险和《国际海上避碰规则》(COLREGS)的约束设计奖励函数,结合COLREGS中的典型相遇情况构造对遇、追越和交叉相遇多局面共存的会遇场景进行避碰模拟仿真。消融实验显示softmax运算符提升了SD3算法的性能,使其在船舶协调避碰中拥有更好的决策效果,并与其他强化学习算法进行学习效率和学习效果的比较。实验结果表明,SD3算法在多局面共存的复杂场景下能高效做出准确的避碰决策,并且性能优于其他强化学习算法。

5G网络切片研究进展

田晨景, 谢钧, 曹浩彤, 骆西建, 刘亚群

计算机科学. 2023, 50 (11): 282-295. doi:10.11896/jsjkx.221100044

摘要 ( 134 )

PDF(4405KB) ( 2363 )

参考文献 | 相关文章 | 多维度评价

作为5G及未来通信网络的关键使能技术,网络切片凭借其在垂直行业定制、服务质量保障、灵活性、可靠性等方面的潜在优势,获得了运营商和学术界的广泛关注和认可。目前,已有不少相关组织以专题报告的形式呈现了其对网络切片的理解及未来发展设想。但是,这些报告的侧重点各有不同且相关术语尚未规范统一,此类问题的存在给研究人员理解网络切片带来了诸多阻碍。为便于研究人员把握网络切片的发展脉络、技术架构,以及管理编排等具体内容,文中对相关研究进行了综述。首先介绍了网络切片的产生背景、具体含义以及功能特性。其次,针对端到端网络切片的实现,分别就接入网切片、承载网切片以及核心网切片这3方面的内容,对近年来的网络架构发展、技术突破以及标准化成果展开了论述。而后就网络切片管理与编排的具体内容进行了介绍与分析,并依据切片场景的不同对相关研究进行了分类梳理与比较。最后,结合网络切片的发展需求和现实困境,指出了目前研究所面临的一些开放性挑战。

基于RSSI序列特性的RFID多标签相对定位方法

何勇, 郭政鑫, 桂林卿, 盛碧云, 肖甫

计算机科学. 2023, 50 (11): 296-305. doi:10.11896/jsjkx.230300165

摘要 ( 236 )

PDF(4021KB) ( 2360 )

参考文献 | 相关文章 | 多维度评价

室内多目标的高精度定位技术是实现定制化智能服务的关键。当前,基于射频识别技术(Radio Frequency Identification,RFID)的室内定位技术因其成本低、易于部署和多目标感知等优势,受到了学术界和产业界的广泛关注。然而,传统的基于RFID的多目标相对定位系统需要使用多组接收天线进行数据收发,这导致系统的部署成本高昂,同时接收信号强度指示(Received Signal Strength Indication,RSSI)序列还会出现数据中断的问题。为解决这些问题,提出了一种基于RSSI序列特性的RFID多标签相对定位方法。该方法首先采用匀速移动天线的方式来获取多目标标签的接收RSSI信号序列;然后,对接收RSSI数据进行预处理来填充缺失数据,并构建基于余弦相似度的序列相似度量表;最后,从多个组维度设计不同的标签分组算法,以实现RFID多标签的相对定位。通过对典型室内多组RFID标签阵列进行大量相对定位测试,实验结果表明,所提方法的RFID标签相对定位平均准确率超过92％,对5*5的天线阵列平均定位计算时长小于1 s,相比其他工作计算效率提高了近10倍。

智能物联网终端自适应模型量化方法

王羽展, 郭斌, 王虹力, 刘思聪

计算机科学. 2023, 50 (11): 306-316. doi:10.11896/jsjkx.230300078

摘要 ( 162 )

PDF(5263KB) ( 2228 )

参考文献 | 相关文章 | 多维度评价

随着深度学习与万物互联的快速发展,将深度学习与移动终端设备结合已经成为了一大研究热点。深度学习给终端设备带来性能提升的同时,将模型部署在资源受限的终端设备时也面临诸多挑战,如终端设备计算和存储资源受限,深度学习模型难以适应不断变化的设备状态等。基于此,研究了资源自适应的深度学习模型自适应量化问题。提出资源自适应混合精度模型量化方法,利用门控网络和骨干网络进行模型构建,以层为粒度寻找模型最佳量化策略,结合边端设备降低模型资源消耗。为了寻找最优模型量化策略,采取基于FPGA的深度学习模型部署。需要将模型部署在资源受限的边端设备上时,根据资源约束进行自适应训练,采取量化感知方法降低模型量化带来的精度损失。实验结果表明,该方法能够在保留78%的准确率的同时,降低50%的存储空间;同时,在FPGA设备上模型精度下降不超过2%,而能源消耗降低60%。

面向联邦学习的高效分布式训练框架

冯晨, 顾晶晶

计算机科学. 2023, 50 (11): 317-326. doi:10.11896/jsjkx.221100224

摘要 ( 209 )

PDF(3035KB) ( 2174 )

参考文献 | 相关文章 | 多维度评价

联邦学习有效解决了数据孤岛问题,但仍然存在一些挑战。首先,联邦学习的训练节点具有较大的硬件异构性,对训练速度和模型性能存在影响,现有工作主要集中于联邦优化,但多数方法没有解决同步通信模式下各节点计算时间难以协调导致资源浪费的问题;此外,联邦学习中多数训练节点为移动设备,网络环境差,通信开销高,导致了更严重的网络瓶颈。已有方法通过对训练节点上传的梯度进行压缩来降低通信开销,但不可避免地带来了模型性能损失,难以达到较好的质量和效率的平衡。针对上述难题,在计算阶段,提出了自适应梯度聚合(Adaptive Federated Averaging,AFA),根据各个节点的硬件性能自适应协调本地训练的迭代周期,使得等待全局梯度下载的空闲时间整体最小化,提高了联邦学习的计算效率。在通信阶段,提出双重稀疏化(Double Sparsification,DS),通过在训练节点端和参数服务器端进行梯度稀疏化来最大化降低通信开销。此外,各个训练节点根据本地梯度信息和全局梯度信息的丢失值进行误差补偿,以较小的模型性能损失换取较大的通信开销降低。在图像分类数据集和时序预测数据集上进行实验,结果证明,所提方案有效提高了联邦学习训练的加速比,对模型性能也有一定提升。

多用户大规模LDPC-SM-MIMO联合分层消息传递检测

邹鑫, 张顺外

计算机科学. 2023, 50 (11): 327-332. doi:10.11896/jsjkx.220900103

摘要 ( 162 )

PDF(2547KB) ( 2198 )

参考文献 | 相关文章 | 多维度评价

对于多用户大规模空间调制多输入多输出(Spatial Modulation Multiple Input Multiple Output,SM-MIMO)系统,消息传递检测(Message Passing Detection,MPD)是常用的检测算法,但其复杂度较高。针对该问题,引入基于分层消息传递机制的分层MPD(Layered MPD,LMPD)算法以加快算法收敛速度,降低算法复杂度。进一步,将低密度奇偶校验码(Low-density Parity-check,LDPC)与SM-MIMO系统相结合,提出联合LMPD-BP(Joint LMPD Belief Propagation,JLMPD-BP)算法,LMPD算法可利用BP算法反馈的概率信息,提升系统检测性能。理论分析与仿真结果表明:与传统MPD算法相比,LMPD算法在不损失误码率性能的前提下可加快算法收敛速度,当信噪比(Signal-to-Noise Ratio,SNR)为4 dB时,MPD算法需3次迭代才能达到收敛,而LMPD算法仅需2次迭代即可收敛;同时,通过与LDPC码结合,JLMPD-BP算法极大地降低了系统误码率,如在迭代次数为(2,2,2)、SNR=2 dB时,与迭代次数为(4,4,0)的LMPD-BP算法相比,JLMPD-BP算法的误码率由10^－2降至5×10^－3。

基于抗退化混沌系统和初等元胞自动机的动态S盒设计

赵耿, 高世蕊, 马英杰, 董有恒

计算机科学. 2023, 50 (11): 333-339. doi:10.11896/jsjkx.220900026

摘要 ( 84 )

PDF(3091KB) ( 1065 )

参考文献 | 相关文章 | 多维度评价

S盒是多数分组密码算法的基本非线性模块,可以满足分组密码算法的混淆、扩散要求。为了提高混沌S盒的安全性,文中利用抗退化混沌系统生成S盒元素,基于初等元胞自动机生成S盒检索表的方式来生成S盒。抗退化混沌系统可以避免发生Skew Tent系统进入不动点的情况,消除低精度下系统进入短周期的现象。因为初等元胞自动机的迭代规则为二元域上的运算,且满足时空上的离散性,所以,将初等元胞自动机运用到混沌分组密码中时,不用考虑动力学退化的问题。当初等元胞自动机的迭代规则为全局混沌规则时,只要元胞个数足够,就可以保证输出的伪随机性。利用初等元胞自动机生成S盒的检索表,在保证S盒设计的混淆原则的同时还可以简化S盒的生成步骤。最后对所设计的S盒进行安全性分析对比,实验结果表明,所提方法生成的S盒具有良好的安全性,满足分组密码的混淆、扩散原则,可用于混沌分组密码算法设计中。

基于拟态防御的VPN流量劫持防御技术

高振, 陈福才, 王亚文, 何威振

计算机科学. 2023, 50 (11): 340-347. doi:10.11896/jsjkx.221000091

摘要 ( 193 )

PDF(2459KB) ( 1097 )

参考文献 | 相关文章 | 多维度评价

VPN技术能够有效保障通信流量的保密性和完整性,但是近年来出现的名为blind in/on-path的流量劫持攻击利用VPN协议规则,通过将伪造报文注入加密隧道的方式来实施攻击,严重威胁了VPN技术的安全性。针对此类威胁,提出了基于拟态防御的VPN流量劫持防御技术,并设计了拟态VPN架构(Mimic VPN,M-VPN)。该架构由选调器和包含多个异构的VPN加解密节点的节点池组成。首先选调器根据节点的可信度动态地选取若干加解密节点,来并行处理加密流量;然后对各加解密节点的处理结果进行综合裁决;最后将裁决结果作为响应报文以及更新可信度的依据。通过对来自不同节点的同一响应进行裁决,有效阻止了攻击者注入伪造报文。实验仿真结果表明,相比传统的VPN架构,M-VPN可以降低blind in/on-path攻击成功率约12个数量级。

USPS:面向算力资源高效协同的用户态跨协议代理系统

夏景旋, 申国伟, 郭春, 崔允贺

计算机科学. 2023, 50 (11): 348-355. doi:10.11896/jsjkx.230300171

摘要 ( 101 )

PDF(3061KB) ( 1153 )

参考文献 | 相关文章 | 多维度评价

随着算力网络的快速发展,通用算力、人工智能算力、超算等算力资源分布广泛。算力资源协同服务是算力网络研究的关键问题。在算力资源协同过程中,一方面,算力网络面临海量终端算力服务的高并发请求和低时延响应需求;另一方面,其难以充分发挥数据中心算力资源的高吞吐和低时延优势,进而难以为用户提供高效的算力服务。针对上述挑战,提出一种基于用户态协议栈和远程直接内存访问(Remote Direct Memory Access,RDMA)的用户态代理系统(User-Space Proxy System,USPS),通过用户态协议栈响应客户高并发算力请求,在动态批处理策略协调下实现基于RDMA的数据中心算力高吞吐、低时延服务。在通信方面,USPS实现了一个高效的远程过程调用(Remote Procedure Call,RPC)通信机制,能够充分利用RDMA网卡带宽提供高速消息通信;在请求处理方面,提出了一个动态批处理调度方法,能够在满足用户时延要求的前提下最大化批处理效率。实验结果表明,USPS的服务响应时延仅是传统内核态Nginx代理系统的7.8%~23.1%,是其他用户态代理系统的17.3%~24.7%;吞吐量比传统内核态的Nginx代理系统提升了3.4~8.9倍,比其他用户态代理系统提升了3.2~4.2倍。

基于随机断层与梯度剪裁的横向联邦学习后门防御研究

许文韬, 王斌君

计算机科学. 2023, 50 (11): 356-363. doi:10.11896/jsjkx.221200005

摘要 ( 154 )

PDF(3046KB) ( 1168 )

参考文献 | 相关文章 | 多维度评价

联邦学习解决了用户隐私与数据共享相悖之大数据困局,体现了“数据可用不可见”的理念。然而,联邦模型在训练过程中存在后门攻击的风险。攻击者通过本地训练一个包含后门任务的攻击模型,并将模型参数放大一定比例,从而实现将后门植入联邦模型中。针对横向联邦学习模型所面临的后门威胁,从博弈的视角,提出一种基于随机断层与梯度剪裁相结合的后门防御策略和技术方案:中心服务器在收到参与方提交的梯度信息后,随机确定每个参与方的神经网络层,然后将各参与方的梯度贡献分层聚合,并使用梯度阈值对梯度参数进行裁剪。梯度剪裁和随机断层可削弱个别参与方异常数据的影响力,使联邦模型在学习后门特征时陷入平缓期,长时间无法学习到后门特征,同时不影响正常任务的学习。如果中心服务器在平缓期内结束联邦学习,即可实现对后门攻击的防御。实验结果表明,该方法可以有效地防御联邦学习中潜在的后门威胁,同时保证了模型的准确性。因此,该方法可以应用于横向联邦学习场景中,为联邦学习的安全保驾护航。

FL_Raft:基于联邦学习模型的选举共识方案

荣宝俊, 郑朝晖

计算机科学. 2023, 50 (11): 364-373. doi:10.11896/jsjkx.221000134

摘要 ( 271 )

PDF(2780KB) ( 1155 )

参考文献 | 相关文章 | 多维度评价

针对异构集群中Raft共识算法的投票分裂和领导者频繁更换造成的吞吐量低、共识时延高和安全性低等问题,提出了一种基于联邦学习模型的Raft选举共识方案FL_Raft。首先,联邦学习聚合运行于每轮领导者迭代后,调用节点的本地特征数据,通过联邦学习训练模型筛选高性能节点组;其次,建立基于行为的权益计算模型,对集群中每个节点的权益值进行动态调整;最后,建立权益选举模型,由队列选举准领导者节点,选取出的节点经全体节点投票选举后成为最终领导者节点。实验结果表明,在保证各节点数据隐私性的前提下,相比Raft,FL_Raft的选举时延降低了50%,领导者可靠性达到95%以上,共识时延缩短了20%,吞吐量提高了13%。FL_Raft共识算法保证了选举的效率和安全,提高了集群的稳定性和领导者的可用性。

基于FPGA的ZUC高性能数据加密方案

张博林, 李斌, 燕云飞, 魏源鑫, 周清雷

计算机科学. 2023, 50 (11): 374-382. doi:10.11896/jsjkx.221100070

摘要 ( 349 )

PDF(2131KB) ( 1238 )

参考文献 | 相关文章 | 多维度评价

祖冲之(ZUC)算法是我国自主研制的流密码算法,现已被3GPP LTE采用为第四代移动通信加密标准。为适应大数据时代对于国产密码性能的高要求,设计了一套以祖冲之算法为核心的高性能数据加密方案。该方案中包含两种不同结构形式的加密算法核心,分别针对短报文和长报文两种不同的应用情形,基于FPGA平台,采用CLA和CSA加法器设计了半流水线和全流水线形式的ZUC流密码电路结构,以改进的ZUC加密模式,配合高速内存通信和多iv并行加密,实现了高性能加密方案,极大提高了加解密效率。该方案工作时,可使用控制模块来配置加密算法。实验结果表明,与其他方案相比,所提方案的算核工作频率分别提高了40.8%~209.5%和62.1%~445.4%,数据吞吐率达到了25.728 Gb/s和46.08 Gb/s,适用于边缘设备、车联网数据加密等高性能加密场景。