知识图谱表示学习技术可以将符号化的知识图谱转换为实体和关系的数值化表示,进而有效结合各类深度学习模型以赋能知识增强的下游应用。相较于实体,关系充分体现了知识图谱中的语义信息,建模关系的各类特性对知识图谱表示学习的性能非常关键。首先,针对一对一、一对多、多对一和多对多的复杂映射特性,梳理基于关系感知映射的模型、基于特定表示空间的模型、基于张量分解的模型和基于神经网络的模型;接着,面向建模对称、反对称、逆反和组合特性的多种关系模式,总结基于改进张量分解的模型、基于改进关系感知映射的模型和基于旋转操作的模型;其次,面向建模实体间隐含的层次关系,介绍基于辅助信息的模型、基于双曲空间的模型和基于极坐标系的模型。最后,针对稀疏知识图谱和动态知识图谱等更加复杂的情况,从融合多模态信息的知识图谱表示学习、规则增强的关系模式建模和针对动态知识图谱表示学习的关系特性建模等方面,讨论该领域研究的未来发展方向。

事件抽取是伴随着信息技术的发展而诞生的。随着人们对从繁多的日常信息中抽取出有用信息的需求日益增强,事件抽取的研究发展也越发受重视。首先,介绍了事件抽取的发展历程,理清了事件抽取的发展脉络;其次,介绍了事件抽取的2种范式,并对管道型抽取和联合型抽取范式进行了对比分析;再次,围绕事件抽取的层级,分别从句子级事件抽取和篇章级事件抽取2个层面对近年来事件抽取的发展进行了梳理;然后,从传统型事件抽取方法、基于深度学习的事件抽取方法,以及基于预训练模型的事件抽取方法3个方面对事件抽取方法进行了对比分析;最后,介绍了事件抽取的典型应用场景,并根据事件抽取的发展现状,对未来事件抽取前沿发展进行了展望。

双编码器模型比融合编码器模型具有更快的推理速度,且能在推理过程中对图像和文本进行预计算。然而,双编码器模型中使用的浅交互模块不足以处理复杂的视觉语言理解任务。针对上述问题,提出了一种新的多模态融合方法。首先,提出一种前交互式桥塔结构(PBTS),在单模态编码器的顶层和跨模态编码器的每层之间建立连接,使得不同语义层次的视觉和文本表示之间能够进行全面、自下而上的交互,从而实现更有效的跨模态对齐和融合。同时,为了更好地学习图像和文本的深度交互,提出了一种两阶段跨模态注意力双蒸馏方法(TCMDD),使用融合编码器模型作为教师模型,在预训练阶段和调优阶段同时对单模态编码器及融合模块的跨模态注意力矩阵进行知识蒸馏。使用400万张图片进行预训练并在3个公开数据集上进行调优来验证该方法的有效性。实验结果表明,所提多模态融合方法在多个视觉语言理解任务中获得了更优的性能。

实体解析旨在查找两个数据实体是否引用同一实体,是许多自然语言处理任务中的一项基本任务。现有的基于深度学习的实体解析解决方案通常需要大量的标注数据,即使利用预训练的语言模型进行训练,仍然需要数千个标签才能达到令人满意的准确性。现实场景中,这些标注数据并不容易获得。针对上述问题,提出了一个基于半监督学习的域适应实体解析模型。首先,在源域上训练一个分类器,然后利用域适应减小源域和目标域的分布差异,同时用数据增强后的目标域软伪标签加入源域迭代训练,从而实现从源域到目标域的知识迁移。在13个来自相同或不同领域的数据集上对所提模型进行了对比实验和消融实验,实验结果表明,与无监督基线模型相比,所提模型在多个数据集上的F1值平均提升了2.84%,9.16%和7.1%;与有监督基线模型相比,所提模型只需要20%~40%的标签就可以达到与有监督学习相当的性能。消融实验进一步证明了所提模型的有效性,其总体上可以获得更好的实体解析结果(相关代码已开源¹⁾)。

自动驾驶对于减少交通堵塞、提高驾驶舒适性具有非常重要的作用,如何提高人们对自动驾驶技术的接受程度仍具有重要的研究意义。针对不同需求的人群定制不同的驾驶风格,可以帮助驾驶人理解自动驾驶行为,提高驾驶人的乘车体验,在一定程度上消除驾驶人对使用自动驾驶系统的心理抵抗性。通过分析自动驾驶场景下的跟车行为,提出基于PPO算法的不同驾驶风格的深度强化学习模型设计方案。首先分析德国高速公路车辆行驶数据集(HDD)中大量驾驶行为轨迹,根据跟车时距(THW)、跟车距离(DHW)、行车加速度以及跟车速度特征进行归类,提取激进型的驾驶风格和稳健型的驾驶风格的特征数据,以此为基础编码能够反映驾驶人风格的奖励函数,经过迭代学习生成不同驾驶风格的深度强化学习模型,并在highway env平台上进行道路模拟。实验结果表明,基于PPO算法的不同风格驾驶模型具有完成任务目标的能力,且与传统的智能驾驶模型(IDM)相比,能够在驾驶行为中准确反映出不同的驾驶风格。

地址要素解析作为地理编码过程中的关键环节,直接影响到地理编码的准确性。由于中文地址表达的多样性和复杂性,两段相似的地址文本在地理表示上却可能完全不同。传统的通过词典匹配进行地址要素解析的方法无法较好地应对歧义词,从而导致识别准确率欠佳。文中提出一种基于词典的中文地址要素解析模型( Collaborative Flat-Graph Transformer,CFGT),利用自匹配词、最近上下文等词汇信息增强地址文本字符序列表示,有效遏制了地址文本表达的歧义性。具体地,模型首先构建Flat-Lattice和Flat-Shift两种协作图,为地址字符捕获自匹配词和最近上下文词汇的知识,并设计融合层实现图之间的协作;其次,通过改进的相对位置编码,进一步强化词信息对地址文本字符序列的增强效果;最后,利用Transformer和条件随机场进行地址要素解析。在Weibo和Resume等多个公开数据集及Address私有数据集上开展的实验表明,CFGT模型的性能优于已有的中文地址要素解析模型和中文命名实体识别模型。

多模态方面级情感分析是多模态情感分析领域的一项新兴任务,旨在对给定的方面实体在文本和图像中所体现的情感进行识别。尽管多模态方面级情感分析研究近年来取得了突破性的进展,但是现有的模型在多模态特征融合阶段大都仅采用简单的拼接方法,而没有考虑图像中是否存在与文本语义不相关的信息,这在一定程度上可能会为模型引入额外的噪声。为了解决上述问题,提出了一种基于文本和图像门控融合机制的多模态方面级情感分析模型(TIGFM)。该模型在文本和图像进行交互的同时引入了从数据集图像中提取的形容词-名词对(ANPs),并将其中形容词的加权作为图像辅助信息;此外,在特征融合阶段,通过构建一种动态控制图像和图像辅助信息输入的门控机制实现多模态特征融合。实验结果表明,TIGFM模型在两个基于Twitter的数据集上取得了具有竞争力的结果,进而验证了所提方法的有效性。

随着深度学习技术的发展,多模态情感分析已成为研究热点之一。然而,大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和,导致数据无法准确地映射到统一的多模态向量空间中,或依赖图像描述模型将图像转化为文本,导致提取到过多不包含情感信息的视觉语义,造成信息冗余,最终影响模型的性能。为了解决这些问题,提出了一种基于视觉语义与提示学习的多模态情感分析模型VSPL。该模型将图像转化为精确简短、蕴含情感信息的视觉语义词汇,从而缓解信息冗余的问题;并基于提示学习的方法,将得到的视觉语义词汇与针对情感分类任务而提前设计好的提示模板组合成新文本,实现模态融合,这样做既避免了由加权求和导致的特征空间映射不准确的问题,又能借助提示学习的方法激发预训练语言模型的潜在性能。对多模态情感分析任务进行了对比实验,结果表明所提模型VSPL在3个公开数据集上的性能超越了先进的基准模型。此外,还进行了消融实验、特征可视化和样例分析,验证了VSPL的有效性。

图文情感分类任务常用早期融合和Transformer模型相结合的跨模态特征融合策略进行图文特征融合,但该策略更倾向于关注模态内部的独有信息,而忽略了模态间的相互联系和共有信息,导致跨模态特征融合效果不理想。针对此问题,提出一种基于多尺度跨模态特征融合的图文情感分类方法。局部尺度方面,基于跨模态注意力机制进行局部特征融合,使模型不仅关注图像和文本的独有信息,而且可以发现图像和文本之间的联系和共有信息。全局尺度方面,基于MLM损失进行全局特征融合,使模型对图像和文本数据进行全局建模,进一步挖掘图像和文本之间的联系,从而促进图像和文本特征的深度融合。在两个公开数据集MVSA-Single和MVSA-Multiple上与10个基线模型进行对比实验,结果表明所提方法在精度、F1值和模型参数量方面均具有明显优势,验证了其有效性。

离线强化学习(Offline RL)中,智能体不与环境交互而是从一个固定的数据集中获得数据进行学习,这是强化学习领域研究的一个热点。目前多数离线强化学习算法对策略训练过程进行保守正则化处理,训练策略倾向于选择存在于数据集中的动作,从而解决离线强化学习中对数据集分布外(OOD)的状态-动作价值估值错误的问题。保守Q学习算法(CQL)通过值函数正则赋予分布外状态-动作较低的价值来避免该问题。然而,由于该算法正则化过于保守,数据集内的分布内状态-动作也被赋予了较低的价值,难以达到训练策略选择数据集中动作的目的,因此很难学习到最优策略。针对该问题,提出了一种基于不确定性权重的保守Q学习算法( UWCQL)。该方法引入不确定性计算,在保守Q学习算法的基础上添加不确定性权重,对不确定性高的动作给予更高的保守权重,使得策略能更合理地选择数据集分布内的状态-动作。将UWCQL算法应用于D4RL的MuJoCo数据集中进行了实验,实验结果表明,UWCQL算法具有更好的性能表现,从而验证了算法的有效性。

航空母舰舰载机着舰过程中应沿相对固定的航迹下滑,以保证触舰点位于舰艉拦阻系统所在的区域,因此舰载机航迹是着舰信号官进行指挥决策的重要依据之一。舰载机航迹实时预测有助于着舰信号官判断着舰作业发展态势,及时形成正确的航迹纠偏引导指令。为此,提出一种基于分阶段自编码器与注意力机制的着舰航迹实时预测模型。第一阶段采用降噪自编码器对历史航迹数据进行特征提取;第二阶段基于长短期记忆网络构建时序自编码器,同时引入注意力机制对不同时刻的编码器输出分配不同的权重,自适应学习其对最终预测结果的影响强度。通过仿真实验将所提模型与6种基线模型进行对比,结果表明,所提模型的综合性能优于基线模型,能够满足着舰航迹实时准确预测的应用需求。

由于受到疫情影响,企业迫切地需要通过升级改造自动化柔性生产线来实现降本增效。在这一背景下,装配作业车间调度问题(Assembly Job Shop Scheduling Problem,AJSSP)再一次成为学术界和企业界的研究热点。AJSSP比普通作业车间调度问题多了一道装配阶段,故其存在前后工序相互制约和多机并行现象,问题求解也更加复杂。针对该问题,提出了一种基于离散变邻域蜉蝣优化算法(Discrete Variable Neighborhood Mayfly Algorithm,D-VNMA)的调度方法,主要工作如下:1)采用符合Lamarkian特性的编码解码机制,实现个体有效信息的迭代继承;2)使用Circle映射融合常见启发式算法初始化蜉蝣种群,保证种群的多样性;3)加入新的邻域探索策略,采用多种不同的邻域结构和搜索策略的差异组合,增加搜索方案的多样性,提高寻找局部最优解的搜索效率;4)提出改进的雌雄蜉蝣交配策略,提高算法全局探索能力,加快算法整体收敛速度。在实验过程中,通过试验设计(Design of Experiment,DOE)方法获得D-VNMA的最佳参数设置,并在不同规格AJSSP算例数据上将D-VNMA和其他算法进行比较。实验结果表明,D-VNMA得到最优解的概率提升了30%,且收敛效率最高可提升62.15%。

针对未知环境下无人艇(USV)的路径规划问题,提出了一种考虑无人艇运动学约束的改进RRT^*-APF路径规划算法(IRRT^*- APF)。通过引入改进的人工势场法(APF)提高了快速搜索随机树(RRT^*)的避障性能,在人工势场中考虑无人艇与障碍物和目标点间的角度大小,加速了无人艇远离障碍物并接近目标点;使用曼哈顿距离法提高了RRT^*算法的效率。所提出的IRRT^*-APF方法,与滚动RRT^*算法和PSOFS算法进行了仿真对比实验。结果表明,提出的方法所规划的路径转折的次数和转角均显著减小,有利于实现无人艇的平稳控制,同时缩短了路径长度和规划路径的时间。在风浪环境下的进一步仿真实验结果表明,所提出的算法在有风浪干扰时依然能规划出符合无人艇运动学的轨迹,具有较强的抗风浪鲁棒性。

在工程问题的优化求解过程中,对个体的适应度评价可能会受到环境噪声的干扰,进而影响对种群进行合理的优胜劣汰操作,造成算法性能下降。为了对抗噪声环境的影响,提出了一种基于时空间联合去噪的改进差分进化算法(SEDADE)。根据适应度排名将种群划分成两个子种群,对评价较差个体组成的子种群用分布估计算法(EDA)进化,采用高斯分布建模解空间,利用解空间中多个个体噪声的随机性抵消噪声影响;对评价较好个体组成的子种群用差分进化算法(DE)进化,并且引入基于时间的停滞重采样机制去噪,提高收敛精度。对时空间混合进化得到的两个子种群进行基于概率选择的EDA信息利用操作,利用EDA搜索得到的全局信息引导DE的搜索方向,避免陷入局部最优。在实验中使用了被零均值高斯噪声干扰的基准函数,可以发现SEDADE相比其他算法更具有竞争性,此外通过消融实验验证了所提算法包含的3个机制的有效性和合理性。

随着社交媒体的发展,越来越多的人在社交平台上发表对热点话题的看法,其中讽刺手法的运用严重影响了社交媒体中情感分析的精度。目前面向话题的讽刺识别研究未同时考虑上下文和常识知识的作用,也忽略了在同一个话题下进行讽刺识别的场景。为此,提出了基于上下文和常识的讽刺识别模型(Sarcasm Detection with Context and Common Sense,CCSD)。首先,模型使用C³KG常识库生成常识文本,并将目标句、话题上下文和常识文本作为预训练BERT模型的输入。其次,使用注意力机制来关注目标句和常识中重要的信息。最后,通过门控机制和特征融合,实现讽刺识别。文中构建了一个面向话题的讽刺识别数据集,以验证模型在特定话题中的有效性。实验结果表明,相比基线模型,新模型的性能更优。

合理的超参数能够保证机器学习模型适应不同背景和不同任务。为了避免在模型超参数数量过多、搜索空间过大的情况下出现手动调节导致的效率低下问题,多种超参数优化技术已经被研发并运用到机器学习模型训练中。文中首先回顾了8种常见的超参数优化技术,即网格搜索、随机搜索、贝叶斯优化、Hyperband、BOHB、遗传算法、粒子群优化算法和协方差矩阵自适应进化策略,并从时间性能、最终结果、并行能力、可拓展性、稳健性和灵活性5个方面分析各类方法的优缺点。其次,将8种方法应用到LightGBM、XGBoost、随机森林和KNN这4种传统机器学习模型上,在4个基准数据集上完成了回归、二分类和多分类的实验,对各类方法进行了比较。最后总结了各类方法的优缺点,给出了不同方法的适用情景。

反向词典任务是一种新兴的任务,目的是根据给定的定义来查找对应的单词。大规模语言模型为这一任务提供了新的可能性,但是提示语句的质量会影响大模型的性能。为此,提出了一种基于对比学习的提示生成方法。该方法在从多个语义层面上理解定义语义的同时,还利用对比学习的原理在训练过程中引入了负例,提升了模型的泛化能力。通过这种方法,可以将目标单词缩小到一个小范围内,然后用大模型从这个范围内选择最符合定义语义的单词。实验结果表明,该方法可以有效地提升大规模语言模型在反向词典任务上的表现。提示生成模型有 94.7% 的概率生成包含目标词的范围,大规模语言模型有 58.03% 的概率直接选出目标单词,有 74.55% 的概率在给出5个候选单词时包含目标单词。

文本风格迁移是自然语言处理中的一项重要任务,其主要目的在于改变文本的风格属性,同时保留必要的语义信息。然而,在许多任务缺乏大规模平行语料库的情况下,现有的无监督方法存在文本多样性不足和语义一致性较差的问题。针对这些问题,文中提出了一种半监督的多阶段训练框架。该框架首先利用风格标注模型和掩码语言模型构造伪平行语料库,以有监督的方式引导模型学习多样性的迁移方式。其次,设计了对抗性相似奖励、Mis奖励和风格奖励,从未标记的数据中进行强化学习以增强模型的语义一致性、逻辑一致性和风格准确性。在基于YELP数据集的情感极性转换任务中,该方法的BLEURT分数提升了3.1%,Mis分数提升了2.5%,BLEU分数提升了9.5%;在基于GYAFC数据集的正式文体转换实验中,该方法的BLEURT分数提高了6.2%,BLEU分数提高了3%。

中文命名实体识别(CNER)任务是一种自然语言处理技术,旨在识别文本中具有特定类别的实体,如人名、地名、组织机构名等,它是问答系统、机器翻译、信息抽取等自然语言应用的基础底层任务。由于中文不具备类似英文这样的天然分词结构,基于词的NER模型在中文命名实体识别上的效果会因分词错误而显著降低,基于字符的NER模型又忽略了词汇信息的作用,因此,近年来许多研究开始尝试将词汇信息融入字符模型中。WC-LSTM通过在词汇的开始字符和结束字符中注入词汇信息,使模型性能获得了显著的提升。然而,该模型依然没有充分利用词汇信息,因此在其基础上提出了基于字词融合的低词汇信息损失NER模型LLL-WCM,对词汇的所有中间字符融入词汇信息,避免了词汇信息损失。同时,引入了两种编码策略平均(avg)和自注意力机制(self-attention)以提取所有词汇信息。在4个中文数据集上进行实验,结果表明,与WC-LSTM相比,该方法的F1值分别提升了1.89%,0.29%,1.10%和1.54%。

音乐可以通过序列化的声音信息传递声音内容和情感。情感是音乐所表达的语义中的重要组成部分,因此,音乐生成技术不仅要考虑音乐的结构信息,还应融入情感元素。现有的情感音乐生成技术大多采用基于情感标注的完全监督方法,但音乐领域缺乏大量标准的情感标注数据集,且情感标签不足以表达音乐的情感特征。针对上述问题,提出了基于改进的高斯混合变分自编码器(Gaussian Mixture Variational Autoencoders,GMVAE)的半监督情感音乐生成方法(Semg-GMVAE),将音乐的节奏特征和调式特征与情感建立联系,同时向GMVAE中引入一种特征解纠缠机制来分别学习这两种特征的潜在变量表示,并对其进行半监督聚类推断。最后通过操纵音乐的特征表示,实现了针对快乐、紧张、悲伤、平静情感的音乐生成与情感转换。同时,针对GMVAE难以区分不同情感类别数据的问题,实验指出其关键原因是GMVAE证据下界中的方差正则项与互信息抑制项使得各类别的高斯分量分散性不足,从而影响学习表示的性能和生成的数据样本的情感质量。因此,Semg-GMVAE对这两项因子分别进行了惩罚和增强,并使用Transformer-XL作为编码器和解码器以提升在长序列音乐上的建模能力。基于真实数据集的实验结果表明,相比现有方法,Semg-GMVAE能够将不同情感的音乐在潜在空间中更好地分离,增强了音乐与情感的关联程度,并且能够有效对不同音乐特征进行解纠缠分离,最后通过改变特征表示更好地实现情感音乐生成或情感切换。

知识是大数据和人工智能的基石,知识图谱的可解释性和可扩展性等优势使其成为智能系统的重要技术。智能决策在各个领域都有迫切的应用需求,为知识图谱提供基于数据分析和推理的决策支持和应用场景,但领域场景复杂、数据多源、知识维度广,因此知识图谱的构建和应用都面临着很多挑战。针对地质领域知识图谱构建过程中领域知识模式完备性差的问题,以及现有实体关系抽取方法在处理非欧氏数据时存在的不足,提出了一种基于图结构的实体关系抽取模型RoGCN-ATT。该模型使用RoBERTa-wwm-ext-large中文预训练模型作为序列编码器,结合BiLSTM获取更丰富的语义信息,使用加权图卷积网络结合注意力机制获取结构依赖信息,以增强模型对关系三元组的抽取性能。在地质数据集上F1值达78.56%,与其他模型的对比实验表明,RoGCN-ATT有效提升了实体关系抽取性能,为地质知识图谱的构建和应用提供了有力的支持。

多数图卷积网络(GCN)模型通过设计高效的信息传递和保留方式提升节点分类任务的实验表现,忽略了节点标签信息在拓扑空间和属性空间的传播。针对上述问题,提出了一种基于标签传播算法(LPA)增强的多通道图卷积模型MGCN-LPA,同时增大同类节点在属性和拓扑空间的关系权重,改善节点间特征和标签信息的传播。首先,计算不同节点的属性相似度值,并采用k近邻算法生成属性关系图;然后,利用结合了GCN和LPA的图卷积层GCN-LPA提取属性图和属性关系图的潜在特征,生成拓扑节点表示和属性节点表示;最后,将拓扑和属性表示进行融合,并将生成的最终表示用于节点分类任务。在3个基准图数据集上进行实验,MGCN-LPA的实验表现能够匹配当前较为先进的基线模型,其在Cora和Citeseer数据集上的分类结果相比表现最优的基线模型提升了9.3%和12%。上述实验结果表明,MGCN-LPA能够增大同类节点间路径的权重,从而增强同类节点间的信息传递,提升节点分类任务的实验表现。此外,消融实验结果表明,与仅使用拓扑空间或者属性空间信息的变体相比,融合两类信息的MGCN-LPA能够充分提取和保留原始图中蕴含的潜在特征,提升模型的表征能力和泛化性。

为解决传统推荐算法在面对数据稀疏的推荐任务时产生的冷启动问题,本研究将知识图谱引入推荐算法,结合一种新的邻域感知注意力机制代替传统图注意力机制来挖掘实体间的高阶连通信息,提出了基于知识图谱和邻域感知注意力机制的推荐模型KGNPAN。得益于知识图谱可使推荐具有精准、多样和可解释的特点,该模型能够很好地缓解数据稀疏与冷启动问题。首先利用基于自对抗负采样的图嵌入方法RotatE对原有物品和用户表征的语义信息进行扩充,将实体和关系向量映射成低维嵌入向量;其次,根据协同邻居的不同类型分别应用邻域感知注意力机制聚合邻居节点信息,丰富目标节点语义,并以卷积形式递归挖掘高阶连通信息;最后对用户与项目向量应用内积操作计算交互概率,得到推荐结果。在Amazon-book和Last-FM两个公共基准数据集上进行实验,结果表明,在与CKE,BPRMF,RippleNet,KGAT,KGCN和CAKN 6个基准模型的对比中,KGNPAN相较于基准模型中结果最优的CAKN模型,在召回率(Recall)上分别提升了1.30%和1.37%,在归一化折损累计增益上(NDCG)分别提升了1.26%和1.14%,充分验证了其有效性和可解释性。

文中提出了具有对数调节时间的固定时间收敛递归神经网络(Recurrent Neural Network,RNN)模型,用于求解时变矩阵计算问题。设计并详细分析了两个新颖的RNN模型,推导出在给定初始条件下模型调节时间函数的精确表达式;并给出任意初始条件下调节时间函数的上界。相比现有的固定时间收敛的RNN模型,两个新颖的模型具有对数调节时间,其调节时间上界更小,收敛速度更快。考虑到初始误差实际上在一个有界的区域内,给出RNN模型半全局对数调节时间函数,并由此推导出半全局意义上的调节时间函数的上界。采用RNN模型半全局调节时间上界的倒数,提出半全局预定时间收敛到精确解的改进RNN模型,其预定时间是一个可调参数。给出了所提RNN模型对时变Lyapunov方程和时变Sylvester方程求解的仿真结果,并将其应用于具有初始误差的冗余机械臂的重复运动规划,进一步验证了所提RNN模型的有效性。

动态多目标优化问题广泛存在于现实生活中,在环境发生变化后,进化算法需具备快速收敛、快速追踪帕累托最优前沿和维持多样性的能力。对于环境变化程度严重且变化频繁的情况,传统的预测方法无法有效获得帕累托最优前沿解。针对该问题,提出了一种基于循环神经网络(Recurrent Neural Networks,RNN)信息累积的动态多目标优化算法(IA-RNN)。首先,提出了一种基于RNN信息累积的非线性预测方法,利用RNN递归进行信息累积,提高了历史信息利用率,增强了预测的能力。其次,设计了一种基于个体的线性预测方法,利用参数矩阵对个体线性变化进行预测。线性预测与RNN非线性预测协同进化,可快速追踪帕累托最优前沿。最后,设计了一种基于最小二乘法的参数修正策略,通过当前环境的近似帕累托最优前沿解反向指导参数修正,减小了误差堆积的影响。将IA-RNN与5种代表性动态多目标优化算法在14个DF基准测试问题上进行比较。实验证明,IA-RNN算法的收敛性和多样性更优。

随着物联网和人工智能的迅猛发展,边缘计算和人工智能的结合催生了边缘智能这一新的研究领域。边缘智能具备一定的计算能力,能够提供实时、高效和智能的响应。它在智能城市、工业物联网、智能医疗、自动驾驶以及智能家居等领域都具有重要的应用。为了提升模型的准确度,深度神经网络往往采用更深、更大的架构,导致了模型参数的显著增加、存储需求的上升和计算量的增大。受限于物联网边缘设备在计算能力、存储空间和能源资源方面的局限,深度神经网络难以被直接部署到这些设备上。因此,低内存、低计算资源、高准确度且能实时推理的轻量级深度神经网络成为了研究热点。文中首先回顾边缘智能的发展历程,并分析轻量级深度神经网络适应边缘智能的现实需求,提出了两种构建轻量级深度神经网络模型的方法:深度模型压缩技术和轻量化架构设计。接着详细讨论了参数剪枝、参数量化、低秩分解、知识蒸馏以及混合压缩5种主要的深度模型压缩技术,归纳它们各自的性能优势与局限,并评估它们在常用数据集上的压缩效果。之后深入分析轻量化架构设计中的调整卷积核大小、降低输入通道数、分解卷积操作和调整卷积宽度的策略,并比较了几种常用的轻量化网络模型。最后,展望轻量级深度神经网络在边缘智能领域的未来研究方向。

归结原理是自动推理中一种简洁、可靠且完备的推理规则。基于矛盾体分离的自动演绎理论是归结原理的延伸,矛盾体是该理论的核心部分。由于矛盾体结构复杂且生成策略较少,因此文中提出了一种新的生成矛盾体的策略,即利用多个标准矛盾体生成文字块矛盾型,再通过添加互补矛盾集得到新的矛盾体。重点讨论了具有特殊结构的文字块矛盾型生成的矛盾体,即子句正则矛盾体的性质,这些性质说明了具有特定结构的子句正则矛盾体添加子句后仍然是矛盾体。最后,提出了矛盾体的生成算法,为在计算机上实现新的矛盾体的生成提供参考。

生成式摘要是自然语言处理中的重要任务,它帮助人们从海量文本中提取简洁而重要的信息。目前主流的生成式摘要模型是基于深度学习的序列到序列模型,这类模型生成的摘要质量更高。但由于缺乏对原文中关键词和句子之间的依赖关系的关注,现有模型生成的摘要仍然存在语义不明、重要信息含量低等问题。针对这个问题,提出了一种基于关键词异构图的生成式摘要模型。该模型通过从原始文本中提取关键词,将其与句子共同作为输入构建异构图,进而学习关键词和句子之间的依赖关系。文档编码器和图编码器分别用于学习文本知识和异构图中的依赖关系。此外,在解码器中采用分层图注意力机制来提高模型在生成摘要时对显著信息的关注。在CNN/Daily Mail和XSum数据集上进行了充分的实验,实验结果表明,所提模型在ROUGE评价指标上有了显著的提升。进一步的人类评估结果显示,所提模型所生成的摘要比基线模型包含更多的关键信息,并具有更高的可读性。

事件抽取是一项重要的信息抽取任务,现有的事件抽取方法大多假设一个句子中仅出现一个事件,然而,在真实的场景下,重叠事件是难以避免的。文中提出了一种基于联合学习的语言粒度融合的重叠事件抽取方法。该方法设计了基于token数目逐层递增和逐层递减的策略,对不同语言粒度的片段进行表示,在此基础上,构建了渐进式语言粒度融合的句子表示。通过引入事件信息感知,建立了基于门控机制的语言粒度和事件信息融合的句子表示。最后,通过联合学习词间的片段关系和角色关系,实现对事件触发词、论元、事件类型和论元角色的判别。在FewFC和DuEE1.0-1数据集上进行了实验,所提LGFEE模型在事件类型判别任务上的F1值分别提高了0.8%和0.6%,在触发词识别、论元识别、论元角色分类任务上也获得了较高的召回率和F1值,验证了其有效性。

针对现有的模型无法处理多民族低资源语言自动摘要生成的问题,基于CINO 提出了一种面向多民族低资源语言的抽取式摘要模型CINOSUM。为扩大文本摘要的语言范围,首先构建了多种民族语言的摘要数据集MESUM。为解决以往模型在低资源语言上效果不佳的问题,构建了一个框架,采用统一的句子抽取器,以进行不同民族语言的抽取式摘要生成。此外,提出采用多语言数据集的联合训练方法,旨在弥补知识获取上的不足,进而扩展在低资源语言上的应用,显著增强模型的适应性与灵活性。最终,在MESUM数据集上开展了广泛的实验研究,实验结果表明CINOSUM模型在包括藏语和维吾尔语在内的多民族低资源语言环境中表现卓越,并且在ROUGE评价体系下取得了显著的性能提升。