随着移动通信技术的快速发展和物联网终端设备数量激增,丰富多样的智能应用及海量数据在网络边缘产生,边缘智能应运而生。当前,联邦学习作为一种新兴的分布式机器学习方法,可以在不共享终端设备原始数据的情况下协作完成模型训练任务,是实现边缘智能的重要方式。传统的边缘智能网络以地面通信基站为参数服务器,其服务范围相对固定,无法适应复杂多变的异构网络环境。无人机由于其灵活性和机动性被引入联邦学习中,可以有效地在边缘智能网络中提供通信/计算/缓存服务,增强地面网络的通信容量,弥补传统地面网络通信范围受限、通信开销大、数据传输延迟高等缺点。无人机辅助的联邦学习具有通信覆盖范围广、通信开销低、即时响应等明显优势,同时也面临通信带宽受限、不可靠的通信环境、飞行环境的不确定性等挑战,上述挑战可能导致低能效问题。无人机辅助的高能效边缘联邦学习是将无人机作为边缘服务器的计算能耗、计算频率、时间分配等纳入考虑,研究无人机辅助联邦学习系统的能效优化方案。针对无人机作为边缘服务器这一场景,依据最小化能耗、最小化延迟和最小化能耗延迟加权和等不同的优化目标,对当前无人机辅助的高能效边缘联邦学习研究进行了分类和总结,并对未来研究方向进行了思考和展望。

共同知识是多智能体系统内众所周知的知识集。如何充分利用共同知识进行策略学习,是多智能体独立学习系统中的一个挑战性问题。针对这一问题,围绕共同知识提取和独立学习网络设计,提出了一种基于观测重构的多智能体强化学习方法IPPO-CKOR。首先,对智能体的观测信息进行共同知识特征的计算与融合,得到融合共同知识特征的观测信息;其次,采用基于共同知识的智能体选择算法,选择关系密切的智能体,并使用重构特征生成机制构建它们的特征信息,其与融合共同知识特征的观测信息组成重构观测信息,用于智能体策略的学习与执行;最后,设计了一个基于观测重构的独立学习网络,使用多头自注意力机制对重构观测信息进行处理,使用一维卷积和GRU层处理观测信息序列,使得智能体能够从观测信息序列中提取出更有效的特征,有效缓解了环境非平稳与部分可观测问题带来的影响。实验结果表明,相较于现有典型的采用独立学习的多智能体强化学习方法,所提方法在性能上有显著提升。

随着智能手表、手环等可穿戴设备的普及,将其用于人体行为识别领域并从中解码出人类行为活动,对于健康监测、日常行为分析、智能家居等应用具有重要意义。然而,传统的动作识别算法存在特征提取困难、识别准确率较低等问题,并且均基于封闭集假设,即所有的训练数据和测试数据均来自同一个标签空间,而现实世界中大多都是开放集(Open-Set)场景,在测试阶段可能会将未知标签样本送入模型,从而导致分类错误。文中针对人体动作识别问题,提出了多通道自适应卷积网络(Multi-channel Adaptive Convolutional Network,MCACN),针对传统CNN网络特征提取仅局限于一个小范围内的问题,自适应卷积模块能够使用不同大小的卷积核提取不同时间跨度的特征,并自动计算权重求和。此外MCACN的多通道结构使各传感器数据得以分头进行处理,获得能够区分相近动作的特征细节。最后,设计了基于标签的多元变分自编码器,提出了用于开放集识别的模型MCACN-VAE。该模型能够通过计算重建误差来识别未知类,聚焦于已知类别动作,提高了模型的健壮性。实验结果表明,在封闭集实验中,MCACN模型能够有效地对动作进行识别,对7种日常动作的识别准确率均达到了91%以上,总体准确率达到了95%。在开放集实验中,MCACN-VAE在不同开放度下对于已知类别的总体识别准确率均达到了89%以上,对于未知动作片段的识别准确率也保持在75%以上,证明了所提模型能够有效拒绝未知类,识别已知类。

虚假新闻检测的方法有很多种,单一的方法通常只关注新闻内容、社交上下文或外部事实等信息;而联合检测方法则通过整合多种模式信息达到检测目的。Pref-FEND即为一种整合新闻内容与外部事实的联合检测方法,它从新闻内容和外部事实中提取3种词语表示,利用动态图卷积网络获得词节点之间的关系。但其在如何让两种模式更加专注于自己的偏好部分方面仍存在不足。因此,对Pref-FEND模型进行了改进,利用语义挖掘扩充新闻中的风格词,利用实体链接扩充新闻中的实体词,共得到5种词语并将其作为图网络的节点表示,从而更有效地建模图神经网络的节点表征;同时,引入深度异构图卷积网络(HDGCN)进行偏好学习,它的深度策略和多层注意力机制可以让两种模型更加专注于自身需要的偏好感知并减少冗余信息。实验结果表明,在公开数据集Weibo和Twitter上,与当前主流的基于内容的单一模型LDAVAE相比,改进后的框架F1值分别提高了2.8%和1.9%;与基于事实的单一模型GET相比,F1值分别提高了2.1%和1.8%;同时,在LDAVAE+GET联合检测的情况下,比Pref-FEND的 F1值分别提高了1.1%和1.3%。实验结果验证了所改进模型的有效性。

近年来,随着互联网及多媒体技术的迅猛发展,人们获取信息更加方便快捷,然而虚假信息在网络上的传播也日益严重,负面影响不断扩大。为了增强信息的可信度和欺骗性,虚假信息呈现多模态发展趋势,使得检测工作面临更大挑战。现有的多模态虚假信息检测方法大多关注多模态特征的形成,对于跨模态歧义和不同模态特征在检测中的贡献率的研究尚不完善,忽略了不同模态特征间固有差异性对虚假信息检测的影响。为解决该问题,提出了构建改进的跨模态关联歧义学习的虚假信息检测模型,通过对文本和图像特征进行跨模态歧义学习,利用歧义得分更新单模态与融合特征的权重,自适应地拼接单模态与融合特征;同时采用网格搜索动态分配文本、图像特征权重,提高检测准确率。在Twitter数据集上对该模型的有效性进行验证,其相比基线模型准确率提高了6%,相比未进行动态权重分配的检测方法性能提升了1.6%。

随着电子商务和短视频社区平台的兴起,涌现出的虚假评论严重影响了用户体验。甚至为了对抗平台检测,伪装的评论(Review Camouflage)更加难以辨别。当前基于图神经网络(Graph Neural Networks,GNNs)的虚假评论检测方法在深层训练过程中容易出现网络退化和梯度消失问题。同时评论伪装导致评论标记更加倾斜,从而影响GNNs检测模型的鲁棒性。针对以上问题,提出了一种基于残差网络的检测方法 MRDRN,可融合多关系评论特征进行虚假评论识别。首先,为了减缓网络退化,结合残差网络进行深层评论特征提取,并给出一种新的邻居混合采样策略,可根据评论之间的特征相似性进行低阶及高阶邻居混合采样,从而缓解评论标记不均衡的问题并学习更加丰富的评论特征。其次,提出了一种多关系评论特征融合策略,通过关系内评论网络拓扑与多关系间评论特征的整体融合,来减小评论伪装的影响。在3个真实数据集上进行实验,结果表明,MRDRN相比基准方法具有更高的检测能力和更强的鲁棒性。

面向方面的细粒度意见抽取(Aspect-oriented Fine-grained Opinion Extraction,AFOE)任务的目的是以意见对的形式抽取文本评论中的方面和意见词或者再抽取情感极性,形成意见三元组。以往的研究通常以管道方式抽取意见元素,容易出现错误传播的问题,而且大多数只关注方面词和意见词的单个子任务抽取,忽略了不同意见元素之间的相互影响和指示信息,导致意见挖掘任务不完整。此外,面向中文的意见元素抽取任务的研究较少。针对以上问题,文中提出了融合方面语义和网格标记的多语言意见元组抽取模型。首先,使用向内LSTM(Inward-LSTM)和向外LSTM(Outward-LSTM)编码方面词及其对应的上下文信息建立方面和候选意见词的关联,再结合全局信息生成特定方面语义特征的上下文表示,有利于提高下游意见元素抽取的性能。其次,使用网格标记方案的推理策略,利用方面和意见词之间的依赖指示信息进行更准确的抽取,以端到端的方式处理AFOE任务。相比基线模型,对于方面意见对抽取任务,改进的模型在中英文数据集上的F1值提高了0.89%~4.11%,对于三元组抽取任务提高了1.36%~3.11%,实验结果表明,改进的模型能有效地对中英文评论的意见元素进行抽取,性能显著优于基线模型。

针对传统无人车轨迹规划算法在非结构化场景下存在实时性较低和轨迹平滑性较差等问题,提出了一种前后端分离的轨迹规划算法。该算法的前端路径搜索部分对Hybrid A^*算法在控制空间进行搜索范围的剪枝且保留了车辆的运动学约束,并通过优化启发函数的计算方式,提高了图搜索的实时性。该算法的后端轨迹优化部分分为两个阶段:第一阶段设计了一个软约束非线性多目标优化器对路径进行局部优化,生成离散的轨迹位姿点和时间分配值;第二阶段基于五次样条曲线利用最小化Jerk的思想对离散位姿点进行平滑连接,提高了轨迹的平滑性。最后在室外停车场环境下对所提算法进行了实车测试,前端路径搜索和后端轨迹优化的实验结果表明该算法具有较高的实时性和轨迹平滑性。

近年来,投资组合管理问题在人工智能领域得到了广泛的研究,但现有的基于深度学习的量化交易方法还存在一些问题。首先,对股票的预测模式单一,通常一个模型只能训练出一个交易专家,交易决策也仅根据模型预测结果作出;其次,模型使用的数据源相对单一,只考虑了股票自身数据,忽略了整个市场风险对股票的影响。针对上述问题,提出了基于动态选择预测器的强化学习模型(DSDRL)。该模型分为3部分,首先提取股票数据的特征并传入多个预测器中,针对不同的投资策略训练多个预测模型,用动态选择器得到当前最优预测结果;其次,利用市场环境评价模块对当前市场风险进行量化,得到合适的投资金额比例;最后,在前两个模块的基础上建立了一种深度强化学习模型模拟真实的交易环境,基于预测的结果和投资金额比例得到实际投资组合策略。文中使用中证500和标普500的日k线数据进行测试验证,结果表明,此模型在夏普率等指标上均优于其他参照模型。

随着在线教学逐渐成为常态化的教学方式之一,人们对其提出了更高质量的教学需求。各种在线教学平台及互联网上海量的教育资源大大便利了众多学习者,但同时也存在着教育资源丰富但质量参差不齐、缺乏有效的分类整合以及主要依靠人工整理等问题,这就导致人们在获取在线教育资源时往往需要花费大量的时间和精力来进行检索、甄别和整理。针对在线教育资源现存的不足,文中提出了基于自然语言处理技术的在线教育资源自动分类方法,并以中学英语语法重点内容八大英语时态的习题自动分类为例,收集了线上及线下共9万余条时态类习题,通过数据清洗,最终选择3万余条语句构建数据集,并构建BERT微调文本分类模型,通过训练模型实现了对八大时态的自动分类,整体分类准确率达到86.15%,其中对一般现在时的识别准确率最高,达到93.88%。可以一定程度上满足中学英语时态类教育资源自动分类整理、习题智能批改及个性化推送、智能问答等现实需要,为提高在线教学质量,整合在线教育资源提供可行的思路和解决方案。

强化学习与进化计算作为两类自然启发的学习范式,是当前求解策略探索问题的主流方法,两类方法的融合为策略探索问题的求解提供了通用解决方案。通过对比强化学习与进化计算,从强化学习与进化计算的基本方法、策略探索的基础方法分析、策略探索的融合式方法分析以及前沿挑战4个方面全面分析了策略探索问题的方法,以期能够为该领域的交叉融合研究带来启发。

随着中文命名实体识别研究的不断深入,大多数模型关注融入词汇或字形信息来丰富特征表示,但是却忽略了标签信息。因此文中提出了一种融合标签信息的中文命名实体识别模型。首先,通过预训练模型BERT-wwm得到字符的嵌入表示,并将标签向量化,使用Transformer解码器结构将字符表示与标签表示进行交互学习,捕捉字符与标签的相互依赖关系,丰富字符的特征表示。为了促进标签信息的学习,构建了基于文本句的监督信号,增加了多标签文本分类任务,采用多任务学习的方式进行训练。其中,命名实体识别任务采用条件随机场进行解码预测,多标签文本分类任务采用双仿射机制进行解码预测,两任务共享除解码层以外的所有参数,保证了不同的监督信息反馈到每个子任务。在公开数据集MSRA,Weibo和Resume上进行了多组对比实验,分别获得了95.75%,72.17%,96.23%的F1值。与多个基准模型相比,所提模型的实验效果有一定的提升,证明了该模型的有效性与可行性。

现有的模型将基于依赖树的图神经网络用于方面级情感分析,一定程度上提升了模型的分类性能。然而,由于依赖解析技术的限制,语法解析结果的不精确导致依赖树存在大量噪声,使得模型的性能提升有限。此外,一些句子本身并不符合标准的句法结构。以往的研究以同样的置信度利用句法信息和语义信息,没有充分考虑它们对于确定方面词极性的贡献的不同,导致模型在相应的数据集上性能较差。为了克服这些困难,文中提出了一种基于依赖类型剪枝的双特征自适应融合网络。具体来说,该模型使用一种新型的混合方法,命名为依赖关系类型剪枝和邻接矩阵平滑,来缓解句法解析产生的噪声。此外,该模型通过双特征自适应融合模块充分考虑句子的句法信息的可用程度,以一种更灵活的方式将句法特征和语义特征结合起来用于方面级情感分析。在5个公开可用的数据集上进行广泛的实验,结果证明了该方法明显优于基线模型。

针对标准均衡优化算法(EO)存在全局搜索和局部搜索的平衡能力不足以及易陷入局部最优的问题,提出了一种基于可变生成概率和多差分柯西变异的均衡优化算法(Variable generation probability and multi-difference Cauchy variation equilib-rium optimization algorithm,VDEO)。首先,结合Tent混沌映射增加初始化种群的多样性,为寻优提供基础;其次,引入可变的生成概率代替原始的固定值,使算法在迭代前期增加全局搜索能力,后期关注求解精度,以提升全局搜索和局部搜索的平衡能力;最后,融合多种差分策略和柯西变异帮助寻优过程跳出局部最优。针对包含单峰、多峰和固定维多峰在内的15个基准测试函数和CEC2022测试函数,将VDEO在多种维数下与EO,GWO,WOA,SCA,MFO,AOA,AVOA,BWO,AHA,POA这10个启发式算法进行仿真对比实验,并对基准测试函数的实验结果进行Wilcoxon秩和检验,实验结果表明,VDEO实现了更好的全局搜索和局部搜索的平衡,并具有更好的跳出局部最优的能力以及更高的收敛精度。

航母保障作业中路径规划任务存在着场景高动态性以及智能体的强异质性问题,传统的全局路径规划算法虽然能获得全局最优的结果,但无法适应高度动态变化的场景,且不能很好解决智能体的异质性所带来的安全性问题;当前的局部路径规划算法能够很好地解决智能体体型差异,但是异质群体行为控制表示难以统一表达。为了解决以上问题,提出了一种航母航空保障作业中的异质群体的动态路径规划算法。首先,将优化的全局和局部路径规划算法融合,解决航空保障作业场景的高动态性问题,根据动态环境信息及时调整路径,并充分考虑场景的高动态性给异质智能体带来的安全性问题。然后,该方法考虑异质智能体不同的行为特性,在局部碰撞避免过程中采用基于运动学特性的异质智能体行为控制模型。最后,以美国尼米兹号航母为例,使用UE4进行仿真实验,从路径长度、平滑度、安全性和避障能力等方面对该算法进行了评价。仿真实验结果表明,与其他路径规划算法相比,所提算法不仅可以生成航母甲板异质群体的安全路径,还能够满足异质群体在动态航空保障作业场景中的应用需求。

近年来利用图结构来解决知识图补全(KGC)问题取得了不错的进展,其中图神经网络(GNNs)通过聚合实体的局部邻域信息来不断更新中心实体的表示,图注意力网络(GATs)使用注意力机制有侧重地聚合邻居,以获得更准确的中心实体表示。这些模型虽然在KGC中取得了不错的性能,但它们都忽略了中心实体的类型信息,仅仅使用邻域信息来计算注意力,将导致计算出来的注意力不够精准。针对这些问题,文中提出了一种类型匹配约束的图注意力网络(TMGAT),该方法通过计算中心实体类型对每个邻域关系的注意力,来得到实体类型-关系级别的注意力,以进一步计算出中心实体与各邻域关系的类型匹配度,再通过邻域关系及对应的邻居实体,结合类型匹配度计算实体-关系级别的注意力,得到邻域节点对中心实体的最终注意力。使用类型匹配度来约束传统的注意力机制,提升注意力机制的准确性,得到更加精准的中心实体嵌入,进而提升知识图补全的准确性。截至目前,文中提出的TMGAT是第一个在GATs中结合显式类型进行知识图补全任务的模型。文中加工了两个现有的数据集,使数据集中每个实体都拥有若干个类型,以验证TMGAT模型的性能。最后,实验部分展现了TMGAT在知识补全任务中优秀的竞争力,并研究了类型个数对模型性能的影响。

由于脉冲神经元具有复杂的时空动力过程且脉冲信息不可导,脉冲神经网络(SNN) 的训练一直是一个难题。基于人工神经网络(ANN)转SNN间接训练深度SNN的方法,避免了直接训练深度SNN的难题,但该方法所获得的SNN的性能在很大程度上会受到脉冲信息编码机制的影响。在众多编码机制中,首脉冲时间编码(TTFS)具有良好的生物学基础和更高的能效,但现有TTFS编码采用单脉冲形式,信息表征能力较弱,编码所需时间窗较大。为此,在TTFS的单脉冲编码基础上,增加一个校准脉冲,形成一种自校准首脉冲时间(SC-TTFS)编码机制,并构建相应的SC-TTFS神经元模型。在SC-TTFS中,首脉冲为必定发放的脉冲,而校准脉冲根据首脉冲发放后剩余的膜电位来确定是否发放,用于对编码脉冲所引起的转换量化误差和截断误差进行补偿,同时缩小编码所需的时间窗。通过对多种编码对应的转换误差进行对比分析,以及在多种网络结构上进行ANN-SNN转换实验,验证了所提方法的优越性。采用CIFAR10和CIFAR100数据集,基于VGG和ResNet两种网络结构进行了实验验证。结果表明,所提方法在两类网络结构和两种数据集上均实现了精度无损的ANN-SNN转换,且相较于最先进的同类方法,所提方法所构建的SNN具有最短的网络推理延迟。另外,在VGG结构上,所提方法相比TTFS编码能源效率提升了约80%。

针对知识图谱嵌入模型在进行知识嵌入时大多缺乏对语义信息的考虑,不能很好地提取水泥制造领域专业性的实体语义信息问题,文中将实体描述文本加入到水泥制造领域知识图谱(CMFKG)的嵌入工作中,提出了融合实体描述的知识图谱嵌入模型(KGEED)。该模型采用TransE模型得到CMFKG结构信息的嵌入,采用基于CNN的实体描述嵌入模块获得CMFKG基于语义的嵌入,并用CNN对结构信息嵌入与语义信息嵌入的三元组进行融合,从而可以很好地考虑水泥制造领域知识图谱丰富的实体描述文本信息。经实验表明,该模型在水泥制造领域知识图谱的嵌入工作中取得了不错的效果。

表面肌电信号(Surface Electromyography,sEMG)提前于人体动作产生,常用于预测人体行为运动意图。但由于其自身的非平稳性与时变特性,因此难以较为准确地预测人体下肢关节角度变化。文中研究人体下肢肌肉针对正常行走、上下楼梯这3种动作进行的肌肉选取,提出了一种VMD-ELMAN角度拟合算法,提高了表面肌电信号角度预测精度,增强了角度预测的实时性,为提升人与外骨骼设备人机融合度提供了有效的解决方案。实验结果表明,相比常见角度拟合算法,所提算法的时间耗时较短,在3种常见动作中,髋关节角度预测值RMSE的最高精度达0.578 9,膝关节角度预测值RMSE均在0.2以内,预测精度均优于常见模型,模型鲁棒性强。

随着电动汽车数量的增加,电动汽车充电对社区电网总负荷和碳排放量产生了很大的影响,导致社区电网不太稳定,降低了电能质量。文中基于碳达峰的约束条件,研究了未提前知晓电动汽车到达时间、出发时间和充电需求等情况下的电动汽车充电碳排放问题。首先,建立了电动汽车充电碳排放问题,并在未来信息未知的情况下进行了研究。针对电动汽车充电行为的不确定性,提出了一种改进型演员-评论家的智能充电碳排放算法。该算法采用的是连续碳排放动作的电动汽车充电碳排放策略,而不是离散近似碳排放动作。仿真结果表明,相比OA和AEM两个基准算法,所提算法能够降低电动汽车预期成本约24.03%和21.49%。

针对联邦增量场景中持续学习和数据安全的问题,构建了结合元学习的去中心化联邦增量学习框架。首先,为解决增量场景中持续学习带来的灾难性遗忘问题,提出了结合最近类均值样本回放的增量元学习方法NMR-cMAML,利用元训练对不同任务流的快速适应进行元更新,得到适用于新旧样本的模型。然后,为解决联邦增量场景中的数据安全问题,设计了基于对等网络架构的去中心化联邦增量学习框架,对等架构中每个客户端采用NMR-cMAML对私有的持续任务流进行增量学习。不同于传统的基于服务器-客户端的中心化架构,该去中心化架构采用客户端间通信的策略,消除了传统中央服务器易被攻击的隐患;同时,在联邦通信过程中,通过共享元学习的模型参数实现客户端间知识的有效迁移。最后在图像数据集(Cifar100和Imagenet50)上进行了不同任务场景的实验,结果表明所提方法能在提高系统的数据安全性的同时提升客户端本地性能。

事件抽取作为信息抽取的任务之一,旨在从非结构化文本中抽取出结构化事件信息。当前基于机器学习和深度学习的自动化信息抽取方法过度依赖于标注数据,而大多数领域的标准数据集规模很小且分布不均匀,因此低资源场景成为了限制自动化信息抽取性能的瓶颈。虽然,近年来众多学者针对低资源场景进行了深入研究,并取得了许多显著的成果,但目前针对该场景下的事件抽取研究综述比较缺乏。文中对现有的学术成果进行了较为全面的总结分析,首先介绍了相关任务的定义,并将低资源场景事件抽取任务分为3类;其次围绕此分类重点阐述了6种相关技术方法,包括基于迁移学习、基于提示学习、基于无监督学习、基于弱监督学习、基于数据与辅助知识增强、基于元学习的方法,并指出了当前方法的不足和未来改进的方向;然后介绍了相关数据集及评价指标,并对典型技术方法的实验结果进行了总结分析;最后从全局角度总结分析了当前低资源场景事件抽取工作面临的挑战及未来研究的趋势。

文档分类的一项基本工作是研究如何高效地表示输入特征,句子和文档向量表示也可以辅助自然语言处理的下游任务,如文本情感分析和数据泄露预防等。特征表示也逐渐成为文档分类问题的性能瓶颈和模型可解释性的关键之一。针对现有分层模型面临的大量重复计算以及可解释性缺乏的问题,提出了一种分层文档分类模型,并研究了句子和文档表示方法对文档分类问题的性能影响。所提模型集成了使用改进自注意力机制融合输入特征向量的句子编码器和文档编码器,形成了一个层次结构,以实现对文档级数据的分层处理,在简化计算的同时增强了模型的可解释性。与仅使用预训练语言模型的特殊标记向量作为句子表示的模型相比,所提模型在5个公开文档分类数据集上实现了平均 4% 的性能提升,比使用词向量矩阵的注意力输出均值的模型提高了2%。

深度学习模型的广泛使用,在更大程度上使人们意识到模型的决策是亟需解决的问题,复杂难以解释的黑盒模型阻碍了算法在实际场景中部署。LIME作为最流行的局部解释方法,生成的扰动数据却具有不稳定性,导致最终的解释产生偏差。针对上述问题,提出了一种基于主动学习和二次有理核的模型无关局部解释方法ActiveLIME,使得局部解释模型更加忠于原始分类器。ActiveLIME生成扰动数据后,通过主动学习的查询策略对扰动数据进行采样,筛选不确定性高的扰动集训练,使用迭代过程中准确度最高的局部模型对感兴趣实例生成解释。并且,针对容易陷入局部过拟合的高维稀疏样本,在模型损失函数中引入了二次有理核来减少过拟合。实验结果表明,所提出的ActiveLIME方法引比传统局部解释方法具有更高的局部保真度和解释质量。

时序抽象作为分层强化学习的重要研究内容,允许分层强化学习智能体在不同的时间尺度上学习策略,可以有效解决深度强化学习难以处理的稀疏奖励问题。如何端到端地学习到优秀的时序抽象策略一直是分层强化学习研究面临的挑战。Option-Critic(OC)框架在Option框架的基础上,通过策略梯度理论,可以有效解决此问题。然而,在策略学习过程中,OC框架会出现Option内部策略动作分布变得十分相似的退化问题。该退化问题影响了OC框架的实验性能,导致Option的可解释性变差。为了解决上述问题,引入互信息知识作为内部奖励,并提出基于互信息优化的Option-Critic算法(Option-Critic Algorithm with Mutual Information Optimization,MIOOC)。MIOOC算法结合了近端策略Option-Critic(Proximal Policy Option-Critic,PPOC)算法,可以保证下层策略的多样性。为了验证算法的有效性,把MIOOC算法和几种常见的强化学习方法在连续实验环境中进行对比实验。实验结果表明,MIOOC算法可以加快模型学习速度,实验性能更优,Option内部策略更有区分度。

半监督学习是一种介于监督学习和无监督学习之间的弱监督学习模式,其在学习过程中将少量标记示例和大量未标记示例结合起来构建模型,以期取得比监督学习仅使用标记示例更高的学习精度。在该学习模式下,文中提出了一种将最大间隔准则和示例空间的流形假设思想相结合的半监督学习算法。该算法在利用示例流形结构估计未标记示例标记置信度的同时利用最大间隔准则构建分类模型,并采用交叉优化方法以迭代的方式交替地求解分类模型参数和标记置信度。在12个UCI数据集和4个由MNIST手写数字集生成的数据集上的实验结果表明,采用半监督直推学习方式,该算法的性能优于其他对比算法的情况为60.5%;采用半监督归纳学习方式,该算法的性能优于其他对比算法的情况为42.6%。

DQN方法作为经典的基于价值的深度强化学习方法,在多智能体运动规划等领域得到了广泛应用。然而,DQN方法面临一系列挑战,例如,DQN会过高估计Q值,计算Q值较为复杂,神经网络没有历史记忆能力,使用ε-greedy策略进行探索效率较低等。针对这些问题,提出了一种基于DQN的多智能体深度强化学习运动规划方法,该方法可以帮助智能体学习到高效稳定的运动规划策略,无碰撞地到达目标点。首先,在DQN方法的基础上,提出了基于Dueling的Q值计算优化机制,将Q值的计算方式改进为计算状态值和优势函数值,并根据当前正在更新的Q值网络的参数选择最优动作,使得Q值的计算更加简单准确;其次,提出了基于GRU的记忆机制,引入了GRU模块,使得网络可以捕捉时序信息,具有处理智能体历史信息的能力;最后,提出了基于噪声的有效探索机制,通过引入参数化的噪声,改变了DQN中的探索方式,提高了智能体的探索效率,使得多智能体系统达到探索-利用的平衡状态。在PyBullet仿真平台的6种不同的仿真场景中进行了测试,实验结果表明,所提方法可以使多智能体团队进行高效协作,无碰撞地到达各自目标点,且策略训练过程稳定。

限定域关系抽取技术是在预定义实体类型和关系类型的前提下,从文本中捕获关键信息的技术,多采用由头尾实体和关系构成的三元组作为信息表示形式。作为信息抽取领域的重要研究方向之一,其在知识问答、信息检索等任务中被广泛应用。文中在介绍相关概念和任务范式的基础上,分析了深度学习背景下限定域关系抽取任务的研究进展,根据句中实体是否可见,分为关系分类任务和三元组抽取任务,依据任务表现特征,前者可细分为有监督条件下的关系分类任务、小样本关系分类任务和远程监督条件下的关系分类任务。文中探讨和分析了以上任务中常用的技术方法及其优缺点,最后归纳总结了关系抽取技术在低资源、多模态等更为接近真实情景下的发展潜力和现存的挑战。

随着机器学习应用的日益普及,机器学习公平性问题引起了学术界和工业界的广泛关注,成为了可信人工智能的重要组成部分。为了评估和改善机器学习应用的公平性,研究人员提出了一系列公平性指标,这些指标有助于保障机器学习模型在不同个体、群体间的公平决策,并为改善和优化模型提供指导。但各界对于指标之间的区别与联系仍没有形成共识,对不同场景、不同任务的公平性定义没有明确的划分,公平性指标缺乏完善的分类体系。文中对公平性指标进行了全面的整理和归类,从指标的数学定义出发,根据是否基于概率统计将公平性指标分为两类,然后分别对这两类指标进行进一步的细粒度划分和阐述。为了便于读者理解和运用,结合一个实际案例,从适用场景和实现条件等方面指出各类指标的优势和面临的挑战,还结合数学定义讨论了指标之间的关系,并对未来趋势进行了展望。

扩散模型在生成模型领域具有高质量的样本生成能力,一经推出就不断地刷新图像生成评价指标FID分数的记录,成为了该领域的研究热点,而此类相关综述在国内还鲜有介绍。因此,文中对相关扩散生成模型的研究进行汇总与分析。首先,对去噪扩散概率模型、基于分数的扩散生成模型和随机微分方程的扩散生成模型这3类通用模型的特点和原理进行了论述,就每一类基本扩散模型中以优化模型内部算法、高效采样为改进目标的相关衍生模型进行分析。其次,对当下扩散模型在计算机视觉、自然语言处理、时间序列、多模态和跨学科领域等方面的应用进行总结。最后,基于上述论述,分别就目前扩散生成模型存在的采样步骤多、采样时间长等局限性提出了相关建议,并结合前述研究对未来扩散生成模型的发展方向进行了研判。