演化计算利用生物演化过程中的自然选择机制和遗传规律求解优化问题,循环神经网络的精度和效率依赖其参数以及结构的优化效果,采用演化计算解决循环神经网络中的参数与结构自适应优化问题是自动化深度学习领域的研究热点。文中针对结合演化计算和循环神经网络的算法进行了详细的调研。首先,简要介绍了演化算法的传统类别、常见算法和优点,以及循环神经网络模型的结构及特点,并对影响循环神经网络性能的因素进行了分析;其次,分析了演化循环神经网络的算法框架,并分别从权重优化、超参数优化和结构优化方面分析了当前演化循环神经网络的研究进展;然后,对演化循环神经网络的一些其他工作进行了分析;最后,指出了演化循环神经网络面临的挑战以及发展趋势。

近年来,知识库(Knowledge Base,KB)被广泛应用于问答(Question Answering,QA)任务中。给定自然语言问题,利用知识库为给定问题提供正确答案,被称为KBQA问题。然而,知识库本身可能是不完整的(例如,KB不包含问题的答案或问题中的一些实体和关系),这限制了现有KBQA模型的总体性能。为了解决这个问题,文中提出了一个新的模型,利用文本语料库信息提供额外信息来增强知识库覆盖率和背景信息以增强问题的表示。具体来说,该模型由3个模块组成,即实体和问题表征模块、文档和问题增强表征模块以及答案预测模块。实体和问题表征模块从检索到的知识库子图中学习实体的表示,然后通过融合种子实体信息更新问题表示;文档和问题增强表征模块尝试学习与给定问题相关文档的正确表示,然后通过融合文档信息进一步改进问题表示;最后,答案预测模块根据知识库实体表征、文档表征和更新的问题表征进行答案预测。利用所提方法在WebQuestionsSP数据集上进行了大量的实验,结果表明,与其他方法相比,所提方法可以获得更高的准确性。

相对于英文天然由单词组成而言,中文由于没有分词符,汉字之间的组词更灵活,在命名实体识别时,其边界更加难以确定。当前的主流方法将命名实体识别任务转化为序列标注任务,文中采用BIOES标注方案,针对预测的标签序列进行研究。通过单独比较实体头部标签B或尾部标签E,计算实体边界准确率,结果表明提高边界准确率能够进一步提升实体识别准确率;对具有连续标签的实体边界进行拓展和重定位,采用实体最后一个字符的类型标签对实体类型进行纠偏,利用分词信息对标签不完整的实体进行填充;最后,提出增加边界标记的BIO⁺ES标注方案,用于区分实体边界的非实体字符,以进一步提升中文命名实体识别的性能。

由于汉字的多样性和中文语义表达的复杂性,中文拼写检查仍是一项重要且富有挑战性的任务。现有的解决方法通常存在无法深入挖掘文本语义的问题,且在利用汉字独特的相似性特征时往往通过预先建立的外部资源或是启发式规则来学习错误字符与正确字符之间的映射关系。文中提出了一种融合汉字多特征嵌入的端到端中文拼写检查算法模型BFMBERT(BiGRU-Fusion Mask BERT)。该模型首先利用结合混淆集的预训练任务使BERT学习中文拼写错误知识,然后使用双向GRU网络捕获文本中每个字符错误的概率,利用该概率计算汉字语义、拼音和字形特征的融合嵌入表示,最后将这种融合嵌入输入到BERT中的掩码语言模型(Mask Language Model,MLM)以预测正确字符。在SIGHAN 2015基准数据集上对BFMBERT进行了评测,取得了82.2的F1值,其性能优于其他基线模型。

事件共指消解是很多自然语言处理任务的基础,旨在识别文本中指代相同真实事件的事件提及。由于中文语法相比英文更复杂,捕获英文文本特征的方法在中文事件共指消解中效果并不明显。为解决文档内中文事件共指,提出了一种门控机制神经网络(Gated Mechanism Neural Network,GMNN)。针对中文具有主语省略、结构松散等特点,引入事件基本属性作为符号特征。在此基础上,提出了一种新的门控去噪机制,对符号特征向量进行微调,过滤符号特征中的噪声,提取在特定上下文语境中的有用信息,进而提高共指事件的识别率。在ACE2005中文数据集上进行了实验,结果表明,GMNN的AVG分数提升了2.66,有效地提高了中文事件共指消解的效果。

多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。

依存句法分析旨在从语言学的角度分析句子的句法结构。现有的研究表明,将这种类似于图结构的数据与图卷积神经网络(Graph Convolutional Network,GCN)进行结合,有助于模型更好地理解文本语义。然而,这些工作在将依存句法信息处理为邻接矩阵时,均忽略了句法依赖标签类型,同时也未考虑与依赖标签相关的单词语义,导致模型无法捕捉到文本中的深层情感特征。针对以上问题,提出了一种结合上下文和依存句法信息的中文短文本情感分析模型(Context and Dependency Syntactic Information,CDSI)。该模型不仅利用双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)提取文本的上下文语义,而且引入了一种基于依存关系感知的嵌入表示方法,以针对句法结构挖掘不同依赖路径对情感分类任务的贡献权重,然后利用GCN针对上下文和依存句法信息同时建模,以加强文本表示中的情感特征。基于SWB,NLPCC2014和SMP2020-EWEC数据集进行验证,实验表明CDSI模型能够有效融合语句中的语义以及句法结构信息,在中文短文本情感二分类以及多分类中均取得了较好的效果。

自动作文评分是一项代替人工为学生作文进行等级评分的任务,其中丰富的语义、严密的组织和合理的逻辑是重要的考虑因素。已有的研究大多数只从语义或组织等视角出发评估作文的质量,未考虑如逻辑等更高层次的因素。因此,文中提出了一个多视角评价框架(Multi-perspective Evaluation Framework,MPE),从语义表达、组织结构和整体逻辑3个方面对学生议论文进行了客观、可靠的评价。具体来说,多视角评价框架首先利用预训练模型编码句子并获得由低到高3个层次的语义信息,来评估文章的语义表达;其次,框架将句子功能识别与段落功能识别相结合,用于评估文章的组织结构;然后,通过计算段落之间的连贯性来评估文章的整体逻辑;最后,该框架综合这3个方面的评估特征,对作文评分。实验结果表明,所提出的多视角评价框架能够有效地对不同质量的作文进行评分,优于所有基准系统。

动态环境的实时碰撞规避是移动机器人轨迹规划中的一个巨大挑战。针对可变障碍物数量的环境,提出了基于LSTM(Long Short Term Memory)和DRL(Deep Reinforcement Learning)的实时轨迹规划算法Crit-LSTM-DRL。首先,根据机器人和障碍物的状态,预测碰撞可能发生的时间,计算各个障碍物相对于机器人的碰撞危急程度(Collision Criticality);其次,将障碍物根据碰撞危急程度由低到高排序,然后由LSTM模型提取固定维度的环境表征向量;最后,将机器人状态和该环境表征向量作为DRL的输入,计算对应状态的价值。在任何一个时刻,针对每一个动作,通过LSTM和DRL计算下一时刻对应的状态的价值,从而计算当前状态的最大价值以及对应的动作。针对不同环境,训练获得3个模型,即在5个障碍物的环境里训练的模型、在10个障碍物的环境里训练的模型和在可变障碍物数量(1~10)的环境里训练的模型,分析了它们在不同测试环境中的性能。为进一步分析单个障碍物和机器人之间的交互影响,将障碍物表示为障碍物和机器人的联合状态(Joint State),分析了在上述3个训练环境下获得的模型的性能。实验结果验证了Crit-LSTM-DRL的有效性。

机器人流程自动化(Robotic Process Automation,RPA)是当今的研究热点之一,对网页元素的拾取和自动化是RPA的重要功能之一。RPA通过使用浏览器扩展向网页中注入脚本程序以处理网页,使用网页元素定位路径定位到目标节点进行自动化操作,在源网页中存在跨域frame时,由于同源策略的限制,注入源网页的脚本无法获取到目标节点的DOM对象,导致无法生成网页元素定位路径,从而无法自动化。文中提出了一种基于浏览器扩展的RPA系统设计方案,该方案能够对跨域DOM进行拾取和自动化。该方案在处理包含第三方跨域frame的网页时,将其看作与源网页frame地位相等的frame进行处理,网页元素定位路径设计为包含frame的url和网页元素Xpath的形式,以实现跨域网页元素拾取和自动化的功能。实验结果表明,该方案能够有效地对包含跨域资源的网页进行拾取和自动化操作,且同时支持chrome,firefox等支持浏览器扩展的浏览器。

在多机器人环境中,具有不同能力的机器人相互协作以完成任务需求。现实情况下,这些任务动态发布,且具有不同的目标和紧急程度,因此需要为每个任务分解出的细粒度动作分配和调度合适的机器人来负责执行这些动作。现有的方法大多适用于静态和同构的任务分配场景,而针对动态异构任务的分配则大多采用独占式的分配策略,导致机器人频繁进入等待状态(即机器人处于被分配了任务到真正开始执行任务之间的闲置阶段)。由于任务存在不同的紧急程度和发布时间,这种分配方式将降低对更紧急任务的响应效率,同时导致更多的等待时间和更长的任务完成时间。针对该问题,提出了一种面向多机器人环境中动态异构任务的细粒度动作分配与调度方法。其中,分配与调度的对象是任务所分解出的细粒度的动作,且一个动作能够由机器人的一种能力承担。面对任务分解出的一组细粒度动作集合,本方法借鉴拍卖算法过程,根据机器人能力、状态及任务信息计算出机器人承担特定动作的最优分配方案。另外,在每一次新任务发布或某一机器人执行完动作时执行分配和调度过程,可以将处于普通任务等待状态的机器人调度至紧急任务,以保证紧急任务优先完成,且缩短机器人的总体等待时间。基于本方法,扩展实现了机器人执行框架(ROSPlan)的执行模块。围绕一组多机器人动态异构任务的模拟实验表明,所提方法相较于采用贪心策略的方法可得到更优的分配方案。

基于步态的身份识别作为一种新的生物特征识别技术,以其非接触、无打扰、远距离、不易伪装等优点成为了生物特征识别技术领域的研究热点。此外,近年来,由于MEMS惯性传感器技术发展成熟及其在便携式设备中的广泛应用,基于惯性传感器的步态身份识别越来越受到科研人员的关注。文中收集整理了国内外有关惯性传感器步态身份识别的研究方法和现状,并对该领域的相关技术进行了回顾;根据识别过程处理的先后顺序,依次回顾了数据采集、数据预处理、数据分割、特征选择与组合、智能识别各个阶段的相关技术以及研究现状,并给出了目前主要的公共步态数据库,以方便感兴趣的读者进行实验分析。最后,在此基础上讨论了基于惯性传感器的步态身份识别的技术难点,并对未来发展方向进行了展望。

增量学习是缩小当前人工智能和人类智能间差距的关键技术,指智能体像人类一样从不稳定数据流中顺序学习多个任务,且不发生遗忘。目标检测是计算机视觉领域的核心任务之一,是计算机理解图像的基石。因此,增量目标检测问题具有重要的研究意义和实际意义。尽管增量学习在图像分类中取得了不错的成果,但基于目标检测的增量学习研究还处于初级阶段。这是因为目标检测相比图像分类更加复杂,它需要同时解决分类和边框回归的问题。不少研究者为解决此问题做了很多努力,但大多数工作都只关注如何保留已学习任务的性能,忽略了模型对新任务的快速适应能力,而这正是增量学习的关键要求。基于大脑的记忆机制,人类可以在学习中不断地提取知识以更好更快地学习新任务,不发生遗忘。受此启发,提出了一种融合编解码记忆重放机制的增量元学习方法。该方法对已学习样本的特征向量进行编码存储和解码重放,从而将不稳定数据流近似为动态稳定数据集,缓解了遗忘问题。同时,设计了一个双循环在线元学习策略,模型在内循环分别基于多批次新旧混合数据进行随机梯度更新,最后在外循环进行元学习,从而获得多任务间的共同结构,使模型具有良好的泛化性能,能够快速适应学习中遇到的新任务。在大型的公开数据集PASCAL VOC 和 MS COCO 上设置了3种增量目标检测实验环境来评估所提算法。实验结果表明,所提算法与最先进的方法相比体现出了具有竞争力的性能,证明了其可以帮助模型更好地抵抗遗忘,具有更好的泛化性能。所提算法基于梯度更新,与模型无关,因此其可以与其他检测框架结合,具有强适应性。

事件抽取旨在从海量的非结构化文本中自动提取出结构化描述信息,以帮助人们快速地了解事件的最新发展动态。传统的事件抽取方法主要采用分类或者序列标注的方法,其依赖于大量的标注数据来训练模型。近年来,研究者提出了利用机器阅读理解模型来进行事件抽取的方法,通过任务转换并联合利用机器阅读理解任务中的标注数据进行训练来缓解标注数据的不足。然而现有方法局限于单轮问答,问答对之间缺少依赖关系;此外,已有方法也未充分利用句子中的实体信息等知识。针对以上不足,提出了一种会话式机器阅读理解框架用于事件抽取,针对已有方法进行了两方面的扩展:首先,通过在句子中显式地增加实体标记信息,使得模型能够有效地学习到输入句子中的实体知识;其次,设计了历史会话信息编码模块,并结合注意力机制从历史会话中筛选出重要信息,融合到阅读理解模型中以辅助推断。最后,在公开数据集上的实验结果表明所提模型相比已有方法取得了更优的结果。

词语的上下位关系判别是自然语言处理中一项基础且具有挑战性的任务。传统的有监督方法通常采用单个模型在整个语义空间中对所有上下位词对进行全局建模,并取得了一定的效果。然而,上下位关系的分布式语义表征具有相当的复杂性,在语义空间的不同区域中往往具有不同的表现,使得全局模型难以学习。针对此问题,文中提出了基于混合专家的上下位关系判别方法。该模型基于分而治之的策略,将语义空间划分为多个子空间,每个子空间对应一个局部专家(模型),局部专家(模型)关注它们自己的子空间,并采用门控机制决定空间的分割和专家的混合。实验结果表明,这种专家混合模型在公开数据集上的性能优于传统的全局模型。

事件可信度是对文本中事件真实情况的一种描述,是自然语言处理领域许多相关应用的基本任务。目前,大多数关于事件可信度的相关研究都是使用标注的事件进行事件可信度识别,不方便实际应用,并且忽略了不同事件源对事件可信度的影响。针对现有问题,提出了一个端到端的事件可信度识别的联合模型JESF。该模型可以同时进行事件识别、事件源识别、事件可信度识别3个任务;使用BERT(Bidirectional Encoder Representations from Transformers)和语言学特征加强单词的语义表示;使用注意力机制(Attention)和依存句法树构建图卷积神经网络(Graph Convolutional Network,GCN),以有效地提取语义和句法特征。特别地,该模型也可以应用于只考虑默认源(文本作者)的事件可信度任务。在FactBank,Meantime,UW,UDS-IH2等语料上的实验结果显示,所提模型优于基准模型。

车险欺诈检测对促进汽车保险业的良性健康发展有着重要意义。由于欺诈的判断涉及公民权利等核心内容,需要车险专家对案件进行核查,提供欺诈原因。尽管基于机器学习的方法泛化能力强、精确度高,但缺少可解释性,而基于专家系统的规则方法尽管有较好的可解释性,但受限于规则复杂的触发条件。为了解决未触发专家系统欺诈规则而被机器学习方法检测为“欺诈”的案件无法被解释的问题,文中提出了基于网络表示学习的车险欺诈溯因分析方法。该方法首先定义了车险欺诈溯因分析任务,然后采用网络表示学习对已触发专家系统中欺诈规则的案件进行案件-规则因子网络的建模,学习欺诈规则中因子的分布式向量表示。为了更好地度量“欺诈”案件与专家系统中因子未全部触发规则之间的相似度,该方法基于溯因缺省原理,设计了一种规则因子的加权拼接策略来缓解训练数据不足的问题。实验结果表明,所提方法相较于已有方法在车险欺诈溯因预测任务的3项指标中均能取得更好的效果。

剧本是一种特殊的文本结构,以人物的对话和对场景的描述信息组成文本。无监督剧本摘要是指对篇幅很长的剧本进行压缩、提取,形成能够概括剧本信息的短文本。提出了一种基于预训练模型的无监督剧本摘要方法,首先在预训练过程中通过增加对文本序列处理的预训练任务,使得预训练生成的模型能够充分考虑剧本中对话的场景描述及人物说话的情感特点,然后使用该预训练模型作为训练器计算剧本中的句间相似度,结合TextRank算法对关键句进行打分、排序,最终抽取得分最高的句子作为摘要。实验结果表明,该方法相比基准模型方法取得了更好的效果,系统性能在ROUGE评价上有显著的提高。

针对麻雀搜索算法初始种群分布不均匀,种群间信息交流少,易陷入局部最优,收敛速度慢等不足,提出了一种基于双样本学习与单维搜索改进的精英麻雀搜索算法。首先,采用Hammersley低差异序列与反向学习相结合产生精英初始种群,增强个体质量和多样性;然后,通过双样本学习策略,改进追随者的位置更新公式,加强种群间的信息交流,提高算法跳出局部最优的能力;最后,在算法迭代后期采用单维搜索模式,增强算法在后期的深度挖掘能力,提高算法的精度。通过对时间复杂度进行分析,证明了该改进未增加算法的时间复杂度。选取12个不同特征的测试函数进行寻优,测试结果表明,与其他算法相比,该算法在收敛速度、精度和稳定性上都有明显的优越性。

视觉问答作为人工智能完备性和视觉图灵测试的重要呈现形式,加上其具有潜在的应用价值,受到了计算机视觉和自然语言处理两个领域的广泛关注。知识在视觉问答中发挥着重要作用,特别是在处理复杂且开放的问题时,推理知识和外部知识对获取正确答案极为关键。蕴含知识的问答机制被称为知识型视觉问答,目前还没有针对知识型视觉问答的系统性调查。面向视觉问答中的知识参与方式和表达形式的研究能够有效填补知识型视觉问答体系中在文献综述方面存在的缺口。文中对知识型视觉问答的各组成单元进行了调查,对知识的存在形态进行了研究,提出了知识层级概念。进一步地,针对视觉特征提取、语言特征提取和多模态融合过程中的知识参与方式和表达形式进行了归纳和总结,并对未来发展趋势及研究方向进行了探讨。

近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战。

近年来,短文本分类技术获得了广泛的研究。但在实际应用中,随着文本数据的积累,人们经常会遇到分类体系问题及其引起的数据分类标注问题,原因在于分类标签体系通常具有动态性,以及体系中的分类标签具有不易区分性。为此,文中结合分类标签数量众多的某省电信投诉工单分析业务进行了具体分析,并提出了一种非完美多分类标签体系的概念模型。在此基础上,针对数据集中的分类标注冲突与遗漏,提出了一种基于高质量种子训练集的检测和半自动修复方法,用于修复分类体系动态性和人工标注错误导致的标注冲突和遗漏,经过6个月的线上运行,在过滤掉10%的分类置信度过低的投诉工单后,基于BERT的分类模型的F1值可达0.9。

随着智能无人小车的广泛应用,智能化导航、路径规划和避障技术成为了重要的研究内容。文中提出了基于无模型的DDPG和SAC深度强化学习算法,利用环境信息循迹至目标点,躲避静态与动态的障碍物并且使其普适于不同环境。通过全局规划和局部避障相结合的方式,该方法以更好的全局性与鲁棒性解决路径规划问题,以更好的动态性与泛化性解决避障问题,并缩短了迭代时间;在网络训练阶段结合PID和A^*等传统算法,提高了所提方法的收敛速度和稳定性。最后,在机器人操作系统ROS和仿真程序gazebo中设计了导航和避障等多种实验场景,仿真实验结果验证了所提出的兼顾问题全局性和动态性的方法具有可靠性,生成的路径和时间效率有所优化。

情绪-原因对的自动抽取,是文本情感分析的新任务,旨在以子句为单位,从不带任何标注的原始文本中识别情绪表达,并确定产生相应情绪的原因,形成情绪-原因对。完成上述任务的关键是有效捕捉情绪和原因之间以及不同情绪-原因对之间的关联。针对现有研究在捕捉这些关联方面存在的粒度过粗、无法有效区分不同子句对之间因果关系的相互影响等不足,提出了一种基于异构图神经网络的情绪-原因对抽取方法。该方法首先构建以子句和子句对为顶点的异构图,其中子句和子句对之间以及不同的子句对之间存在不同类型的边,用于捕捉各种细粒度的关联;然后采用带有注意力机制的异构图神经网络顶点表达更新算法,对子句和子句对的初始表达进行迭代更新;接着将更新后的子句对表达输入到二元分类器,通过该分类器判断相应的子句对是否存在情绪-原因关系。在情绪-原因对抽取任务的基准数据集上进行的实验表明,所提基于异构图神经网络的方法具有稳定的效果提升,在F1值上比当前最好的方法高0.85%;如果底层编码器(用于得到初始的子句表达和子句对表达)采用BERT,F1值可以达73.12%,也优于底层编码器同样采用BERT的现有最新算法。

由于中文文本缺少天然分隔符,中文嵌套命名实体识别(Chinese Nested Named Entity Recognition,CNNER)任务极具挑战性,而嵌套结构的复杂性和多变性更增添了任务的难度。文中针对CNNER任务提出了一种新型边界感知层叠神经网络模型( Boundary-aware Layered Nerual Model,BLNM)。首先通过构建了一个分割注意力网络来捕获潜在的分词信息和相邻字符之间的语义关系,以增强字符表示;然后通过动态堆叠扁平命名实体识别层的网络,由小粒度到大粒度逐层识别嵌套实体;最后为了利用被预测实体的边界信息和位置信息,构建了一个边界生成式模块,用于连接相邻的扁平命名实体识别层以及缓解错误传递问题。基于ACE 2005中文嵌套命名实体数据集的实验结果表明,该模型具有较好的性能。

现有基于图卷积网络的文本分类模型通常只是通过邻接矩阵简单地融合不同阶的邻域信息来更新节点表示,导致节点的词义信息表达不够充分。此外,基于常规注意力机制的模型只是对单词向量进行正向加权表示,忽略了产生消极作用的单词对最终分类的影响。为了解决上述问题,文中提出了一种基于双向注意力机制和门控图卷积网络的模型。该模型首先利用门控图卷积网络有选择地融合图中节点的多阶邻域信息,保留了之前阶的信息,以此丰富节点的特征表示;其次通过双向注意力机制学习不同单词对分类结果的影响,在给予对分类起积极作用的单词正向权重的同时,对产生消极作用的单词给予负向权重以削弱其在向量表示中的影响,从而提升模型对文档中不同性质节点的甄别能力;最后通过最大池化和平均池化融合单词的向量表示,得到文档表示用于最终分类。在4个基准数据集上进行了实验,结果表明,该方法明显优于基线模型。

深度神经网络在实际应用中的局限性日益凸显,具备生物可解释性的类脑计算脉冲神经网络成为了人们研究的热点课题。应用场景的不确定性及复杂多样性给研究者提出了新的挑战,要求类似生物大脑组织具备多尺度架构的类脑计算脉冲神经网络,能够实现对多模态、不确定性信息的感知决策功能。文中主要介绍了多尺度生物合理性的类脑计算脉冲神经网络模型及其面向多模态信息表征和不确定信息感知的学习算法,并分析探讨了基于忆阻器互联的脉冲神经网络可实现多尺度架构类脑计算的两个关键技术问题,即多模态、不确定信息与脉冲时序表示一致性问题和多尺度脉冲神经网络学习算法与容错计算问题。最后,对类脑计算脉冲神经网络的研究方向进行了分析与展望。

目标检测(Object Detection)是计算机视觉中最为热门的方向之一,在军事、医疗等重要领域都有广泛运用。然而,大多数目标检测模型都只能对可见物体进行识别,日常生活中的图片往往存在被遮挡(不可见)的目标物体,现有目标检测模型对图片中的被遮挡目标难以表现出较理想的检测性能。为此,文中提出了一种基于图库先验知识图谱的多代理协作式图片被遮挡目标类别推理模型(IMG-KGR-MAC)。具体而言,1)IMG-KGR-MAC根据给定图库中所有图片的可见目标及其之间的位置关系构建全局先验知识图谱;同时,根据图片自身所含目标及其位置关系,为各图片分别建立图片知识图谱;各图片内被遮挡目标的信息均不计入全局先验知识图谱和图片自身知识图谱;2)采用DDPG(Deep Deterministic Policy Gradient)深度强化学习思想,构建两个相互协作的代理;代理1根据当前图片语义信息从全局先验知识图谱挑选出与被遮挡目标最为适配的“类别标签”,将其作为新实体节点加入到给定图片自身的知识图谱中;代理2根据代理1新加入的实体,从全局先验知识图谱中进一步挑选〈实体,关系〉,扩展与新实体节点相关联的图谱结构;3)代理1与代理2通过共享任务环境和在奖励值上建立通信,相互协作地按“图片被遮挡目标(实体)→关联图谱结构”以及“关联图谱结构→图片被遮挡目标(实体)”原理,开展正向与反向推理,从而有效估计出给定图片被遮挡目标最为可能的类别标签。实验结果表明,与现有相关方法相比,所提出的IMG-KGR-MAC模型可以学习到给定图片被遮挡目标与全局先验知识图谱之间的语义关系,有效克服了现有模型对被遮挡目标难以检测的弊端,对于被遮挡目标有良好的推理能力,在MR(Mean Rank)以及mAP(Mean Average Precision)等多项指标上都有超过20%的提升。

策略蒸馏是一种将知识从一个策略转移到另一个策略的方法,在具有挑战性的强化学习任务中获得了巨大的成功。典型的策略蒸馏方法采用的是师生策略模型,即知识从拥有优秀经验数据的教师策略迁移到学生策略。获得一个教师策略需要耗费大量的计算资源,因此双策略蒸馏框架(Dual Policy Distillation,DPD)被提出,其不再依赖于教师策略,而是维护两个学生策略互相进行知识迁移。然而,若其中一个学生策略无法通过自我学习超越另一个学生策略,或者两个学生策略在蒸馏后趋于一致,则结合DPD的深度强化学习算法会退化为单一策略的梯度优化方法。针对上述问题,给出了学生策略之间相似度的概念,并提出了基于相似度约束的双策略蒸馏框架(Similarity Constrained Dual Policy Distillation,SCDPD)。该框架在知识迁移的过程中,动态地调整两个学生策略间的相似度,从理论上证明了其能够有效提升学生策略的探索性以及算法的稳定性。实验结果表明,将SCDPD与经典的异策略和同策略深度强化学习算法结合的SCDPD-SAC算法和SCDPD-PPO算法,在多个连续控制任务上,相比经典算法具有更好的性能表现。

现有的深度强化学习算法在处理稀疏奖励问题时常常会导致探索困难的问题,其往往只依赖于预先设计好的环境奖励,从而难以取得较好的效果。在这种场景中,需要更加细致地设计奖励,对智能体的探索状态做出更精准的判断并反馈。异步优势表演者评论家算法(Asynchronous Advantage Actor-Critic,A3C)通过并行训练来提升训练效率,提升了原有算法的训练速度,但是对于奖励稀疏的环境,其不能很好地解决探索困难的问题。针对A3C算法在稀疏奖励环境中探索效果不佳的问题,提出了一种基于探索轨迹自动感知的A3C算法(Exploration Trajectory Perception A3C,ETP-A3C)。该算法在训练中探索困难时能够感知智能体的探索轨迹,进一步判断并决策智能体的探索方向,帮助智能体尽快走出探索困境。为了验证ETP-A3C算法的有效性,将其与基线算法在超级马里奥兄弟中的5个不同环境中进行了对比实验,结果表明,所提算法在学习速度和模型稳定性上均有较明显的提升。