贝叶斯推理是统计学中的主要问题之一,旨在根据观测数据更新概率分布模型的先验知识。对于真实情况下常遇到的无法观测或难以直接计算的后验概率,贝叶斯推理可以对其进行近似,它是一种以贝叶斯定理为基础的重要方法。在许多机器学习问题中都涉及对包含各类特征数据的真实分布进行模拟和近似的过程,如分类模型、主题建模和数据挖掘等,因此贝叶斯推理在当今机器学习领域里具有重要而独特的研究价值。随着大数据时代的开始,研究者经由实际信息采集到海量的实验数据,导致需要模拟和计算的目标分布也非常复杂,如何在复杂数据下对目标分布进行结果精确和时间高效的近似推理,成为了当今贝叶斯推理问题的重难点。针对这一复杂分布模型下的推理问题,文中对近年来解决贝叶斯推理问题的两大主要方法——变分推理和采样方法,进行系统性地介绍和综述。首先,给出变分推理的问题定义与理论知识,详细介绍以坐标上升为基础的变分推理算法,并给出这一方法的已有应用与未来展望。然后,对国内外现有的采样方法的研究成果进行综述,给出各类主要采样方法的具体算法流程,并总结和对比这些方法的特性与优缺点。最后,引入并行回火技术,对其基本理论和方法进行概述,探讨并行回火与采样方法的结合与应用,为未来贝叶斯推理问题的发展探讨了新的研究方向。

在线编程评测系统 (Online Judge,OJ)是一种被广泛应用于计算机编程教学与竞赛的代码测评系统。用户在规模庞大的题库中寻找适合当前学习阶段的题目时,往往会感到迷茫。如何为用户推荐合适的题目和规划学习路径,是在线编程测评系统研发中的一个重要研究课题。传统推荐算法存在可解释性和准确性难以兼顾的问题。文中提出了基于知识图谱与协同过滤混合策略的在线评测系统推荐模型(A Hybrid Programming Task Recommendation Model Based on Knowledge Graph and Collaborative Filtering,HKGCF)。该模型通过推荐与用户当前知识和技能掌握程度相匹配的题目,来帮助用户提升学习效果。文中设计和实现了该模型,并将其集成到了北京航空航天大学在线编程测评系统中,以适应OJ平台特有的交互形式。线上测试和离线测试实验的结果表明,提出的HKGCF模型在准确率和可解释性方面均优于典型传统算法。

互联网技术的发展使得信息过载问题日趋严重,为了解决传统推荐技术的数据稀疏和冷启动问题,社会推荐逐渐成为近年来的研究热点。图神经网络(GNNs)作为一种能够自然整合节点信息和拓扑结构的网络,为改进社会推荐提供了巨大的潜力。但基于图神经网络的社会推荐还存在许多挑战,例如,如何从用户项目交互图和社交网络图中学习准确的用户和项目的潜在因子表示;简单映射用户和项目的固有属性来获取嵌入,但用户项目交互的关键协作信号未被学习。为了学习更准确的潜在因子表示,捕获关键的协作信号,提升推荐系统的性能,提出了基于图注意力的神经协同过滤社会推荐模型(AGNN-SR)。该模型基于用户项目交互图和社交网络图,通过多头注意力机制多角度地学习用户和项目的潜在因子;此外,图神经网络利用高阶连通性递归地在图上传播嵌入信息,显式编码协作信号,探索用户和项目之间的深层复杂的交互关系。最后,在3个真实数据集上验证了AGNN-SR模型的有效性。

大数据时代,随着多源异构数据的爆炸式增长,多模态数据融合问题备受研究者的关注,其中视觉问答因需要图文协同处理而成为当前多模态数据融合研究的热点。视觉问答任务主要是对图像和文本两类模态数据进行特征关联与融合表示,最后进行推理学习给出结论。传统的视觉问答模型在特征融合时容易缺失模态关键信息,且大多数方法停留在数据之间浅层的特征关联表示学习,较少考虑深层的语义特征融合。针对上述问题,提出了一种基于图文特征跨模态深度交互的视觉问答模型。该模型利用卷积神经网络和长短时记忆网络分别获取图像和文本两种模态数据特征,然后利用元注意力单元组合建立的新型深度注意力学习网络,实现图文模态内部与模态之间的注意力特征交互式学习,最后对学习特征进行多模态融合表示并进行推理预测输出。在VQA-v2.0数据集上进行了模型实验和测试,结果表明,与基线模型相比,所提模型的性能有明显提升。

准确的飞行航迹预测可以帮助空中交通管理系统对潜在的危险提出预警,并有效地为安全出行提供指导。飞机飞行所处的大气情况复杂多变,飞行航迹受大气扰动、空中云层等外部因素的影响很大,使得飞行航迹预测问题十分复杂和困难。另外,由于某些飞行区域所在的地面环境恶劣,无法部署足够的信号基站,而某些飞行区域的飞行信号由多个信号基站采集组合而成,造成最终得到的飞行航迹数据存在稀疏和含噪等问题,进一步增加了飞行航迹预测的难度。文中提出了一种基于数据增强的自监督飞行航迹学习方法。此方法采用基于正则化的数据增强方式,扩充了稀疏的航迹数据集并处理了数据中包含的异常值,利用最大化互信息的方式进行自监督预训练,以挖掘飞行航迹中蕴含的运动模式和航行意图,采用一种带有蒸馏机制的多头自注意力模型作为基础模型,解除了循环神经网络长期依赖和无法并行计算的限制,并利用注意力蒸馏机制和生成式解码方式降低了模型的复杂度,加快了其训练和预测的速度。在飞行航迹数据集上的评测结果显示,此方法较目前预测表现最优秀的方法在纬度、经度和高度上的预测结果的均方根误差各减少了20.8%,26.4%和25.6%,极大地提高了预测准确性。

多核学习(Multiple Kernel Learning,MKL)的目标是寻找一个最优的一致性核函数。在层次化多核聚类算法(HMKC)中,通过从高维空间中对样本特征进行逐层提取的方式来实现最大化地保留有效信息,但是却忽略了层与层之间的信息交互。该模型中只有相邻层中对应的结点会进行信息交互,对于其他结点来说是孤立的,而采用全连接的方式又会削弱最终一致性矩阵的多样性。因此,文中提出了一种基于稀疏连接的层次化多核K-Means算法(Sparse Connectivity Hierarchical Multiple Kernel K-Means,SCHMKKM)。该算法通过稀疏率来控制分配矩阵以达到稀疏连接的效果,从而将层与层之间信息蒸馏得到的特征进行局部融合。最后,在多个数据集上进行聚类分析,并在实验中与全连接的层次化多核K-Means算法(FCHMKKM)进行实验对比,证明了具有更多差异性的信息融合有利于学习更好的一致性划分矩阵,并且稀疏连接的融合策略优于全连接的策略。

与基于全局特征的时间序列分类方法相比,基于shapelets的分类方法在可解释性和分类速度方面更具优势。针对现有的优化模型学习到的shapelets判别力不足以及shapelets候选数量太多等问题,提出了基于优化和两阶段筛选的时间序列shapelets提取算法。首先对时间序列取样,结合极值点和序列趋势对取样的时间序列进行分组,根据分组结果对稀疏组Lasso正则器的每项赋予权重,并在加权稀疏组Lasso的每一组中都使用融合罚正则项来保证解的相邻位置平坦变化,将多项稀疏正则项作为正则器与局部线性判别分析相结合来构建目标函数。然后,建立一个两阶段的筛选框架来度量组的稀疏性,从而快速地找到对分类起决定性作用的关键组。最后仅使用一组关键组来提取shapelets用于时间序列的分类,缩小了shapelets的规模。在28个时间序列数据集上进行了大量实验,实验结果表明,与现有的基于shapelets的提取方法相比,所提方法不仅能显著提高分类精度,具有较高的时间效率,而且能够在一定程度上缩小shapelets的规模。

最近,算法的公平性问题引起了机器学习领域学者的广泛讨论。鉴于谱聚类在现代数据科学中的广泛流行,研究谱聚类的算法公平性是一个至关重要的话题。现有的公平谱聚类算法主要存在两个缺点:1)公平性能差;2)仅在单个敏感属性下工作。文中将公平问题视为一种约束谱聚类问题,通过求解约束谱聚类的可行解集,提出了一种非规范化公平谱聚类方法(Unnormalized Fair Spectral Clustering,UFSC),用于提升公平性能。此外,文中还提出了一种适用于多个敏感属性约束的公平聚类算法(Multi-sensitive Attributes Fair Spectral Clustering,MFSC)。在多个真实数据集上进行了实验,结果表明,UFSC和MFSC算法比现有的公平谱聚类算法生成的聚类结果更加公平。

利用多重约简的结果搭建一个集成分类框架,已被证实可以显著提升后续学习的性能。超约简方法正是借鉴了这一理念,在约简求解的基础上,通过随机添加额外属性以达到获取多重超约简的目的。显然,基本的约简求解将直接影响超约简方法的效果。鉴于此,从兼顾效率和性能的角度出发,在超约简方法中同时引入属性簇和集成选择机制:属性簇用于加速基本约简的求解过程,集成选择则用于在求解过程中找到更为稳健的属性。在20组UCI数据上的实验结果表明,相比4种前沿的集成策略,所提方法不仅能够显著减少约简求解的时间消耗,而且能够提供更好的分类稳定性和准确率。

粗糙集理论是一种处理不确定性问题的数学工具。近似算子是粗糙集理论中的核心概念,基于等价关系的Pawlak近似算子可以推广为基于一般二元关系的广义粗糙近似算子。近似算子的拓扑结构是粗糙集理论的重点研究方向。文中主要研究基于对象的广义粗糙近似算子诱导拓扑的性质,证明了广义近似空间中所有可定义集形成拓扑的充分条件也是其必要条件,研究了该拓扑的正则、正规性等拓扑性质;给出了串行二元关系与其传递闭包可以生成相同拓扑的等价条件;讨论了该拓扑与任意二元关系下基于对象的广义粗糙近似算子所诱导拓扑之间的相互关系。

研究增强子-启动子相互作用机理有助于人们理解基因调控关系,进而揭示与疾病相关的基因,为疾病诊疗提供新思路和新方法。传统的生物检测方法的实验成本高、耗时长,且受分辨率的限制,难以精确鉴定单个增强子-启动子的相互作用。通过计算方法来解决生物问题已成为近年来的研究热点,此类方法可以通过复杂的网络结构主动学习序列特征和空间结构,进而准确预测增强子-启动子的作用。首先介绍了传统生物实验检测方法的研究现状;然后从序列特征的角度出发,围绕多特征融合的基本思想,对统计学和深度学习方法在增强子-启动子相互作用预测上的应用进行归纳整理;最后对该领域的研究热点和挑战进行总结分析。

随着互联网和社会的发展,各个领域每天都会产生大量相互关联、彼此依赖的数据,这些数据根据不同的主题形成了各种复杂网络。挖掘社区结构是复杂网络领域中的一项重要研究内容,因为其在推荐系统、行为预测和信息传播等方面具有极其重要的意义。社区结构中的重叠社区结构在生活中普遍存在,更具有实际研究意义。为有效发现复杂网络中的重叠社区,文中引入了粗糙集理论对社区进行分析,识别出重叠节点,进而提出了一种基于粗糙集和密度峰值的重叠社区发现方法OCDRD(Overlapping Community Detection Algorithm Based on Rough Sets and Density Peaks)。该方法在传统网络节点局部相似性度量的基础上,结合灰色关联分析方法求出网络节点间的全局相似性,进而将其转化为节点间距离。将密度峰值聚类算法的思想应用于该算法中,以根据网络结构自动选取社区中心节点。依据网络中节点的距离比例关系,定义了社区的上近似、下近似以及边界域。最后,不断调整距离比率阈值并进行划分迭代,在每次迭代中针对社区的边界域进行计算,从而获得最佳重叠社区划分结构。在LFR基准人工网络数据集和真实网络数据集上,基于标准互信息(Normalized Mutual Information,NMI)和具有重叠性模块度EQ这两个评价指标,将OCDRD方法与近几年效果较好的其他社区发现算法进行测试比较。实验结果显示,OCDRD方法在社区划分结构方面整体优于其他社区发现算法,表明了该算法的可行性和有效性。

股票市场的情绪可以在一定程度上反映投资者的行为并影响其投资决策。市场新闻作为一种非结构性数据,能够体现并引导市场的大环境情绪,与股票价格一同成为至关重要的市场参考数据,能够为投资者的投资决策提供有效帮助。文中提出了一种可以准确、快速地建立针对海量新闻数据的多维情绪特征向量化方法,利用支持向量机(Support Victor Machine,SVM)模型来预测金融新闻对股票市场的影响,并通过bootstrap来减轻过拟合问题。在沪深股指上进行实验的结果表明,相比于传统模型,所提方法能够将预测准确度提高约8%,并在3个月的回测实验中获得了6.52%的超额收益,证明了其有效性。

随着城市化进程的加快,我国城市机动车数量快速增加,使得现有路网容量难以满足交通运输需求,交通拥堵、环境污染、交通事故等问题与日俱增。准确高效的交通流预测作为智能交通系统的核心,能够有效解决交通出行和管理方面的问题。现有的短时交通流预测研究往往基于浅层的模型方法,不能充分反映交通流特性。文中针对复杂的交通网络结构,提出了一种基于DCGRU-RF(Diffusion Convolutional Gated Recurrent Unit-Random Forest)模型的短时交通流预测方法。首先,使用DCGRU(Diffusion Convolutional Gated Recurrent Unit)网络刻画交通流时间序列数据中的时空相关性特征;在获取数据中的依赖关系和潜在特征后,选择RF(Random Forest)模型作为预测器,以抽取的特征为基础构建非线性预测模型,得出最终的预测结果。实验以两条城市道路中的38个检测器为实验对象,选取了5周工作日的交通流数据,并将所提方法与其他常见交通流量预测模型进行比较。结果表明,DCGRU-RF模型能够进一步提高预测精度,准确度可达95%。

传统单标签挖掘技术研究中,每个样本只属于一个标签且标签之间两两互斥。而在多标签学习问题中,一个样本可能对应多个标签,并且各标签之间往往具有关联性。目前,标签间关联性研究逐渐成为多标签学习研究的热门问题。首先为适应大数据环境,对传统关联规则挖掘算法Apriori进行并行化改进,提出基于Hadoop的并行化算法Apriori_ING,实现各节点独立完成候选项集的生成、剪枝与支持数统计,充分发挥并行化的优势;通过Apriori_ING算法得到的频繁项集和关联规则生成标签集合,提出基于推理机的标签集合生成算法IETG。然后,将标签集合应用到多标签学习中,提出多标签学习算法FreLP。FreLP利用关联规则生成标签集合,将原始标签集分解为多个子集,再使用LP算法训练分类器。通过实验将FreLP与现有的多标签学习算法进行对比,结果表明在不同评价指标下所提算法可以取得更好的结果。

链路预测技术是分析网络演化的有效方法,也为社会网络事件检测提供了一种新思路。当前采用链路预测进行事件检测的方法大多是从宏观的网络演化入手,也有少数结合节点演化的检测方法,但其稳定性不佳,对事件的敏感性也不够高,不能准确检测事件的发生。基于以上问题,提出了一种基于节点演化分阶段优化的事件检测方法(Node Evolution Staged Optimization,NESO_ED)。首先通过分阶段优化的方法加强事件检测的稳定性,并获取节点指标权重数组;然后根据不同阶段按不同规则选取节点的最佳相似性计算指标,使节点能更好地量化网络演化情况,以此提高事件检测的敏感性。此外,分析了网络演化过程中节点选取指标的变化情况,揭示了事件发生对节点演化产生的不同影响。基于真实社会网络VAST进行对比实验,结果显示NESO_ED方法在事件检测敏感性上比LinkEvent方法提高了227%,比NodeED方法提高了63%,NESO_ED方法的稳定性也比NodeED方法提高了66%,这表明NESO_ED方法能更加准确且稳定地进行事件检测。

不平衡数据分类是一种重要的数据分类问题。对于不平衡数据中规模较小的类,传统的分类算法的分类效果较差。对此,提出一种多类邻域三支决策模型的不平衡数据分类算法。首先,将传统的三支决策在混合数据和多个类的情形下进行推广,提出了混合数据的多类邻域三支决策模型;然后,在该模型中给出一种自适应代价函数的设定方法,并基于该方法提出了多类邻域三支决策模型的不平衡数据分类算法。仿真实验的结果表明,所提出的分类算法对于不平衡数据具有更好的分类性能。