电商平台上用户的购物行为研究对于电商企业来说具有重要的商业应用价值。文中针对购物者在同一电商平台上的再次消费行为的预测问题进行了研究。首先,针对用户与商家的行为和交易记录,基于特征工程方法设计了多种不同的行为预测特征,基于可视化等方法对比分析了预测特征的重要性和特点,进行了属性筛选;然后,基于提出的预测特征设计使用了多种不同算法训练预测模型。实验研究表明,多lightGBM模型的融合方法能够达到很高的再购物行为预测准确度,其AUC值能够达到0.7018,同时,基于这种方法实现的预测器只需要少数特征就能对预测结果产生很好的贡献。研究的数据来源是开源的真实大数据,研究成果具有应用和学术双重价值。

针对文本聚类过程中簇的数量无法动态改变及文本分类结果不够精确等问题,文中引入并改进了成长型分级自组织映射(Growing Hierarchical Self-Organizing Map,GHSOM)算法,以提高文本聚类的精确度,并尝试使用改进后的GHSOM算法构建民航航空法规知识地图。GHSOM算法为多层分级结构,每一层包含数个独立的成长型SOM,通过增长规模来在一定程度上更加详细地描述数据集,提高分类效果。在此基础上,以民用航空领域的各项法律、法规条文为样本资料集,结合中文分词、关键词提取、文件向量等技术手段,利用改进的GHSOM算法对文本进行聚类分析,并最终完成民航航空法规知识地图的构建。实验结果表明,所提算法具有显著的文本聚类能力,利用该算法构建的民航航空法规知识地图取得了较好的分类效果,其精确度、召回率等评价指标也获得了进一步的提升。

形式背景的属性约简是形式概念分析的重要研究内容之一。文中研究形式背景保持面向对象(属性)概念格结构的属性约简方法。通过分析相应的粒概念,提出了一种新的基于面向对象概念格和基于面向属性概念格的协调集判定定理,进而得到了新的可辨识属性集和可辨识属性矩阵,借助布尔逻辑公式转换给出了约简计算方法。提出的方法可以避免计算所有面向对象的形式概念及面向属性的所有形式概念。另外,提出了面向对象概念格和面向属性概念格的属性特征,给出了绝对必要属性、相对必要属性、绝对不必要属性的等价描述。

云环境下,大规模集群设备将产生海量时序性的告警数据,实际应用中,运维人员通常利用这些告警数据来定位、排查、修复故障和错误,维持系统的正常运行。因此,如何将海量告警数据进行有效聚类,并挖掘告警中的关键信息,必将成为“云”能否持续稳定运行的核心问题。据此,文中提出了一种基于时序性告警的新型聚类算法。算法利用设定时间窗口内两两告警之间时间差的关系,构造告警之间新的关系矩阵,再利用K-means算法对关系矩阵中的列向量进行聚类,得到告警的聚类结果。实验结果表明,该算法能充分地将海量告警信息有效聚类。

PM_2.5是衡量空气污染物浓度的核心指标。通过挖掘PM_2.5历史数据的时序特性,完成对未来PM_2.5浓度值的精确预测具有较强的学术意义和应用价值。然而,原始PM_2.5浓度值时间序列数据相关性对模型的预测精度产生了较大的影响。为了解决这个问题,文中提出一种基于补充总体经验模态分解-皮尔逊相关分析(CEEMD-Pearson)和深度长短期记忆神经网络(Long Short Term Memory,LSTM)混合模型的PM_2.5浓度预测方法。该方法利用补充总体经验模态分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD)对PM_2.5浓度历史数据进行不同频率的分解,增强数据中体现的时序特性。然后通过Pearson相关性检验方法对分解后的不同频率子波(IMFs)进行筛选,将筛选后的增强数据输入到多隐含层的深度LSTM网络的输入层进行训练并预测。实验数据表明,CEEMD-LSTM混合模型的预测精度为80%,但是该模型在训练次数为7000次左右才收敛;而经过Pearson二次筛选后的模型在训练800次左右就已经收敛,并且精度提升到87%;CEEMD-Pearson与深度LSTM神经网络混合模型的训练效果最优,在训练650次左右就已经收敛,并且预测精度达到了90%。实验结果说明,CEEMD模态分解方法可以展现出历史数据中的隐藏时序特性,结合Pearson相关性分析进行的二次筛选可有效地提升模型训练的收敛速度和预测精度。因此,基于CEEMD-Pearson和深度LSTM的混合模型可以获得最佳的训练效果、最快的收敛速度以及最精准的预测结果,可以有效解决PM_2.5浓度预测问题。

随着互联网的发展和云计算技术的广泛应用,许多数据存储在不同的服务器上,分布式数据挖掘技术应运而生。智能agent在各自的站点上得到部分挖掘结果,分布式数据挖掘可以将这些部分的挖掘结果聚合成为全局的结果。文中主要处理的是分布式数据挖掘过程中的分类问题,针对一些特征的数据分别存储于不同的数据源上,提出了一种基于判断聚合模型的分类算法。该算法中每一个agent要对一个案例属于某一个目标类的可能性进行判断,然后利用判断聚合模型将这些agent的判断进行聚合,形成全局的分类结果。基于判断聚合模型的分类算法将逻辑和社会选择理论的技术应用于解决分布式数据挖掘的分类问题,这种新的算法不需要大规模地传输和转化数据,节省了传输成本,提高了分类效率,同时有效地保护了数据的安全性。

选择性聚类集成是选择一部分精度高、差异性大的基聚类结果进行集成,从而得到更为有效的聚类集成结果。然而,聚类结果的准确性难以客观度量。为此,文中提出了一种基于Xie-Beni指数的选择性聚类集成算法,该算法采用Xie-Beni指数来度量基聚类结果的有效性,利用并结合NMI(互信息)选择出精度较高的基聚类结果,从而提升聚类结果的准确性。实验结果证实了该算法的有效性。

多目标优化算法在复杂网络社区发现中具有很强的竞争力,然而,在处理社区结构较为模糊、网络数据规模大的问题时难以得到满意的效果。为克服现有多目标方法的不足,提出一种基于谱聚类的多目标复杂网络社区发现算法。该算法先用谱聚类对编码后的复杂网络进行初始种群划分,利用子图聚类特性生成高质量的初始种群。采用一种网格约简的数据归减方法在进化过程中对种群进行约减,有效降低算法复杂度,以满足大规模网络社区发现需求。在仿真网络和9个真实网络上的实验结果表明,该算法在社区发现精度性能和计算复杂度方面,都要优于MRMOEA,RMOEA,MCMOEA 3种代表性的基于多目标的社区发现算法。

如何准确地进行股票预测一直是量化金融领域的重要问题。长短期记忆细胞神经网络(LSTM)的出现较好地解决了股票预测这类的复杂序列化数据学习的问题。然而前期研究结果表明单一使用该方法仍存在预测不平衡、陷入局部极值导致能力不佳的问题。基于上述问题,文中利用将遗传算法(GA)解决调参问题来保证模型预测的平衡性,由此构建了新型股票预测模型。该模型分为三部分,首先利用LSTM网络进行收盘价的预测,再利用基于遗传算法的判别机制,最终获取下一刻股票的涨跌信号。这一模型不同于先前的研究,主要针对LSTM模型的输出模块进行了改进。文中使用了中证500的日内分钟数据进行测试验证。实验得出,改进模型的各方面指标均优于单独的LSTM模型。

HBase是一个分布式数据库管理系统,对于需要快速随机访问大量数据的应用程序,它正变得越来越流行。但是,它有许多性能关键配置参数,这些参数之间可能会以复杂的方式相互影响,这使得手动调整它们以获得最佳性能变得极其困难。文中提出了一种新的方法来自动调优给定HBase应用程序的配置参数,称为自动调优HBase 。其关键是建立一个以配置参数为输入的低成本性能模型。为此,系统地研究了不同的建模技术,并决定采用集成学习算法来构建性能模型。随后,利用遗传算法通过性能模型为应用程序搜索最优配置参数。因此,它可以快速且自动地识别一组配置参数值,以使应用程序的性能达到最佳。实验测试了Yahoo!云服务基准的5个应用程序,结果表明,与默认配置相比,优化后的吞吐量平均提高41%,最高可达97%。与此同时,HBase操作的延迟平均降低了11.3%,最高可达57%。

LSPE(Locality and Similarity Preserving Embedding)特征选择算法首先基于KNN定义图结构来保持数据的局部性,再基于定义图学习数据的低维重构系数来保持数据的局部性和相似性。两个步骤独立进行,缺乏交互。由于近邻个数是人为定义的,使得学习到的图结构不具备自适应的近邻,不是最优的,进而影响算法性能。为优化LSPE算法的性能,提出改进的局部和相似性保持特征选择算法,将图学习与稀疏重构、特征选择并入同一个框架,使得图学习和稀疏编码同时进行,其要求编码过程是稀疏的,自适应近邻的和非负的。所提算法旨在寻找一个能保持数据的局部性和相似性的投影,并对投影矩阵施加l_2,1范数,进而选择能够保持局部性和相似性的相关特征。实验结果表明,改进后的算法减少了主观人为影响,消除了选择特征的不稳定性,对数据噪声鲁棒性更强,提高了图像分类的准确率。

准确预测未来人口数量,对制定相关经济政策具有现实意义。文中针对人口中长期预测影响因素较复杂、可用历史数据较少、单一模型局限性等特点,构建了灰色预测和支持向量机的组合预测模型。该模型将灰色预测模型和支持向量机模型进行组合,利用标准差法确定模型的权值信息,将模型应用于一师阿拉尔市人口的中长期预测,选取一师阿拉尔市1997－2017年的人口数据进行分析,对2018－2022年的数据进行预测。结果表明:与单一模型相比较,组合模型预测精度更高,相对误差低,且预测结果比较稳定,结果更符合实际。

基于规则的分类算法具有分类性能好、可解释性强的优点,得到了广泛的应用。然而已有的基于规则的分类算法没有考虑不均衡数据的情况,从而影响了其对不均衡数据的分类效果。文中提出了一种新的不均衡关联分类算法ACI。首先生成所有的关联规则,然后使用不均衡规则裁剪方法进行规则裁剪。最后,将剩余规则存储到CR树中,用于新实例的分类。在27个公开数据集上的实验结果表明,提出的不均衡关联分类算法在不均衡数据集上比基准算法的分类效果更好。

现有的一些算法引入了隐语义模型克服数据稀缺带来的问题,为用户提供更有效的推荐。一般情况下,这些方法通过线性组合若干多项式,引入相应参数平衡各个部分比重,以构造优化函数,最终达到最小评分误差或实现最大的偏好等目的。经典模型通常只考虑用户对某一产品的预测评分和实际评分差异(即,一阶评分距离),忽略了其在不同产品上的预测评分与实际评分之间的差值 (即,二阶评分距离)。因此,高阶评分距离模型同时将两种距离集成到算法之中,并使用随机梯度下降法求解目标函数。可是,上述优化函数中的相关参数往往是手动设置,而且随机梯度下降法求解目标函数的收敛速度较慢,使得该模型缺乏灵活性,也增加了时间消耗。为了提高模型的适应性和效率,文中提出了一种融合归一化函数的自适应高阶评价距离模型,并利用牛顿法求解改进后的高阶评分距离凸优化函数。此方法不仅移除了若干静态参数,而且加快了优化函数的收敛速度。提出的模型具有坚实的理论支持,经过3个实际数据集的实验结果表明,此模型具有较好的预测精度和运行效率。

自然水体成像中湍流及悬浮颗粒等环境因素会造成水下采集的图像存在扭曲失真、分辨率低、背景模糊等问题,为了解决上述问题并进一步提高图像重建和复原的质量,提出了一种改进的基于残差网络的图像超分辨率重建方法,该方法将网络中的残差密集块和自适应机制进行融合,有效解决深度学习网络中经常遇到的梯度爆炸问题,同时能够抑制无用信息的学习,充分利用重要特征信息。为了使网络适应水下噪声环境,通过自建水下系统对目标板分别在清水中和浑浊微湍流水域中进行采集并对其进行图像配对生成训练对,并在河流和海洋水域下采集图像生成测试集。实验结果表明,在微湍流的海洋水域和河流水域中,较传统的水下图像处理和神经网络算法,使用改进的残差网络算法能够很好地对水下图像进行重建,重建图像的边缘信息得到了极大的保留,图像的重建效果更好。

面对当前庞大的智慧交通数据量,收集并统计处理是必要且重要的过程,但无法避免的数据缺失问题是目前的研究重点。文中针对车辆交通数据缺失问题提出一种基于张量的车辆交通数据缺失估计新方法:集成贝叶斯张量分解(Integrated Bayesian Tensor Decomposition,IBTD)。该算法在数据模型构建阶段,利用随机采样原理,将缺失数据随机抽取生成数据子集,并用优化后的贝叶斯张量分解算法进行插补。引入集成思想,将多个插补后的误差结果进行分析排序,考虑时空复杂度,择优平均得到最优结果。通过平均绝对百分比误差之后(Mean Absolute Percentage Error,MAPE)和均方根误差(Root Mean Square Error,RMSE)对提出模型的性能进行评估。实验结果表明,所提新方法能够有效地对不同缺失量的交通数据集进行插补,并能得到很好的插补结果。

经济新常态下保费收入预测是学术界和业界共同关注的话题。考虑到保费收入时间序列数据具有强烈的季节性特点,文中构建基于长短期记忆(Long Short-Term Memory,LSTM)神经网络的X12-LSTM模型以预测保费收入,并与简单LSTM模型、SARIMA模型和BP神经网络进行对比。实验结果表明,X12-LSTM模型对保费收入的预测最准确且稳定度最好。相比简单LSTM模型,X12-LSTM模型在准确度方面提升8%,在稳定度方面提升8%,说明X12-LSTM模型是对简单LSTM模型的有效改进,更适用于具有季节性特征的数据预测。

传统方法对农产品进行细粒度划分,确定影响分类效果的关键因素,但忽略了农产品的质量特征。对农产品的质量进行科学的分类,能够更好地反映农产品在质量方面的变化,还可以显著提升农产品后续的处理效率。从农产品的质量特征出发,将农产品进行分类,对不同类别的农产品按照不同的方法进行处理,以在保证农产品质量的同时提高农产品的附加值。分类方法与模型参数的选取对于农产品质量分类的准确度尤为重要。传统支持向量机SVM对模型参数的选择具有盲目性,为提高分类的准确度,文中提出一和中将因子分析(Factor Analsysi,FA)与基于遗传算法改进的支持向量机(Genetic Algorithm-Support Vector Machine,GA-SVM)结合的分类模型。实验结果表明,改进后的SVM能够快速、有效地判别农产品质量类别,显著改善农产品质量的分类精度,评估过程较为简单,可广泛应用于农产品质量的评估。

当前互联网发展日益强大,农产品电商市场的竞争愈演愈烈,用户无法从众多的产品信息中找到适合自身的产品,传统的协同过滤算法只关注用户评分,并不能及时反映用户的兴趣变化。针对这一问题,文中主要考虑通过用户行为及用户访问时间和频率,提出基于改进权值的用户兴趣推荐算法(Weight-based User Interest-Collaborative Filtering,WUI-CF)。实验结果表明,所提算法相比于传统推荐算法能更好地挖掘用户兴趣,适应用户的兴趣变化,提高推荐的精确度,能够更好地解决用户面临众多农产品信息无从挑选的问题,提高了用户的满意度。

文中在覆盖近似空间中,提出核的概念,研究核的存在性与唯一性以及覆盖块、邻域和核之间的关系;基于核和约简,提出协调覆盖的概念,揭示约简、核和协调覆盖之间的关联;最后,给出覆盖产生的邻域族等于覆盖本身的充要条件。

针对中国传统的手游产业发展存在主题识别不精准,缺乏利用数据挖掘和可视化分析方法等问题,文中提出了一种基于文本挖掘和决策树(Desision Tree)分析的中国手游产业发展研究方法,从多方面分析了影响手游收入和热度的因素,从多个角度评估了手游产业的特性,研究其收入与可视化程度、游戏类型、文化背景和国际化指标的关系。文中采用Python语言进行了详细的实验,分析了开发厂商和所在地科技创新指数的关系,挖掘出智能化推荐热度和耐玩度较高的手游。实验结果表明,该算法具有一定的理论意义和研究价值,可以应用于手游市场分析、新游评测和手游推荐等领域,同时能优化中国手游产业市场,为手游市场的发展提供助力。

粮食在农产品中扮演着举足轻重的地位,粮食产量一定程度决定了国家粮食供给能力及温饱安全水平,因此对粮食产量进行精准预测的研究具有重要的价值。鉴于粮食产量受多种复杂因素的影响具有极强的波动性和随机性,为提高粮食产量预测的准确性,针对我国粮食产量的特点,文中提出一种基于灰色模型与马尔可夫模型相融合的模型,用马尔可夫模型对灰色模型的预测值进行修正以达到对粮食产量进行周期性预测。通过选取我国2009年至2018年的粮食年产量数据(数据来源:国家数据统计局)进行分析研究。所提方法首先利用灰色模型对产量进行预测,计算预测误差,通过对误差序列利用灰色建模修正产量预测数据;其次,根据粮食年产量预测精度,将粮食年产量数据划分成若干状态,进而可求出各阶状态转移概率和状态转移概率矩阵;最后,通过建立新陈代谢后的灰色模型对粮食年产量进行预测得到预测结果,利用马尔可夫模型对预测结果进行残差值进行修正以达到提高粮食产量预测值精度。仿真实验分别将单一灰色模型和灰色马尔可夫模型的预测精度进行比较。结果表明,灰色模型预测值在2009－2013 年的年产量预测中误差小于 1.00%,但随着年份的增加,由于粮食年产量间的相互影响导致预测精度变差,2014－2018年的年产量预测误差均高于1.00%;灰色-马尔可夫模型年产量预测误差均小于0.30%,平均误差为 0.12%,相较于传统灰色模型及马尔可夫模型,其预测的准确率大幅度提高。

用户评分数据的稀疏性和上下文的信息缺失,往往导致基于矩阵分解(Matrix Factorization,MF)的推荐算法在准确性方面有所欠缺。针对此问题,文中提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)与约束概率矩阵分解(Constrained Probabilistic Matrix Factorization,CPMF)的推荐算法。首先,构建卷积神经网络模型,对用户上下文辅助信息进行识别,获得文本潜在向量,并叠加高斯噪声,初始化项目特征矩阵;然后,根据用户评分信息,利用约束矩阵来约束用户特征,并叠加补偿矩阵,初始化用户特征矩阵;接着,利用初始化的用户特征矩阵和项目特征矩阵拟合评分矩阵,对评分矩阵进行矩阵分解,并利用坐标下降算法更新参数;最后,预测用户对项目的评分,实现项目推荐。在Movielens和Amazon数据集上的实验结果表明,该推荐算法显著优于传统的推荐模型,有效地提高了推荐结果的准确率。