城市区域人口流量的准确预测可以为交通监管和市民出行提供有效的决策支持。城市各区域人口流量同时具有时间维度上的变化规律和空间维度上的相关性,这给流量的精准预测带来了极大的挑战。文中提出了一种基于注意力机制的时空循环卷积网络(ASTRCNs)模型,可以全面地对影响区域人口流量的多种因素进行统一建模。ASTRCNs共包含3个组件,分别用于描述人口流量的短时依赖关系、日周期规律、周周期规律。在真实的北京市人口流量数据集上进行了实验,结果表明ASTRCNs模型的预测效果优于传统的时间序列预测模型以及其他现有的基于深度学习的人口流量预测模型。

电力计量设备的故障风险预测可以减少国家电网因为故障风险带来的损失。文中首先进行了数据的预处理和特征选取;其次,设计了基于GBDT的故障大类、故障小类以及设备寿命周期的预测;最后,对设计的模型进行了有效性和先进性的验证。实验在中国电力科研研究院提供的数据上进行。由实验结果可知,所提算法对6种故障类型的预测准确率为90.56%,查全率为92.95%,F1值为91.71%。相比回归、BP神经网络、Adaboost、决策树算法,梯度提升决策树算法在参数调优条件下的性能最优。

近年来,异构信息网络由于包含丰富的语义信息引起了众多研究者的关注。已有的研究已经证实异构信息网络中丰富的关系信息能够提高推荐效果。作为一种挖掘异构信息网络中关系信息的重要工具,元路径已经被广泛地应用到许多算法中,然而元路径受到线性结构的限制,不能表示更加复杂的关系信息。为了解决这一问题,文中提出了一种新的推荐系统算法,即MetaStruct-CF。该算法利用元结构来挖掘异构信息网络中丰富的关系信息。不同于现有的一些算法,该算法结合了多种信息,以有效地利用异构信息网络中丰富的信息。 两个真实世界数据集上的大量实验表明,MetaStruct-CF能够有效地提高推荐效果。

移动互联网、物联网的快速发展产生了大量带关系属性的空间文本对象数据。面向网页文本数据的搜索引擎仅支持文本关键词查询,无法处理包含地理位置信息、文本信息、关系属性的混合数据。现有面向空间关键字的查询处理技术未将关系属性作为过滤条件,且是基于单机实现的,无法满足查询性能的要求。为解决上述问题,提出了一种新颖的将关系属性、空间和关键字3种属性映射成文本数据的Baseline算法(Baseline Algorithm of Distributed Keywords and Location-aware with Relational Attributes Query,BADKLRQ),利用分布式倒排文本索引对转换后的文本数据进行并行索引。针对带关系属性、空间和关键字的查询请求,将查询请求转换成映射空间中的多个文本关键字,对转换后的文本数据进行查询,并提出基于Baseline算法的改进算法MGDKLRQ,以改进空间属性转换成文本关键字的算法。实验结果表明,在索引时间和查询时间上,BADKLRQ算法比现有算法提升了10%~15%,MGDKLRQ算法比现有算法提升了20%~30%。

孪生支持向量机(TWSVM)目前已在众多领域取得了成功的应用,但标准TWSVM模型在处理具有分布特征的数据分类问题时鲁棒性差,尤其当数据的不确定性程度较大时,不考虑样本点分布特征的标准分类模型已不能满足分类准确率的要求。为此,文中提出了基于数据分布特征的加权线性孪生支持向量机(TWSVM-U)模型,它在TWSVM的基础上考虑数据的分布特征对分类超平面位置的影响,根据数据在分类超平面法方向的分散程度定量构造距离权重。事实上,TWSVM-U是TWSVM的推广,当训练样本数据不具有分布特征时,TWSVM-U模型将退化为标准TWSVM模型。十折交叉验证的实验结果表明,TWSVM-U模型在处理波动范围较大的不确定性数据分类问题时比SVM和TWSVM表现更优。

社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构及表字段都不一致,为了保证数据的一致性与完整性、迁移前后的数据没有漏误、不迁入脏数据来影响新系统的运行,在项目中如何在新旧系统之间进行数据迁移成为了重要课题。为了解决数据迁移的问题,文中设计了一套基于ETL工具的数据迁移流程,并通过组合和串联得到了完整的数据迁移流程线,从而实现了数据迁移,完成了新旧系统的数据对接。文中阐述了以下几个数据在迁移中出现的问题及其解决方法:1)数据流转中出现的常见错误及解决方法;2)数据类型不一致的数据迁移问题及解决方法;3)数据迁移目标数据库字段长度不一致的问题及解决方法;4)数据迁移完成后,原数据出现新变动将如何重新调整迁移测量的问题及解决方法。基于此,文中对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结。

当今在电商和社交等平台上每天会产生大量的文本数据流。快速提取文本数据流的特征并将其用于发现一些事物的趋势变化来指导企业运营十分重要,比如服装企业必须尽可能快速而又准确地感知流行信息,服装特征的流行趋势对设计生产与经营起着至关重要的作用。以线上商品的文本数据流为研究对象,结合线上的销售文本实时数据流,定义了商品的时态文本数据流特征趋势模型,然后提出了一种文本数据流特征趋势发现的实时挖掘算法。将该算法应用到服装销售的文本描述以提取流行特征应用,可以获得有效的服装流行趋势,为企业制定生产计划、选择营销策略提供了决策支持。使用电商平台的真实销售数据进行实验,结果证明:该算法提取流行特征的准确率较高、速度较快,具有重要的理论与实际意义。

线性判别分析(LDA)是机器学习和数据挖掘中一种常用的基于模型的分类方法。尽管该分类方法在许多实际应用中表现良好,但在处理高维数据时其效果却很不理想。其原因在于:当变量数目p接近或者大于样本数目n时,样本协方差矩阵不再是真实协方差矩阵的一个良好估计,导致线性判别函数值产生了较大的偏差。文中提出了一种基于随机矩阵理论的高维数据分类器正则化方法。首先,利用随机矩阵理论,分别以旋转不变估计法(当p≤n时)或者特征值截取法(当p>n时)对高维协方差矩阵进行一致估计;然后,使用估计出的高维协方差矩阵计算判别函数值。在模拟数据集和3个微阵列数据集上进行的分类实验的结果表明,所提线性判别分析方法在处理高维数据时不但适用范围更广,而且具有较高的分类正确率。

教育教学的周期性以及教学环境的变化使高校教务数据具有时序性的特点,并且高校教务数据存在较多的关联冗余,因此挖掘出高效有趣的关联规则较为困难。虽然序列模式挖掘算法能够挖掘出时序频繁项集,但其并不能消除教务数据中的关联冗余,挖掘结果的效用性以及新颖性均无法满足要求。为此,文中提出了一种基于教育领域关联冗余的FUI_DK关联规则挖掘算法。FUI_DK算法基于序列模式挖掘算法产生频繁候选项集,在经典关联规则算法的支持度、置信度的基础上增加效用度以及有趣度这两个参数来得到高效用有趣项集,并根据满足条件的关联规则的支持度、置信度、效用度对其进行排序输出,最终得到具有高效用性以及有趣性的关联规则结果。在某高校学生教务数据上进行实验对比及挖掘结果分析,实验证明该算法缩短了运算时间,领域内已知关联规则的消除率可达43%,可帮助高校进行省时有效的教育数据挖掘。

针对经济增长和社会稳定的问题,对人口进行准确预测是极其重要的。因此,文中利用山东省历年的人口总数分别构建了灰色预测模型和径向基网络模型,对1995－2014年共20年的人口总量进行仿真模拟;并且针对单一模型的局限性问题,还利用标准差法对其预测结果进行了权重的重分配,并在其基础上构建了组合模型。结果表明:相对于灰色模型和径向基网络模型而言,组合预测模型的精度较高,并对2015－2025年间的人口总量利用组合模型进行了短期预测。

智能电能表作为当前电能计量和经济结算的主要工具,它的故障率直接关系到国计民生。文中设计了基于智能电表运行故障数据分析的纵向分析模型。该模型可以对已经安装的不同厂家、不同批次的智能电表的故障率随时间的变化进行分析。首先清洗不可用数据,然后对基本的数据条目进行线性回归分析,得到每个批次的智能电表的故障率和故障率的变化率,进而再对批次故障率的变化率进行聚类分析,评估各厂家的智能电表质量的稳定性,为智能电表使用单位提供参考。该模型对智能电表的批次质量进行了评估,对厂家的智能电表质量评判起到重要的借鉴作用。

朴素贝叶斯方法简单、计算高效、精确度高,且具有坚实的理论基础,得到了广泛应用。文中针对差异性是集成学习的关键条件,提出了基于Kmeans++聚类技术来提高朴素贝叶斯分类器集成差异性的方法,从而提升了朴素贝叶斯的泛化性能。首先,通过训练样本集训练出多个朴素贝叶斯基分类器模型;然后,为了增大基分类器之间的差异性,利用Kmeans++算法对基分类器在验证集上的预测结果进行聚类;最后,从每个聚类簇中选择泛化性能最佳的基分类器进行集成学习,最终结果由简单投票法得出。利用UCI标准数据集对该方法进行验证,结果表明该方法的泛化性能得到了较大的提升。

传统的信息推送服务普遍缺少对社交用户具体情况的考虑,存在推荐信息针对性不强、系统转化率低等问题。针对上述问题,提出了一种基于用户画像的智能信息推送方法。借助智慧学习平台的用户数据,主要通过KD树来实现在KNN聚类算法中分析用户偏好和行为特征,进而将用户进行类别划分。首先,通过分析聚类中心将每一类用户抽象成高度精炼的短文本,形成具有代表性的标签;其次,根据社交用户个体的标签权重值,结合业务需求进行二次建模来构建用户画像模型,进而逐步细化模型;最后,借助协同过滤推荐算法产生推荐。用户画像不仅提高了数据的可用性和价值,还使分析者从大量的用户数据中摆脱出来,快速地协助分析者做好精细化分类,达到了较好的推荐效果。

预测某种产品销售量的短期及长期变化趋势对企业制定营销战略和优化产业布局等具有重要的参考价值。在深入分析Prophet加法模型和长短时记忆神经网络的特性的基础上,依据某企业产品销量时间序列数据的趋势规律,构建了一种用于预测销售量的Prophet-LSTM神经网络组合模型,设计并实现了与组合前Prophet、LSTM单项模型及两种典型时间序列预测模型的对比实验。实验结果验证了Prophet-LSTM组合预测模型在销量时间序列分析中具有更强的适用性和更高的准确性,为该企业应对市场需求变化提供了重要的科学依据。

将车联网中高维的时空特征嵌入到低维的特征语义词袋是一种典型的聚类问题。谱聚类因其计算简单且有全局最优解的特点而备受关注,但是关于其聚类数目的研究工作相对较少。针对传统eigengap启发式方法无法适应于多噪声点和边界模糊数据集,导致聚簇过度分割的问题,提出了一种基于超图Markov链松弛的聚类学习方法(HS-MR算法)。该算法的基本思想是用Markov过程形式化描述超图并开始随机游走。在超图Markov链松弛过程中,通过随机转移矩阵P的t次幂和扩散映射找到数据集有意义的几何分布,然后提出基于互信息的目标函数进行聚类数目的自动收敛。实验结果表明,该算法在准确率上优于简单图谱聚类算法和标准超图谱聚类算法。

通过对数据集进行网格划分来降低聚类过程中的计算复杂度,提出了一种基于网格数据中心的密度峰值聚类算法。首先将数据集进行网格化,形成若干网格对象,以落在网格内的数据点个数与通过衰减后的相邻网格内数据点个数之和作为该网格对象的局部密度值,以该网格数据中心到更高密度网格数据中心的最近距离作为该网格对象的相对距离值;然后根据簇心网格对象同时具备更高的局部密度和较大的相对距离的特征,确定簇心网格对象;最后通过密度划分的方法完成数据聚类。在UCI人工数据集上的仿真实验表明,该算法能够在较短的时间内有效地处理大规模数据,聚类准确率较高。

个性化推荐正成为信息服务时代的重要形式,是缓解学习者知识迷航、提升学习效率的有效途径。为了满足学习者对在线学习资源的个性化需求,提出一种基于三维特征协同支配的个性化学习资源推荐方法(TPLRM)。首先通过完善学习者与在线学习资源特征的匹配关系,建立了三维特征协同支配的个性化学习资源推荐模型,并进行参数化描述;其次设计了一种基于高斯隶属函数模糊控制的二进制粒子群优化算法(FCBPSO)来对推荐模型目标函数进行求解;最后在多个评价指标下,通过5组对比实验验证了TPLRM推荐方法有较好的推荐性能。

随着互联网技术的发展,信息过载问题日益严重,推荐系统是缓解该问题的有效手段。针对协同过滤中因数据稀疏和冷启动导致的推荐效率低下问题,提出基于SVD填充的混合推荐算法。首先,采用奇异值分解技术分解项目评分矩阵,通过随机梯度下降法填充稀疏矩阵;然后,在矩阵中加入时间权重,优化用户相似度,同时在项目矩阵中加入Jaccard系数优化项目相似度;接着,综合基于项目和基于用户的协同过滤计算预测评分,从而选择最优项目;最后,在MovieLens和Jester数据集中将所提算法与传统算法进行实验对比,证明了所提算法的有效性。

文中提出了一种新的在线形式的非负矩阵分解,即在线学习非负矩阵分解(OLNMF)。OLNMF算法采用了增量形式的非光滑模型,并采用“选择遗忘法”控制新样品和旧样品的权重,提高了算法的计算效率,减少了计算复杂度。OLNMF算法能处理大型的实时更新的数据集,并得到稀疏度更高的基矩阵。实验结果表明,在多个人脸数据集中,相对于INMF,ONMFO,Lp-INMF,OLNMF具有更好的稀疏性;在EEG数据集中,基于OLNMF的SVM分类方法能得到更好的分类准确率。

短文本具有特征维度高且稀疏等特点,导致将传统的分类方法应用于短文本分类时效果较差。针对此问题,提出基于频繁项特征扩展的短文本分类方法(Short Text Classification Based on Frequent Item Feature Extension,STCFIFE)。首先通过FP-growth算法挖掘背景语料库的频繁项集,结合上下文的关联特征,计算出扩展特征权重;然后将新特征加入到原短文本的特征空间中,在此基础上训练SVM(Support Vector Machine,SVM)分类器,并进行分类。实验结果表明,与传统的SVM算法和LDA+KNN算法相比,STCFIFE方法能有效缓解短文本特征不足、高维稀疏的问题,使F1值提升了2%～10%,提高了短文本的分类效果。

由于大多装备的原始测量数据采集信息量大、密度高,现有的时间序列滑动窗口的降维方法采用经验值确定窗口大小,无法最大限度地保留数据的重要信息点,并且计算复杂度高。为此,文中研究了实际应用中滑动窗口对时间序列相似性技术的影响,提出了一种确定滑动窗口初始规模的算法。该算法构建拟合度更高的上下边界曲线,将趋势加权引入LB_Hust距离计算方法中,从而降低了数学建模难度,提高了装备数据相似性聚类与状态评估的效率。

稀疏数据矩阵缺失值估计是一项必要的基础性研究,在推荐系统中尤为重要,针对该问题的一种有效方法便是矩阵分解算法(Matrix Factorization,MF),但传统MF算法仅直接使用回归思想拟合矩阵样本点,并没有考虑样本自身拟合难易程度的差异性。针对该情况,文中分析提出了一种基于自适应样本权重的矩阵分解算法(AWS-MF),在原有MF算法的基础上,针对样本差异性进行有偏向模型拟合,为增加模型回归的准确性与稳定性,加权整合中间算法结果,从而得到最终的拟合数据值。实验结果表明,相比于MF算法和NMF算法,改进后的AWS-MF算法能根据样本差异性自动调整样本权重占比,在充分利用已有数据的前提下,最终得到更好的缺失值估计结果。

日常生活的信息纷繁复杂,因此需要推荐系统来帮助人们进行信息筛选。传统的推荐系统将推荐过程看成是静态的,缺少对序列数据短期或长期的依赖关系的研究。循环神经网络由于在处理序列化数据时有突出的表现,因此可应用到具有序列特征的推荐数据中。文中采用循环神经网络的seq2seq模型来构造这种推荐系统,将推荐过程看作一个序列的翻译过程或答案生成的过程,利用大量用户以往的交互数据,找出其中的频繁模式,将其应用到其他用户对物品的行为预测中。实验在两个常用数据集上进行,使用BLEU衡量推荐结果,实验结果表明:该方法可以做出序列化的推荐。该方法只需要用户和物品的互动数据,摆脱了评分矩阵,避免了数据稀疏性的问题。

文中分析了传统公交静态调度的局限性。利用公交在线车辆的实时GPS数据,通过分析在交通拥挤严重、客流量骤增情况下的公交调度运营机制,提出了一种基于人工神经网络的公交短时动态调度的启发式算法。利用贵阳市公交线路数据对所提算法进行仿真测试。实验结果表明:该算法可以有效弥补传统公交静态调度的不足,减少人工调度中人为因素的干扰,进而实现公交调度的自动化和智能化。

随着电子商务和互联网的发展与普及,面向用户的个性化推荐越来越被重视,传统的用户兴趣模型只考虑到用户本身对项目的行为,忽略了用户当时所处情景。因此文中提出了基于情景感知的用户兴趣模型,将用户的浏览行为与情景因素相结合,从两个方面深度挖掘了用户对项目的兴趣,明确了用户对项目的关注度,从而准确地为用户进行聚类,并根据用户聚类的结果对目标用户进行推荐。实验结果表明,该推荐模型的准确率高于其他传统推荐算法的准确率,本模型能更好地挖掘用户兴趣,适应用户的兴趣变化,并且能够更好地解决用户面临的众多信息无从挑选的问题,提高了用户的满意度。因此,需要从多个角度挖掘用户隐藏的信息,能够更好地为用户提供个性化的推荐。

面对Internet的快速发展以及Web上的海量信息资源,用户如何快速并准确地定位到需要的信息成为了一个亟待解决的问题,面向知识推荐服务的选课决策由此产生。面向知识推荐服务的选课是基于个性化推荐研究的核心问题,其以关联规则Apriori算法的理论为基础,运用协同过滤推荐算法,对Apriori算法进行改进,结合学生的专业、兴趣爱好、学习成绩,构建了选课推荐系统模型和基于该模型的个性化推荐算法分析,通过对学生成绩数据库中的数据进行挖掘,指导学生选择更适合自身情况的课程,为学生高效的学习、个性的发展提供帮助。

传统的PageRank推荐算法的可扩展性较差。针对这一问题,提出融合PageRank和谱方法的个性化推荐算法。通过在PageRank算法迭代过程中加入候选集节点数来控制迭代的次数,同时利用阈值来修剪参与迭代的节点个数,从而得到候选节点集;采用谱聚类对候选集进行排序,归一化候选节点邻接矩阵,使用矩阵的特征值与特征向量来评估图中节点与目标节点之间的距离,从而产生最终的推荐列表。实验结果表明,所提推荐算法在保证推荐质量的前提下,提高了处理效率。

随着服务型计算的兴起,大量跨领域电子服务应运而生。用户要从众多服务中挑选出适合自己且可信的服务十分困难,因而提出高效的服务推荐算法十分必要。传统的协同推荐方法存在冷启动、数据稀疏以及实时性不好等问题,在评分数据较少时推荐效果不佳。为获得更好的推荐结果,文中在社交网络中使用信任传递机制,建立信任传递模型,由此获取任意用户间的信任度。另一方面,设计了相似性判定指标,凭借系统评分数据,求得用户间的偏好相似度。在得到用户间信任度和偏好相似度的基础上,根据社交网络的特性,动态结合两部分指标以获得综合推荐权重,再以此权重替代传统相似度衡量标准进行基于用户的协同过滤推荐。所提方法能在解决传统推荐算法问题的基础上进一步提升推荐效果,并以准确率、覆盖率为标准在Epinions数据集上进行验证,获得了较好的效果。

传统的并行关联规则算法对每一次迭代都定义一个MapReduce任务,以实现候选项集的生成和计数功能,但多次启动MapReduce任务会带来极大的性能开销。文中定义了一种并行关联规则挖掘算法PST-Apriori,该算法采取分治策略,在每个分布式计算节点定义一个前缀共享树,通过递归调用的方式将事务T生成的候选项集逐层压缩到前缀共享树(PST)中。然后广度遍历PST,逐层将每个节点对应的〈key,value〉作为map函数的输入,并由Map-Reduce框架自动按照key值进行聚集。最后调用reduce函数对多个任务的处理结果进行汇总,得到满足最小支持度阈值的频繁项集。算法只使用两个MapReduce任务,且PST按照key值排序便于Mapper端的shuffle操作,提高了运行效率。

协同过滤推荐算法是目前推荐系统领域中十分常用的方法。余弦相似度和Pearson相关系数是目前协同过滤推荐算法中计算相似度的两种常用算法。为提高协同过滤推荐算法的准确性,对相似度计算问题进行了研究,针对目前常用的余弦相似度和Pearson相关系数这两种相似度计算方法的不足,通过设计和引入调节因子,分别考虑用户在评分习惯和项目选择上的差异性,以对这两种传统的相似度算法进行优化和改进。另外,考虑到用户的偏好往往与项目所具有的属性有关,设计了衡量用户对属性偏好的参数,通过加权的方式将其与改进后的相似度算法进行融合,提出了一种融合用户评分习惯、项目选择差异及属性偏好的协同过滤推荐算法。在MovieLens数据集上进行的实验表明,相比于传统算法,提出的改进算法更为精确,平均绝对误差和均方根误差得到了明显的降低。