电影票房收益预测问题是全球电影市场研究领域的重要方向,其中,电影信息数据库是支撑该研究的重要基础。针对中国电影市场较欧美国家发展晚,国产电影信息数据库尚属空白的情况,建立了用于票房收益预测的国产信息数据库,为国内电影票房收益预测问题的研究提供了重要的数据支撑。首先,介绍了全球电影票房收益预测问题的研究现状;其次,说明了用于票房收益预测的国产电影信息数据库的建立思路,数据的收集与整理,以及数据库建立的详细过程;最后,基于国外电影数据库票房收益预测的方法,对比了国外电影数据库与该工作建立的电影数据库,结果表明了二者对电影票房收益的预测准确率相似,证明了国产电影信息数据库的有效性。

近年来,推荐技术迅速发展,日趋成熟。但是,多数推荐算法都建立在一个理想的假设下,即有足够多的样本数据供我们训练出成熟的模型用于预测或推荐。在实际工业化生产中,一方面,大多数的用户和项目只拥有极少量的标签信息;另一方面,即使依靠历史积累形成的数据集,在分布上也十分不均衡,难以学习出可靠的推荐模型。主动学习的思想认为每个项目给系统带来的“好处”是不等的,因而可以通过特定策略选择某些项目,借助用户与项目之间的交互行为来主动获取相关的偏好信息。应用在推荐系统中的主动学习试图选择数量更少、质量更高的样本来训练模型,既能提高用户体验,又能免受数据集不均衡的束缚。文中综述了近年来主动学习在推荐系统中的应用,并对其发展趋势进行分析。

随着以大数据、云计算、人工智能为代表的新一代信息技术的蓬勃发展,数字经济成为了带动中国经济增长的重要引擎,加快大数据专业建设、培养新一代信息技术人才意义重大。当前,国内外已经有多所高校和研究机构开展了大数据人才培养工作,但在如何开展大数据专业建设的问题上还没有成熟的模式。为此,首先梳理了国内外大数据专业建设现状,接着采用德尔菲法(专家调查法)和案例分析法对其进行分析,最后结合跨学科研究和人才培养机制,提出一种“点”“线”“面”“立体”相结合的中国大数据专业建设的跨学科模式,以期为中国大数据专业建设的跨学科发展研究提供有益的参考。

文中介绍了协同过滤算法与二分网络推荐算法的原理,分析了协同过滤算法与二分网络推荐算法之间的内在关系,推导出协同过滤算法是二分网络推荐算法的一种特例,并证明了基于二分网络推荐算法的推荐结果优于协同过滤算法。将基于二分网络的推荐算法理论进一步系统化、统一化,以推动推荐算法的进一步发展。

动态网络在分析功能属性与拓扑结构的相关性方面具有重要作用。文中提出了一个新的动态迭代聚类算法,通过引入包含拓扑信息的权重W和紧密度T来调整边权和节点紧密度,以提高网络聚类结构检测的速度与准确度。值得一提的是,为了估计最优的迭代停止时间,文中利用以时间t为分辨率参数的稳定性指标(stability)作为测度指标,可以自然地找到使聚类划分达到最优的时刻t。该算法非常高效,而且不需要预先指定聚类的数目,因此可以方便地应用于各种模糊网络。最后在包括法律案例关联网络等数据上的实验结果表明,该算法能快速而准确地探测各种人工和现实网络的聚类结构。

个性化试题推荐是实现高效学习的有效途径,帮助学生从“题海战术”中解脱出来,对实现适应性教学、促进教育公平具有重要意义。但目前个性化试题推荐方法大多是基于协同过滤进行试题层面的个性化推荐,没有聚焦到知识点层面,存在推荐试题定位不准确的问题。针对上述问题,对基于深度自编码器和二次协同过滤的个性化试题推荐方法进行了研究。首先考虑到学生对知识点的认知情况进行基于知识点的二次协同过滤试题推荐,然后应用项目反应理论和深度自编码器来预测学生在推荐试题上涉及推荐知识点的得分以及综合得分,最后对预测结果协同判断并控制最终个性化推荐试题的难度,产生最终的推荐试题列表。通过对比实验验证提出的推荐方法的推荐结果相对于传统试题推荐更具个性化和准确性。

现有的推荐算法引入用户显式信任,可以有效地提高推荐精度,但没有充分挖掘社交关系,而间接信任在社交信息中具有更加丰富的潜在价值,进一步影响到推荐质量。虽然对于间接信任也存在相关研究,但是计算复杂,采取的信任传递路径不充分。故此,通过信任传递网络图,将各分支节点与总路径节点比例经过逐节点相乘的方式全局获取信任间接值,然后采用信息熵分析用户社交信任关系的实际表现,调整信任,以形成间接信任的计算模型IpmTrust,并以此模型设计一种考虑用户间接信任的推荐算法GITCF。该算法利用高斯模型对评分矩阵进行填充,然后采用修正的余弦计算用户相似度。通过IpmTrust计算间接信任后,将用户信任与相似度进行一定线性加权融合,最后采用改进的近邻预测进行推荐。实验在Matlab仿真平台上进行,对RMSE,MAE两个指标评测,将GITCF与现有的推荐算法、传统推荐算法做比较。GITCF的推荐精度比现有推荐的推荐精度提高了近7%,也高于不含信任的传统推荐的推荐精度。实验结果表明,IpmTrust模型有一定的有效性,设计的推荐算法可改善推荐结果的质量。

针对车联网集中控制方式存在严重的数据冗余现象,及多源数据相互增强的实施成本高的问题,文中从大数据的角度描述了车路人协同控制模型VID(Vehicles-infrastructure-driver)。该模型是由集中控制的感知中心和分布式控制的任务执行过程组成的混合式控制系统。统一的感知中心可提供公共感知服务,整合感知资源管理、任务调度与数据收集功能。基于“去中心化的“车路协同系统”“人车协同系统”和“驾驶员行为分析”执行感知任务。VID模型打通了从感知到服务的全局循环与局部循环,针对需要协同的应用场景均有较好的适用性。

传统的智能推荐中运用了协同过滤算法,但是它并不能很好地处理用户的评分信息,推荐的质量受存在的数据稀疏性、极端数据的影响。对此,将推荐问题转换为多标签学习问题,文中提出了一种基于HMM模型和用户画像的完备智能推荐系统。首先设立不同的数据处理机制来提高模型的泛化能力,其次为了解决数据稀疏问题,提出反马尔科夫性改进HMM模型,最终构建用户画像对HMM模型的学习经验得到的结果进行筛选,得到最终的推荐服务。实验结果表明,在智能推荐问题中多标签学习有效地提高了推荐准确性和推荐效率。

面向类别不均衡数据集的分类学习一直是数据挖掘和机器学习领域的研究热点。数据级、算法级和集成方法是目前解决类别不均衡学习的3种主流方法,其中欠抽样是类别不均衡学习一种常用的数据级解决方法,其缺点在于容易丢失多数类中部分有用信息。文中将谱聚类引入到成对数据表示的多数类欠抽样过程中,首先利用谱聚类方法,对多数类样本进行聚类,根据聚类簇大小和簇内样本点与少数类样本点的平均距离,在每个聚类簇内抽取不同个数有代表性的样本,并将簇内样本点之间及所有少数类样本点两两成对表示,从而有效降低了所有样本成对数据表示中两两组合而导致的数据暴涨问题,同时避免了随机抽样而可能导致的有效信息丢失问题。最后在9组UCI数据集上验证了所提算法的有效性。

针对传统的基于用户协同过滤推荐算法将用户对某物品的喜好程度等同看待的问题,文中提出了一种融合全加权矩阵分解的用户协同过滤模型。该模型首先为观测值设计频率感知加权,且非均匀地设计用于未观测值的用户导向加权。然后组合观测值和未观测值的加权,并根据评分确定用户声誉和用户关系的相似性,构建融合全加权矩阵分解的用户协同过滤模型。为了验证提出的推荐算法的性能,在Douban、Epinions和Last.fm 3个真实数据集上进行了仿真实验。实验结果表明,所提出的AWMF_UCFR算法的推荐准确性与MF算法、WRMF-UO算法、SoRS算法相比有显著提高。

随着位置大数据的爆炸式增长,传统的串行算法已无法对其进行高效地聚类处理,因此,基于MapReduce框架的并行聚类算法研究逐渐成为热点。聚类算法并行化后的聚类质量通常难以保证,因此对并行化聚类结果进行归约的方法极为重要。首先提出基于网格的改进DBSCAN并行化聚类算法,通过该步骤得到每个数据子集的聚类结果。然后在分析网格与簇的关系,定义网格簇和网格簇的连通、强连通概念的基础上,通过计算网格簇之间的连通权值矩阵,对具有强连通关系的网格簇进行归约,构成基于MapReduce的强连通网格聚类算法。该算法可实现位置大数据集的高效聚类。实验分析表明,基于MapReduce的强连通网格聚类算法对位置大数据的处理具有较高的效率和聚类质量。

随着互联网在各个领域的不断发展,数据开始呈现结构多样化与体积海量化。面对海量数据的冲击,如何提高ETL的效率至关重要。针对“信息孤岛”中数据来源及格式皆不统一、数据采集实时性差的问题,提出垂直切分ETL工作流和水平切分待处理数据集,建立一种基于Storm平台的流式ETL处理方案。同时,针对Storm在进行任务分配时对工作节点CPU负载不敏感的缺点,通过定时任务记录工作节点的CPU负载信息,对Storm调度器的slot分配方式进行优化,使得Storm集群的负载更加均衡。实验结果证明该方案可有效提高ETL的处理效率,同时针对slot分配优化可有效地提高系统稳定性与处理效率。

面对海量的高维数据,剔除冗余特征来进行特征筛选,已成为当今信息与科学技术面临的重要问题之一。传统的特征选择方法不适合对整个特征空间进行搜索,其运行性能以及准确性低下。文中提出了一种融合蚁群算法和随机森林的特征选择方法,该方法将随机森林的重要度评分作为蚁群算法的启发式信息,然后采用蚁群算法进行智能搜索,并将特征选择结果作为评价指标实时反馈给蚁群的信息素。实验表明,该特征选择方法与传统特征选择方法相比,能够有效地减少数据集中的特征数量,同时提高了数据分类的准确率。

传统的k-means算法不论其数据样本的分布情况,将簇边缘位置、簇中心位置、离群点的数据样本全部按照最小距离原则,划分到离它最近的聚类中心所在簇中,没有考虑数据样本与其他簇之间的关系。如果数据样本与另一簇中心的距离接近于最小距离,则此数据样本与两个簇的关系都很大,显然这样直接划分并不合理。针对此问题,文中提出了最近邻优化的k-means聚类算法。运用近邻的思想,将这些不“很属于”某簇的数据样本划分到其最近邻数据样本所在的簇中,实验结果表明,这种最近邻优化的k-means聚类算法有效地减少了算法的迭代次数,提高了算法的聚类准确度,得到了良好的聚类效果。

对海量的互联网新闻进行快速热点聚类是一个重要的研究方向。针对大规模文本聚类的几个关键问题(相似度计算、分布式聚类、聚类结果概要生成),文中设计并实现了一个基于Spark计算框架的分布式新闻聚类系统。该系统采用GPU加速的深度相似度算法进行新闻文本的相似度计算,得到新闻之间的相似关系,并采用图聚类算法进行新闻聚类,最后采用标题压缩技术形成热点描述,生成最终的聚类结果。实验结果证明,文中提出的系统具有较高的执行效率和良好的可扩展性,可以有效地处理大规模新闻的热点聚类任务。

随着Web2.0的发展,UGC标签系统受到越来越多的关注,标签既能反映用户的兴趣又能描述物品的本身特征。现有的标签推荐算法没有考虑用户的连续行为所产生的影响,而传统的基于马尔可夫链(Markov Chain)的推荐算法虽然侧重于研究用户的连续行为来产生推荐,但它是直接作用于用户与物品的二维关系,并不适用于基于UGC的标签推荐。因此,通过结合马尔可夫链和协同过滤的思想,提出了一种基于标签的个性化推荐算法。该算法将〈用户-标签-物品〉的三维关系拆分为〈用户-标签〉和〈标签-物品〉两个二维关系。首先通过马尔可夫链模型计算用户对标签的兴趣度,再通过推荐标签集来匹配与其相对应的物品。为了提高推荐的精准率,该算法利用标签之间的影响,并基于匹配物品中所含标签间存在的关联关系对物品进行满意度建模,该模型是一种概率模型。在计算用户-标签和用户-物品之间的兴趣度和满意度时使用了协同过滤的思想来补全稀疏值。在公开的数据集中,与现有算法相比,该算法在精准率、召回率上均有明显提高。

针对传统音乐推荐过程中存在的分类准确率较低、周期较长、难以满足人们在生活中对主题音乐的需求等问题,设计了一种注意力机制与长短期记忆(Long Short-Term Memory,LSTM)相结合的神经网络模型,它由音乐主题模型和音乐推荐模型构成,在使用注意力机制和LSTM网络实现音乐情感分类的基础上,音乐主题模型有效地组合了音频码本和主题模型,实现了对某个情感下的音乐主题子类的判别。音乐推荐模型则利用低级描述符(Low-Level Descriptor,LLD)和频谱图,构建手工特征与卷积循环神经网络(Convolutional Recurrent Neural Network,CRNN)特征的联合表示形式,从而获得用户语音表达的情感,并对其进行精准的音乐主题推荐。实验中,针对两个模型分别进行设计,采用两种不同的传统模型作为基线,实验结果表明,与传统的单一模型相比,此模型不仅可以提升主题分类精度,而且可以精准地判断用户语音数据的情感,从而定向地完成主题音乐的推荐。