计算机科学 ›› 2019, Vol. 46 ›› Issue (9): 223-228.doi: 10.11896/j.issn.1002-137X.2019.09.033

• 人工智能 • 上一篇    下一篇

用于基于方面情感分析的RCNN-BGRU-HN网络模型

孙中锋, 王静   

  1. (南京工业大学计算机科学与技术学院 南京211816)
  • 收稿日期:2018-07-18 出版日期:2019-09-15 发布日期:2019-09-02
  • 通讯作者: 王 静(1982-),女,副研究员,主要研究领域为无线传感器网络技术,E-mail:wj_cec@126.com
  • 作者简介:孙中锋(1991-),男,硕士生,主要研究领域为机器学习与深度学习;
  • 基金资助:
    南京工业大学引进人才启动基金项目(39809110)

RCNN-BGRU-HN Network Model for Aspect-based Sentiment Analysis

SUN Zhong-feng, WANG Jing   

  1. (School of Computer Science and Technology,Nanjing Tech University,Nanjing 211816,China)
  • Received:2018-07-18 Online:2019-09-15 Published:2019-09-02

摘要: 针对一般神经网络模型在处理基于方面情感分析任务中存在的句子间相互联系少以及单词之间的语义信息获取有限等问题,文中提出了一种新型结构的深度学习网络模型。该模型通过区域卷积神经网络(RCNN)可以很好地保留评论文本中句子的时序关系,同时结合双向门控循环单元(BGRU)可以大大降低模型训练的时间代价。此外,加入的高速公路网络(HN)使得该模型能够捕获更多单词间的语义信息;利用注意力机制来分配网络结构中特定方面的权重,可以有效获取特定方面在整个评论文本中的长距离依赖关系。该模型可以进行端到端的训练,在不同的数据集上取得了比现有网络模型更好的分类效果。

关键词: 深度学习, 基于方面情感分析, 卷积神经网络, 双向门控循环单元, 高速公路网络, 注意力机制

Abstract: The general neural network model has less inter-connectivity between sentences and cannot capture much more semantic information between words in the task of aspect-based sentiment analysis.To adress these problems,this paper proposed a deep learning network model with novel structure.The model can preserve the sequential relationship of sentences in the comment text through the regional convolutional neural network(RCNN).At the same time,the time cost of model training can be greatly reduced by combining bi-directional gated recurrent unit (BGRU).In addition,the introduction of highway network (HN) could enable the proposed model to capture much more semantic information between words.The attention mechanism is additionally utilized in an effort to assign weights of the concerned aspect in the network structure,which is able to effectively obtain the long-distance dependency of the concerned aspect in the whole review.The model can give end-to-end training and experiment on different datasets,achieving better performance than the existing network model.

Key words: Deep learning, Aspect-based sentiment analysis, Convolutional neural network, Bi-directional gated recurrent unit, Highway network, Attention mechanism

中图分类号: 

  • TP183
[1]CAMBRIA E,DAS D,BANDYOPADHYAY S,et al.A Practical Guide to Sentiment Analysis[M].Berlin:Springer International Publishing,2017.
[2]DAS S R,CHEN M Y.Yahoo! For Amazon:Sentiment Extraction from Small Talk on the Web[J].Management Science,2007,53(9):1375-1388.
[3]PANG B,LEE L,VAITHYANATHAN S.Thumbs up?:sentiment classification using machine learning techniques[EB/OL].http://www.doc88.com/p-1416919772501.html.
[4]MNIHV,HEESS N,GRAVES A.Recurrent models of visualattention[C]//Proceedings of Advances in Neural Information Processing Systems 27(NIPS 2014).Cambridge,MA:MIT Press,2014:2204-2212.
[5]BAHDANAU D,CHO K,BENGIO Y.Neural machine translation by jointly learning to align and translate[J].arXiv:1409.0473,2014.
[6]YIN W,SCHüTZE H,XIANG B,et al.Abcnn:Attention-based convolutional neural network for modeling sentence pairs[J].Transactions of the Association for Computational Linguistics,2016,4(11):259-272.
[7]WANG Y,HUANG M,ZHAO L,et al.Attention-based LSTM for aspect-level sentiment classification[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin,USA,2016:606-615.
[8]KIRITCHENKO S,ZHU X,CHERRY C,et al.NRC-Canada-2014:Detecting Aspects and Sentiment in Customer Reviews[C]//International Workshop on Semantic Evaluation.Dublin:Ireland:Association for Computational Linguistics,2014:437-442.
[9]HU M,LIU B.Mining and summarizing customer reviews[C]//Proceedings of the Tenth ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining.New York:ACM,2004:168-177.
[10]PORIA S,CAMBRIA E,GELBUKH A.Aspect extraction for opinion mining with a deep convolutional neural network[M].Amsterdam:Elsevier Science Publishers B.V.,2016:42-49.
[11]TANG D,QIN B,LIU T.Aspect Level Sentiment Classification with Deep Memory Network[J/OL].https://arxiv.org/abs/1605.08900.
[12]LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-basedlearning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.
[13]HOCHREITER S,SCHMIDHUBER J.Long short-term memory[J].Neural Computation,1997,9(8):1735-1780.
[14]CHUNG J,GULCEHRE C,CHO K H,et al.Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[J].arXiv:1412.3555,2014.
[15]WANG J,YU L C,LAI K R,et al.Dimensional sentiment ana-lysis using a regional cnn-lstm model[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.Berlin,Germany,2016:225-230.
[16]KIM Y,JERNITE Y,SONTAG D,et al.Character-Aware Neural Language Models[J/OL].https://arxiv.org/abs/1508.06615.
[1] 马露, 裴伟, 朱永英, 王春立, 王鹏乾. 基于深度学习的跌倒行为识别[J]. 计算机科学, 2019, 46(9): 106-112.
[2] 李青华, 李翠平, 张静, 陈红, 王绍卿. 深度神经网络压缩综述[J]. 计算机科学, 2019, 46(9): 1-14.
[3] 王嫣然, 陈清亮, 吴俊君. 面向复杂环境的图像语义分割方法综述[J]. 计算机科学, 2019, 46(9): 36-46.
[4] 石春丹, 秦岭. 基于BGRU-CRF的中文命名实体识别方法[J]. 计算机科学, 2019, 46(9): 237-242.
[5] 缪永伟, 李高怡, 鲍陈, 张旭东, 彭思龙. 基于卷积神经网络的图像局部风格迁移[J]. 计算机科学, 2019, 46(9): 259-264.
[6] 江泽涛, 秦嘉奇, 胡硕. 基于多路卷积神经网络的多光谱场景识别方法[J]. 计算机科学, 2019, 46(9): 265-270.
[7] 石晓红, 黄钦开, 苗佳欣, 苏卓. 基于卷积网络的边缘保持滤波方法[J]. 计算机科学, 2019, 46(9): 277-283.
[8] 周燕, 曾凡智, 吴臣, 罗粤, 刘紫琴. 基于深度学习的三维形状特征提取方法[J]. 计算机科学, 2019, 46(9): 47-58.
[9] 邓存彬, 虞慧群, 范贵生. 融合动态协同过滤和深度学习的推荐算法[J]. 计算机科学, 2019, 46(8): 28-34.
[10] 杜威, 丁世飞. 多智能体强化学习综述[J]. 计算机科学, 2019, 46(8): 1-8.
[11] 郭旭, 朱敬华. 基于用户向量化表示和注意力机制的深度神经网络推荐模型[J]. 计算机科学, 2019, 46(8): 111-115.
[12] 张义杰, 李培峰, 朱巧明. 基于自注意力机制的事件时序关系分类方法[J]. 计算机科学, 2019, 46(8): 244-248.
[13] 方杰, 李培峰, 朱巧明. 基于多注意力机制的事件同指消解方法[J]. 计算机科学, 2019, 46(8): 277-281.
[14] 于洋, 李世杰, 陈亮, 刘韵婷. 基于改进YOLO v2的船舶目标检测方法[J]. 计算机科学, 2019, 46(8): 332-336.
[15] 李舟军,王昌宝. 基于深度学习的机器阅读理解综述[J]. 计算机科学, 2019, 46(7): 7-12.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 孙启,金燕,何琨,徐凌轩. 用于求解混合车辆路径问题的混合进化算法[J]. 计算机科学, 2018, 45(4): 76 -82 .
[2] 厉柏伸,李领治,孙涌,朱艳琴. 基于伪梯度提升决策树的内网防御算法[J]. 计算机科学, 2018, 45(4): 157 -162 .
[3] 王正理,谢添,何琨,金燕. 考虑时间因素的0-1背包调度问题[J]. 计算机科学, 2018, 45(4): 53 -59 .
[4] 杨沛安, 武杨, 苏莉娅, 刘宝旭. 网络空间威胁情报共享技术综述[J]. 计算机科学, 2018, 45(6): 9 -18,26 .
[5] 赖文星, 邓忠民. 基于支配强度的NSGA2改进算法[J]. 计算机科学, 2018, 45(6): 187 -192 .
[6] 黄一龙, 李培峰, 朱巧明. 事件因果与时序关系识别的联合推理模型[J]. 计算机科学, 2018, 45(6): 204 -207,234 .
[7] 沈夏炯, 张俊涛, 韩道军. 基于梯度提升回归树的短时交通流预测模型[J]. 计算机科学, 2018, 45(6): 222 -227,264 .
[8] 周枫, 李荣雨. 基于BGRU池的卷积神经网络文本分类模型[J]. 计算机科学, 2018, 45(6): 235 -240 .
[9] 姚寒冰,邢娜娜,周俊伟,李勇华. 支持结果排序的安全密文检索方法研究[J]. 计算机科学, 2018, 45(5): 123 -130 .
[10] 吴忠忠,吕鑫,李鑫. 基于查询概率的假位置选择算法[J]. 计算机科学, 2018, 45(5): 143 -146, 162 .