计算机科学 ›› 2019, Vol. 46 ›› Issue (8): 277-281.doi: 10.11896/j.issn.1002-137X.2019.08.046

• 人工智能 • 上一篇    下一篇

基于多注意力机制的事件同指消解方法

方杰, 李培峰, 朱巧明   

  1. (苏州大学计算机科学与技术学院 江苏 苏州215006)
    (江苏省计算机信息处理技术重点实验室 江苏 苏州215006)
  • 收稿日期:2018-07-29 发布日期:2019-08-15
  • 通讯作者: 李培峰(1971-),男,教授,博士生导师,主要研究领域为自然语言处理和机器学习,E-mail:pfli@suda.edu.cn
  • 作者简介:方杰(1993-),男,硕士生,主要研究领域为中文信息处理;朱巧明(1963-),男,教授,博士生导师,主要研究领域为中文信息处理
  • 基金资助:
    国家自然科学基金(61472265,61772354,61773276)

Employing Multi-attention Mechanism to Resolve Event Coreference

FANG Jie, LI Pei-feng, ZHU Qiao-ming   

  1. (School of Computer Science and Technology,Soochow University,Suzhou,Jiangsu 215006,China)
    (Province Key Laboratory of Computer Information Processing Technology of Jiangsu,Suzhou,Jiangsu 215006,China)
  • Received:2018-07-29 Published:2019-08-15

摘要: 事件同指消解是信息抽取的一项重要任务,在信息融合、问答系统、阅读理解中都有着重要的作用。文中提出了一种基于多种注意力机制的卷积神经网络的CorefNet方法,用于消解文档级事件同指。该方法通过深层卷积网络抽取事件特征,并使用多种注意力机制获取重要信息。相比过去大部分建立在概率模型和图模型上的传统方法,所提方法仅使用了少量特征;与目前主流的神经网络模型相比,文中方法可以提取深层的事件特征,明显提高了事件同指消解的准确率。在ACE2005数据集上的实验验证了CorefNet优于目前最优的基准系统。

关键词: 事件同指, 文档级, 注意力机制, 深层卷积网络

Abstract: Event coreference resolution is an asignificant subtask of information extraction and plays an import role in information fusion,QA system and reading comprehension.This paper introduced a multi-attention-based CNN neural network,called CorefNet,to resolve document-level event coreference.CorefNet uses a deep CNN to extract event features and a multi-attention mechanism to capture important features.Compared with most previous studies with probability-based or graph-based models,the proposed model only uses a few features.Compared with the current main stream nueral network model,this menthod can extract deep event features,and significantly improve the performance of event coreference resolution.The experimental results on the ACE2005 corpus show that this model achieves the state-of-the-art results

Key words: Event coreference, Document-level, Attention mechanism, Deep CNN

中图分类号: 

  • TP391
[1] ALLAN J,CARBONELL J G,DODDINGTON G,et al.Topic Detection and Tracking Pilot Study:Final report[C]∥Procee-dings of the DARPA Broadcast News Transcription and Understanding Workshop.Burlington:Morgan Kaufmann Press,1998:194-218.
[2] LI P F,ZHU Q M,ZHOU G D.Argument Inference from Relevant Event Mentions in Chinese Argument Extraction[C]∥Proceedings of ACL 2013.Minneapolis:ACL Press,2013:1477-1487.
[3] NARAYANAN S,HARABAGIU S.Question Answering Based on Semantic Structures[C]∥Proceedings of COLING 2004.Switzerland:ACL Press,2004:693-702.
[4] CHOUBEY P K,HUANG R H.Event Coreference Resolution by Iteratively Unfolding Inter-dependencies among Events[C]∥Proceedings of EMNLP 2017.Copenhagen:ACL Press,2017:2124-2133.
[5] CHEN Z,JI H.Graph-based Event Coreference Resolution [C]∥Proceedings of TextGraphs 4.Singapore:ACL Press,2009:54-57.
[6] HAGHIGHI A,KLEIN D.Simple Coreference Resolution with Rich Syntactic and Semantic Features[C]∥Proceedings of EMNLP 2009.Singapore:ACL Press,2009:1152-1161.
[7] NG V,CARDIE C.Identifying Anaphoric and Non-Anaphoric Noun Phrases to Improve Coreference Resolution[C]∥Procee-dings of COLING 2002.Taipei:ACL Press,2002:1-7.
[8] CHEN Z,JI H,HARALICK R.A Pairwise Event Coreference Model,Feature Impact and Evaluation for Event Coreference Resolution[C]∥Proceedings of the Workshop on Events in Emerging Text Types.Borovets:ACL Press,2009:17-22.
[9] LIU Z Z,ARAKI J,HOVY E,et al.Supervised Within-Docu- ment Event CoReference Using Information Propagation[C]∥Proceedings of LREC 2014.Reykjavik:Springer,2014:4539-4544.
[10] LU J,NG V.Joint Learning for Event Coreference Resolution[C]∥Proceedings of ACL 2017.Vancouver:ACL Press,2017:90-101.
[11] KIM Y.Convolutional Neural Networks for Sentence Classification[C]∥Proceedings of EMNLP 2014.Doha:ACL Press,2014:1746-1751.
[12] YIH W T,TOUTANOVA K,PLATT J C,et al.Learning Discriminative Projections for Text Similarity Measures[C]∥Proceedings of CoNLL 2011.Oregan:ACL Press,2011:247-256.
[13] KRAUSE S,XU F Y,USZKOREIT H,et al.Event Linking with Sentential Features from Convolutional Neural Networks[C]∥Proceedings of CoNLL 2016.Berlin:ACL Press,2016:239-249.
[14] VASWANI A,SHAZEER N,PARMAR N,et al.Attention Is All You Need[C]∥Proceedings of NLPS 2017.California:MIT Press,2017:5998-6008.
[15] PENNINGTON J,SOCHER R,MANNING C,et al.Glove: Global Vectors for Word Representation[C]∥Proceedings of EMNLP 2014.Doha:ACL Press,2014:1532-1543.
[16] BAGGA A,BALDWIN B.Algorithms for Scoring Coreference Chains[C]∥Proceedings of LREC 1998.Granada:ELRA Press,1998:563-566.
[17] LUO X Q.On Coreference Resolution Performance Metrics [C]∥Proceedings of EMNLP 2005.Vancouver:ACL Press,2005:25-32.
[18] VILAIN M,BURGER J,ABERDEEN J,et al.A Model-Theoretic Coreference Scoring Scheme[C]∥Proceedings of MUC-6.California:ACM Press,1998:45-52.
[1] 程昊熠, 李培峰, 朱巧明. 基于注意力机制的事件同指消解方法[J]. 计算机科学, 2019, 46(9): 201-205.
[2] 孙中锋, 王静. 用于基于方面情感分析的RCNN-BGRU-HN网络模型[J]. 计算机科学, 2019, 46(9): 223-228.
[3] 石春丹, 秦岭. 基于BGRU-CRF的中文命名实体识别方法[J]. 计算机科学, 2019, 46(9): 237-242.
[4] 郭旭, 朱敬华. 基于用户向量化表示和注意力机制的深度神经网络推荐模型[J]. 计算机科学, 2019, 46(8): 111-115.
[5] 张义杰, 李培峰, 朱巧明. 基于自注意力机制的事件时序关系分类方法[J]. 计算机科学, 2019, 46(8): 244-248.
[6] 李舟军,王昌宝. 基于深度学习的机器阅读理解综述[J]. 计算机科学, 2019, 46(7): 7-12.
[7] 沈忱林, 张璐, 吴良庆, 李寿山. 基于双向注意力机制的问答情感分类方法[J]. 计算机科学, 2019, 46(7): 151-156.
[8] 单义栋, 王衡军, 黄河, 闫倩. 基于注意力机制的命名实体识别模型研究——以军事文本为例[J]. 计算机科学, 2019, 46(6A): 111-114.
[9] 王坤, 段湘煜. 倾向近邻关联的神经机器翻译[J]. 计算机科学, 2019, 46(5): 198-202.
[10] 李杰, 凌兴宏, 伏玉琛, 刘全. 基于视觉注意力机制的异步优势行动者-评论家算法[J]. 计算机科学, 2019, 46(5): 169-174.
[11] 凡子威, 张民, 李正华. 基于BiLSTM并结合自注意力机制和句法信息的隐式篇章关系分类[J]. 计算机科学, 2019, 46(5): 214-220.
[12] 邓珍荣, 张宝军, 蒋周琴, 黄文明. 融合word2vec和注意力机制的图像描述模型[J]. 计算机科学, 2019, 46(4): 268-273.
[13] 李浩, 刘永坚, 解庆, 唐伶俐. 基于多层次注意力机制的远程监督关系抽取模型[J]. 计算机科学, 2019, 46(10): 252-257.
[14] 韩旭丽, 曾碧卿, 曾锋, 张敏, 商齐. 基于词嵌入辅助机制的情感分析[J]. 计算机科学, 2019, 46(10): 258-264.
[15] 罗达, 苏锦钿, 李鹏飞. 基于多角度注意力机制的单一事实知识库问答方法[J]. 计算机科学, 2019, 46(10): 215-221.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 张佳男,肖鸣宇. 带权混合支配问题的近似算法研究[J]. 计算机科学, 2018, 45(4): 83 -88 .
[2] 刘博艺,唐湘滟,程杰仁. 基于多生长时期模板匹配的玉米螟识别方法[J]. 计算机科学, 2018, 45(4): 106 -111, 142 .
[3] 施超,谢在鹏,柳晗,吕鑫. 基于稳定匹配的容器部署策略的优化[J]. 计算机科学, 2018, 45(4): 131 -136 .
[4] 瞿中,赵从梅. 一种抗遮挡的自适应尺度目标跟踪算法[J]. 计算机科学, 2018, 45(4): 296 -300 .
[5] 陆佳炜,马俊,张元鸣,肖刚. 面向全局社交服务网的Web服务聚类方法[J]. 计算机科学, 2018, 45(3): 204 -212 .
[6] 崔建京,龙军,闵尔学,于洋,殷建平. 同态加密在加密机器学习中的应用研究综述[J]. 计算机科学, 2018, 45(4): 46 -52 .
[7] 谭博文,王纲,姚稳. 超密集网络中子信道和功率分配研究[J]. 计算机科学, 2018, 45(6A): 279 -282 .
[8] 代明竹,高嵩峰. 基于考试过程和知识结构的数据挖掘算法研究[J]. 计算机科学, 2018, 45(6A): 437 -441 .
[9] 郁湧,康庆怡,陈长赓,阚世林,骆永军. 基于内聚度和耦合度的二分K均值方法[J]. 计算机科学, 2018, 45(6A): 460 -464 .
[10] 项英倬, 谭菊仙, 韩杰思, 石浩. 图匹配技术研究[J]. 计算机科学, 2018, 45(6): 27 -31,45 .