面向语料的领域主题词表构建算法

计算机科学 ›› 2018, Vol. 45 ›› Issue (6A): 396-397.

面向语料的领域主题词表构建算法

安亚巍¹,操晓春²,罗顺¹

上海通用识别技术研究所上海201112¹
中国科学院信息工程研究所北京100093²

出版日期:2018-06-20 发布日期:2018-08-03
作者简介:安亚巍(1978-),男,硕士,工程师,主要研究方向为数据分析处理、知识工程、信息安全,E-mail:ywan20@163.com;操晓春(1980－),男,博士,研究员,主要研究方向为多媒体内容安全、计算机视觉;罗顺(1982－),男,硕士,工程师,主要研究方向为数据分析处理、知识工程、信息安全。
基金资助:
国家自然科学基金项目(61422213,U1636214)资助

Construction Method of Domain Subject Thesaurus Based on Corpus

AN Ya-wei¹,CAO Xiao-chun²,LUO Shun¹

Shanghai General Recognition Technology Institute,Shanghai 201112,China¹
Institute of Information Engineering,Chinese Academy of Sciences,Beijing 100093,China²

Online:2018-06-20 Published:2018-08-03

摘要/Abstract

摘要： 针对大规模领域主题词表提取的问题,提出根据给定语料中词共现特征构建词共现特征矩阵的方法。在此基础上进行词簇划分,进而计算出每个词簇的中心词,并以中心词为核心重新组织每个词簇,最终实现面向语料的主题词表的自动构建。实验结果表明,该算法具有较高的准确率和召回率。

关键词: 词簇划分, 词共现特征, 语料挖掘, 主题词表

Abstract: To achieve a massive domain corpus oriented subject thesaurus,a method based on feature matrix which is set up by computing words co-occurrence was proposed.By operating on this feature matrix,words are divided into clusters,and central word for each words cluster is calculated.Lexical bundles are finally gained by re-organizing words clusters using central word as a core.The experiment indicates that the proposed method can achieve good precision rate and recall rate.

Key words: Corpus mining, Subject thesaurus, Words cluster dividing, Words co-occurrence feature

中图分类号:

TP391

安亚巍, 操晓春, 罗顺. 面向语料的领域主题词表构建算法[J]. 计算机科学, 2018, 45(6A): 396-397. https://doi.org/

AN Ya-wei, CAO Xiao-chun, LUO Shun. Construction Method of Domain Subject Thesaurus Based on Corpus[J]. Computer Science, 2018, 45(6A): 396-397. https://doi.org/

参考文献

[1]常春,卢文林.叙词表编制历史、现状与发展[J].农业图书情报学刊,2002(5):25-28.
[2]肖健,徐建,徐晓兰,等.英中可比语料库中多词表达自动提取与对齐[J].计算机工程与应用,2010,46(31):130-134.
[3]陈炯,张永奎.一种基于词聚类的文本特征描述方法[J].计算机系统应用,2011,20(2):211-215.
[4]葛宁,王军.领域Ontology的自动丰富——基于ADL地名表的实例研究[J].计算机科学,2007,34(9):156-162.
[5]奉国和,郑伟.国内中文自动分词技术研究综述[J].图书情报工作,2011,55(2):41-45.
[6]SALTON G,CLEMENT T Y.On the construction of effective vocabularies for information retrieval[C]∥Proc.of 1973 Mee-ting on Programming Languages and Information Retrieval.New York,USA:ACM Press,1973.
[7]丁国栋,白硕,王斌.一种基于局部共现的查询扩展方法[J].中文信息学报,2006,20(3):84-91.
[8]李勇,李苹.主题词表到领域本体的转化研究[J].现代计算机,2013(5):12-15.

相关文章 15

[1]	陈志强, 韩萌, 李慕航, 武红鑫, 张喜龙. 数据流概念漂移处理方法研究综述 Survey of Concept Drift Handling Methods in Data Streams 计算机科学, 2022, 49(9): 14-32. https://doi.org/10.11896/jsjkx.210700112
[2]	王明, 武文芳, 王大玲, 冯时, 张一飞. 生成链接树:一种高数据真实性的反事实解释生成方法 Generative Link Tree:A Counterfactual Explanation Generation Approach with High Data Fidelity 计算机科学, 2022, 49(9): 33-40. https://doi.org/10.11896/jsjkx.220300158
[3]	张佳, 董守斌. 基于评论方面级用户偏好迁移的跨领域推荐算法 Cross-domain Recommendation Based on Review Aspect-level User Preference Transfer 计算机科学, 2022, 49(9): 41-47. https://doi.org/10.11896/jsjkx.220200131
[4]	周芳泉, 成卫青. 基于全局增强图神经网络的序列推荐 Sequence Recommendation Based on Global Enhanced Graph Neural Network 计算机科学, 2022, 49(9): 55-63. https://doi.org/10.11896/jsjkx.210700085
[5]	宋杰, 梁美玉, 薛哲, 杜军平, 寇菲菲. 基于无监督集群级的科技论文异质图节点表示学习方法 Scientific Paper Heterogeneous Graph Node Representation Learning Method Based onUnsupervised Clustering Level 计算机科学, 2022, 49(9): 64-69. https://doi.org/10.11896/jsjkx.220500196
[6]	柴慧敏, 张勇, 方敏. 基于特征相似度聚类的空中目标分群方法 Aerial Target Grouping Method Based on Feature Similarity Clustering 计算机科学, 2022, 49(9): 70-75. https://doi.org/10.11896/jsjkx.210800203
[7]	郑文萍, 刘美麟, 杨贵. 一种基于节点稳定性和邻域相似性的社区发现算法 Community Detection Algorithm Based on Node Stability and Neighbor Similarity 计算机科学, 2022, 49(9): 83-91. https://doi.org/10.11896/jsjkx.220400146
[8]	吕晓锋, 赵书良, 高恒达, 武永亮, 张宝奇. 基于异质信息网的短文本特征扩充方法 Short Texts Feautre Enrichment Method Based on Heterogeneous Information Network 计算机科学, 2022, 49(9): 92-100. https://doi.org/10.11896/jsjkx.210700241
[9]	徐天慧, 郭强, 张彩明. 基于全变分比分隔距离的时序数据异常检测 Time Series Data Anomaly Detection Based on Total Variation Ratio Separation Distance 计算机科学, 2022, 49(9): 101-110. https://doi.org/10.11896/jsjkx.210600174
[10]	聂秀山, 潘嘉男, 谭智方, 刘新放, 郭杰, 尹义龙. 基于自然语言的视频片段定位综述 Overview of Natural Language Video Localization 计算机科学, 2022, 49(9): 111-122. https://doi.org/10.11896/jsjkx.220500130
[11]	曹晓雯, 梁美玉, 鲁康康. 基于细粒度语义推理的跨媒体双路对抗哈希学习模型 Fine-grained Semantic Reasoning Based Cross-media Dual-way Adversarial Hashing Learning Model 计算机科学, 2022, 49(9): 123-131. https://doi.org/10.11896/jsjkx.220600011
[12]	周旭, 钱胜胜, 李章明, 方全, 徐常胜. 基于对偶变分多模态注意力网络的不完备社会事件分类方法 Dual Variational Multi-modal Attention Network for Incomplete Social Event Classification 计算机科学, 2022, 49(9): 132-138. https://doi.org/10.11896/jsjkx.220600022
[13]	戴禹, 许林峰. 基于文本行匹配的跨图文本阅读方法 Cross-image Text Reading Method Based on Text Line Matching 计算机科学, 2022, 49(9): 139-145. https://doi.org/10.11896/jsjkx.220600032
[14]	曲倩文, 车啸平, 曲晨鑫, 李瑾如. 基于信息感知的虚拟现实用户临场感研究 Study on Information Perception Based User Presence in Virtual Reality 计算机科学, 2022, 49(9): 146-154. https://doi.org/10.11896/jsjkx.220500200
[15]	周乐员, 张剑华, 袁甜甜, 陈胜勇. 多层注意力机制融合的序列到序列中国连续手语识别和翻译 Sequence-to-Sequence Chinese Continuous Sign Language Recognition and Translation with Multi- layer Attention Mechanism Fusion 计算机科学, 2022, 49(9): 155-161. https://doi.org/10.11896/jsjkx.210800026

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed