计算机科学 ›› 2007, Vol. 34 ›› Issue (6): 223-225.

• 计算机网络与信息安全 • 上一篇    下一篇

统计自然语言处理中的线性插值平滑技术

张敬芝 高强 耿桦 潘金贵   

  1. 南京大学计算机软件新技术国家重点实验室,南京210093
  • 出版日期:2018-11-16 发布日期:2018-11-16

ZHANG Jing-Zhi, GAO Qiang, GENG Hua, PAN Jin-Gui (State Key Laboratory for Novel Software Technology of Nanjing University,Nanjing 210093)   

  • Online:2018-11-16 Published:2018-11-16

摘要: 统计自然语言处理中,一个很复杂的问题是数据稀疏问题。主要有两种平滑方法解决:回退法和线性插值法。本文分析和比较了几种典型的线性插值方法,着重研究了它们所引发的词性聚类倾向。在此基础上,给出了2种改进的平滑方法。实验表明,改进的方法比原来的方法有更出色的平滑效果。

关键词: 统计语言模型 数据稀疏问题 平滑技术 回退法 线性插值法 n-gram

Abstract: One of the complicated problems in statistical natural language processing is the data-sparseness problem. There are mainly two kinds of smoothing technologies to solve it, backing-off models and linear interpolated models. This article compares several t

Key words: Statistical language model,Data sparse problem, Smoothing technology,Backing- off methods,Linear interpolated methods, N-gram

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!