基于双向匹配法和特征选择算法的中文分词技术研究.pdf

文档介绍：第 36 卷第 1 期昆明理工大学学报( 自然科学版) Vol. 36 No. 1
2011 年 2 月 Journal of Kunming University of Science and Technology ( Natural Science Edition) Feb. 2011

doi: 10. 3969 /j. issn. 1007 - 855x. 2011. 01. 010
基于双向匹配法和特征选择
算法的中文分词技术研究
麦范金1 ,李东普2 ,岳晓光3
( 1. 桂林理工大学图书馆,广西桂林 541004; 2. 桂林理工大学信息科学与工程学院,广西桂林 541004;
3. 广西民族师范学院数学与计算机科学系,广西崇左 532200)
摘要: 传统的双向匹配算法虽然能够发现歧义现象,但是却不能解决歧义问题. 为了更好地进行
歧义消解,提出了一种基于双向匹配法和特征选择算法的中文分词技术,通过积累的语料库,设
计并实现了一个基于两种方法的分词系统. 该系统的实验结果表明,基于双向匹配法和特征选择
算法的中文分词技术比传统方法的效果要好.
关键词: 双向最大匹配; 特征选择算法; 中文分词
中图分类号: TP391. 1 文献标识码: A 文章编号: 1007 - 855X( 2011) 01 - 0047 - 05
Research on Chinese Word Segmentation Based on Bi - Direction
Marching Method and Feature Selection Algorithm
MAI Fan-jin1 ,LI Dong-pu2 ,YUE Xiao-guang3
( 1. Library,Guilin University of Technology,Guilin,Guangxi 541004,China; 2. College of Information
Science and Engineering,Guilin University of Technology,Guilin,Guangxi 541004,China; 3. Department of
Mathematics puter Science,Guangxi Normal University for Nationalities,Chongzuo,Guangxi 532200,China)
Abstract: Bi-direction marching method is a traditional algorithm,which can find ambiguity but can not solve
the ambiguity problem. In order to find a better solution,this paper proposes bination method based on bi-
direction marching method and feature selection algorithm. Thro