一种快速汉语分词算法.pdf

文档介绍：维普资讯
第卷第期 计 算 机 工 程 年月

．
· 人工智 能及识别技术 · 文章编号： 一 文献标识码 中圈分类号： ·
一 种 快速 汉语 分词算 法
沮 滔 ，朱巧孵，吕 强
苏州 大学 计算机 科学 与技术 学院 ， 苏州
摘 要：通过对 已柯分词算法的分析，尤其是对快速分词算法的分析 ，在对已有词表进行改进的基础上，提出了一种高效的快速分词算法，
理论 分析 表 明 ，在 大词库 下 ，该算 法 也能有 很好 的表现 。
关健词 ：分词 ；；二分法

，，
，，
【，，，
【．
、 ．
【】：：
概涟 词条比字符串大。然后用相同的方法匹配下一词条。如在切
分词就是将连续的字序列按照一定的规范重新组合成词 分 “中国人民解放军成功守住了大堤” 时，词表中以 “中”
序列的过程。在英文的行文中 ，单词之间是以空格作为 自然 开 头 的词有 多个 ， 以 “中国” 开头 的词 有 “中国青
分界符的，而中文只有存句与句之间才通过标点或段落来简 年”、 “中国人民”、 “中国银行”、 “中国政府” ，找到
单划界，词与词之间则没有