最大熵方法及其在自然语言处理中的应用.pdf

文档介绍：复月 大学博 学位 论文
学校代码
馨 学 号
很, 大
博 士 学 位 论 文
最 大嫡 方 法及其在 自然语 言处理 中的应 用
,
系姓专 所 信 息科学与工程学院
业 计 算机软件与 理论
名 周稚倩
指 导 教 师 吴 立德 教 授
指 导 小 组 黄置普 副 教授
郭跃飞 副教授
复 旦 大学博 学位论文 摘 要
摘 要
, ,
近 年来 计算机技术得到 了 飞速 的发展 机器 的存储 量越来越大 , 运 算速度
, ,
越来越快 而 价格却 越来越便宜 这样的客观条件推动 了基于 语料库 的统 计 自然
。
语言处理 方法成为 目前 自然 语言处 理研 究领域 的一个 热点 最 大嫡方 法是一 种基
, , ,
于统计的机器学 习 方法 近 年来 成功应 用于 自然语言处理 的许 多领域 并
。
且都接近或 达 到最佳水平
,
所 谓最大嫡方法 就是遵循最大嫡原则建模 也就 是选择 这样的一 个统计 概 率
。
模型 在满足约 束 的模 型 中选择墒最 大的 那 个 最 大嫡 方法 的优 点 在于 它 有简 单
,
的哲学原理 以及 数学推理 作 为基础 , 在最大墒模型 这个统 一 的框 架下 非常方 便
, , 。
的使用 多种特 征 而 且特 征之 间没有独立性假设 模 型表达 能力强 它 的缺点是
训 练速度 非常慢 , 耗 资源 。
, , 。
在这 篇论文 中 我们 首先 介绍 最 大嫡方法的基本原理 数 学推导 和 基本算法
然 后 分 别 从 训 练和 执行 两 个方 面 提 出快速方 法 选 择性增 益 计 算方 法 和 稀 疏特征
。 ,
树方