文档介绍：第八章:句法分析
提纲:
☆概述
☆短语结构分析
☆线图分析法
★句法分析:是指对输入的单词序列(一般为句子)判断其构成是否合乎给定的语法,分析合乎语法的句子的句法结构
★句法分析的任务:
1)判断输入的字符串是否属于某种语言
2)消除输入句子中词法和结构等方面的歧义
3)分析输入句子的内部结构,如成分构成、上下文关系等
★类型:
短语结构分析(Phrase parsing)
完全句法分析(Full parsing)
局部句法分析(Partial parsing)
依存句法分析(Dependency parsing)
概述
句法形式化(grammar formalism)属于句法理论研究的范畴
常见的机遇约束的语法:
☆功能合一语法(functional unification grammar,FUG)
☆树连接语法( tree-adjoining grammar,TAG)
☆词汇功能语法(lexical-functional grammar,LFG)
☆广义的短语结构语法(genneralized phrase structure grammar,GPSG)
☆中心语驱动的短语结构语法(head-driven phase structure grammar,HPSG)
语法形式化
句法分析方法分为:基于规则的分析方法和基于统计的分析方法
基于规则的分析方法的基本思路:由人工组织语法规则,建立语法知识库,通过条件约束和检查来实现句法结构的歧义的消除。
基于规则的分析方法的主要优点:分析算法可以利用手工编写的语法规则分析输入的句子所有可能的句法结构;对于特定的领域和目的,利用手工编写的有针对性的规则能较好地处理句子中的部分歧义和一些超语法现象。
基于规则的分析方法的缺陷:对于一个中等长度的输入句子来说,要利用大覆盖度的语法规则分析出所有可能的句子结构是非常困难的,分析过程的复杂性往往是程序无法实现;即使能够分析出句子所有可能的结构,也难以在巨大的句法分析结果集合中实现有效的消歧义,并选择出最有可能的结果。手工编写的规则一般带有一定的主观性,对于实际应用系统来说,往往难以覆盖大领域的所有复杂语言④手工编写的规则本身是一件大工作量的复杂劳动,而且编写的规则对特定的领域有密切的相关性,不利于句法分析系统向其他领域移植。
基本方法
句法分析的例子(参见前面第4章)
他还提出一系列具体措施的政策要点。
他/PN 还/AD 提出/VV 一/CD 系列/M 具体/JJ
措施/NN 政策/NN 要点/NN 。/PU
短语结构分析
( IP (NP-SBJ (PN 他))
(VP (ADVP (AD 还))
(VP (VV 提出))
(NP-OBJ(QP (CD 一)
(CLP ( M 系列)))
(NP (NP(ADJP ( JJ 具体)
(NP (NN 措施)))
( CC 和)
( NP ( NN 政策)
NN 要点))))))
( PU 。))
短语结构分析
树状表示:
IP
NP
VP
PU
PN
ADVP
VP
。
他
AD
VV
NP
还
提出 QP
NP
CD CLP
NP
CC
NP
一 M ADJP NP 和 NN NN
系列 JJ
NN
政策要点
具体措施
短语结构分析
短语结构分析:
目标:实现高正确率、高鲁棒性 (robustness)、
高速度的自动句法分析过程。
困难:自然语言中存在大量的复杂的结构 歧义
(structural ambiguity)。
短语结构分析
结构歧义
例如:(1) I saw a boy in the park.
[ I saw a boy ] in the park.
I saw a [ boy in the park].
(2) I saw a boy in the park with a telescope.
(3) I saw a boy swimming on the bridge.
(4) 关于鲁迅的文章。
(5) 把重要的书籍和手稿带走了。
短语结构分析