文档介绍：自然语言理解
语言及其理解的基本概念
词法分析
语法分析
语义分析
自然语言是指人类日常交流所使用的语言。自然语言理解主要研究如何使计算机能够理解和生成自然语言。自然语言理解既是人工智能研究较早的一个领域,同时也是现代计算机的一个必备特征。
1
1 语言及其理解的基本概念
自然语言是音义结合的词汇和语法体系。词汇是语言的基本单位,它在语法的支配下可构成有意义和可理解的句子,句子再按一定的形式构成篇章等。:
语言
词汇
语法
词
熟语
词法
句法
词素
构形法
构词法
词组构造法
造句法
词汇是语言的基本单位。熟语是指一些词的固定组合,如汉语中的成语。词又由词素构成,词素是构成词的最小有意义的单位。如“学生”是由“学”和“生”这两个词素构成的。
语法是语言的组织规律。词法是用词素或熟语构成词的规则,可分为构形法和构词法。构形法是指单数复数等。造句法是用词和词组构造句子的规则。
语言
词汇
语法
词
熟语
词法
词素
句法
构形法
构词法
词组构造法
语言
词汇
语法
词
熟语
词法
词素
造句法
句法
构形法
构词法
词组构造法
语言
词汇
语法
词
熟语
词法
词素
2
其主要任务是要找出词汇的各个词素,从中获得语言学信息,并确定单词的词义。以英语为例,其词法分析的基本算法如下:
repeat
look for word in dictionary
if not found
then modify the word
until word is found or no further modification possible
其中,word是一个变量,其初始值就是当前词。
用上述算法分析catches。
解:其分析过程如下:
catches 词典中查不到
catche 修改1:去掉s
catch 修改2:去掉e
可以看出,在修改2时就查到了catch。当然,这只是一个很简单的例子,完整的词法分析还应该包括复合词的切分等。
2 词法分析
3
3 句法分析
句法分析是对句子和短语的结构进行分析,其最大单位是一个句子。分析的目的是要找出词、短语等的相互关系,以及他们在句子中的作用等,并用一种层次结构加以表达。这种层次结构可以是句子的成分关系、,也可以是语法功能关系。
句法规则的表示方法
自顶向下与自底向上分析
4
句法规则的表示方法
句子结构的表示
一个句子是由各种不同的句子成分组成的。这些成分可以是单词、词组或从句。句子成分还可以按其作用分为主语、谓语、宾语、宾语补语、定语、状语、表语等。这种关系可用一棵树来表示,如对句子:
He wrote a book
一个句子又是由若干个词类构成的,如名词、动词、代词、形容词等。若从句子的词类来考虑,一个句子也可用一棵树来表示,这种树称为句子的分析树,。
句子
主语
谓语
动词
宾语
He
wrote
a
book
句子
代词
动词短语
动词
名词短语
He
wrote
a
book
5
上下文无关文法(Context-free Grammars)是乔姆斯基提出的一种对自然语言语法知识进行形式化描述的方法。在这种文法中,语法知识是用重写规则表示的。作为例子,下面给出了一个英语的很小的子集()。
语句→句子终标符
句子→名词短语动词短语
动词短语→动词名词短语
名词短语→冠词名词
名词短语→专用名词
冠词→ the
名词→ professor
动词→ wrote
名词→ book
动词→ trains
专用名词→ Jack
终标符→. .
这就是一个英语子集的上下文无关文法
在该文法中,“语句”是一个特殊的非终极符,称为起始符。
句法规则的表示方法
上下文无关文法(1/2)
6
句法规则的表示方法
上下文无关文法(2/2)
利用上述上下文无关文法,给出如下语句的分析树。
The professor trains Jack.
语句
句子
终标符
动词短语
名词短语
The
professor
.
trains
冠词
名词
动词
专用名词
名词短语
Jack
解:
7
句法规则的表示方法
变换文法(1/2)
上下文无关文法反映的仅是一个句子本身的层次结构和生成过程,而自然语言是上下文有关的。为此,乔姆斯基又提出了变换文法(Transformationa