文档介绍：Character-based Parsing with Convolutional work
基于特征的卷积神经网络分析
复旦大学
xiaoqing zheng
基本结构
句法分析
神经网络
卷积神经网络
基于特征的卷积神经网络
实验分析
句法分析---定义
图灵测试
人工智能实现的关键在于对自然语言的分析和处理,而如何让计算机“理解”所接受到的自然语言,并且根据“分析”生成相应的回答是人工智能所面临的两大挑战。
从语言学角度看
语言学家不得不面对着这样一个问题:到底人类头脑中的语法结构和语言知识是如何获得的,一派是以乔姆斯基为代表的理性主义者;另一派是经验主义者,经验主义和统计自然语言处理成为当前研究的主流。
句法分析的定义
给定相应的语法体系,自动推导出句子的语法结构,将句子转化成对应相应语法体系的句法分析树,其中包含了句子中不同的句法单位以及之间的关系
句法分析---句法分析树
句法分析树
句子“政府鼓励民营企业家投资国家基础设施”的句法分析结果
(a) CTB中的句子分析树
(b) 二叉树
句法分析---研究现状
句法分析研究现状
句法分析,就是在给定的语法体系下,对于给定的句子,自动推导出句子的语法结构,将句子转化成相应语法结构的句法分析树,要解决以下三个问题。
,选取时所需要衡量的因素是什么?
例如: 汉语: “一个穿黑衣服的男人在河边走。”
英语: “A man dressed in black walk by the river.”
衡量的因素包括:语料库的构建成本,计算成本,应用需求,语言特点
句法分析---研究现状
,可能出现同一句子对应不同的句法结构,如何进行消歧?
基于规则的消歧被基于统计模型消歧取代,统计建模的两个步骤:第一是构建模型,也就是将设计的模型形式化表示出来。第二是模型参数估计,也就是从树库中通过学****得到所需的参数
?
如何在有限的时间内给出最优的句法分析树是句法分析算法所要考虑的问题,研究者们针对这些问题做了大量的研究,其中应用动态规划方法到句法分析算法中是最普遍的做法。
句法分析---语料库
语料库
大部分的句法分析模型都是通过有指导的学****方式从已标注好的语料库中学****模型,参数标注规模和标注质量直接影响句法分析的性能。
汉语树库 CTB (ChineseTreebank) CTB6大约有80万个词。
神经网络---感知器训练法则
我们主要考虑两种算法
感知器法则
delta法则
其中
神经网络---感知器训练法则
2. delta法则克服感应器法则的不足,在线性不可分的训练样本上,收敛到目标概念的最佳近似
delta法则的关键思想是,使用梯度下降来搜索可能的权向量的假设空间,以找到最佳拟合训练样例的权向量
delta法则为反向传播算法提供了基础,而反向传播算法能够学****多个单元的互连网络
把delta训练法则理解为训练一个无阈值的感知器
指定一个度量标准来衡量假设相对于训练样例的训练误差
神经网络---反向传播算法
用来学****多层网络的权值
采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方
网络的误差定义公式,对所有网络输出的误差求和