文档介绍：编译原 piler Principles
黄海平
******@njupt.
piling
第三章词法分析
compiling
running
programming
教材:《编译技术原理及其实现方法》王汝传编著
第三章词法分析
本章内容
§ 引言
一、词法分析基本思想
二、词法分析任务
三、词法分析方式
四、词法分析方法
§ 单词的内部编码
一、单词
二、内部编码
§ 正规文法和状态转换图
一、正规文法
二、状态转换图
三、正规文法与状态转换图
§ 词法分析程序设计与实现
一、源程序的输入
二、缓冲区及预处理
三、超前搜索
四、由词法语法规则画状态转换图
五、词法分析程序的设计与实现
§ 正规文法和有穷自动机
一、用正规文法描述单词
二、由正规文法构造状态转换图
三、有穷自动机FA
四、有穷自动机和正规文法的关系
五、DFA与NFA的关系
§ 正规表达式和有穷自动机
一、正规表达式和正规集的定义
二、正规表达式的性质
三、正规文法、正规表达式与有穷自动机
四、由正规表达式构造确定有穷自动机
五、确定有穷自动机的化简
§ 词法分析程序的自动生成
一、问题的提出
二、语言LEX一般描述
三、LEX编译程序的实现
四、LEX目标程序
本章内容
§ 引言
一、词法分析基本思想
二、词法分析任务
三、词法分析方式
四、词法分析方法
§ 单词的内部编码
一、单词
二、内部编码
§ 正规文法和状态转换图
一、正规文法
二、状态转换图
三、正规文法与状态转换图
§ 词法分析程序设计与实现
一、源程序的输入
二、缓冲区及预处理
三、超前搜索
四、由词法语法规则画状态转换图
五、词法分析程序的设计与实现
§ 正规文法和有穷自动机
一、用正规文法描述单词
二、由正规文法构造状态转换图
三、有穷自动机FA
四、有穷自动机和正规文法的关系
五、DFA与NFA的关系
§ 正规表达式和有穷自动机
一、正规表达式和正规集的定义
二、正规表达式的性质
三、正规文法、正规表达式与有穷自动机
四、由正规表达式构造确定有穷自动机
五、确定有穷自动机的化简
§ 词法分析程序的自动生成
一、问题的提出
二、语言LEX一般描述
三、LEX编译程序的实现
四、LEX目标程序
第三章词法分析
本节内容
§ 引言
一、词法分析基本思想
二、词法分析任务
1. 识别单词
2. 消除无用字符
3. 变成内部编码
4. 建立各种表格
5. 分配存贮单元(静态变量)
6. 进行词法检查
三、词法分析方式
1. 将词法分析和语法分析程序分开
2. 将词法分析程序编写成一个独立子程序
四、词法分析方法
1. 直接分析方法
2. 状态矩阵法
第三章词法分析
引言
经过第一章的学****我们已经初步了解了编译过程及各阶段的功能,从本章开始我们将详细叙述各阶段是如何工作的。首先来看一下词法分析,这是编译的第一步,也是编译的重点,下面我们将将详细介绍词法分析的方法。
源程序
词法
分析
程序
语法
分析
程序
语义
分析
程序
中间
代码
生成
代码
优化
程序
目标
代码
生成
目标程序
信息表管理程序
错误检查和处理程序
第三章词法分析
词法分析基本思想
扫描源程序识别单词变成中间程序L1(内部编码)。
即从左到右逐个字符地扫描源程序,产生一个个独立的单词,
并将其改变成等价的中间程序,记为:L1。实际上是机器的
内部编码
符号序列
单词序列
词
法
分
析
第三章词法分析
本节内容
§ 引言
一、词法分析基本思想
二、词法分析任务
1. 识别单词
2. 消除无用字符
3. 变成内部编码
4. 建立各种表格
5. 分配存贮单元(静态变量)
6. 进行词法检查
三、词法分析方式
1. 将词法分析和语法分析程序分开
2. 将词法分析程序编写成一个独立子程序
四、词法分析方法
1. 直接分析方法
2. 状态矩阵法
第三章词法分析
识别单词
扫描源程序的一个个字符,按照语言的词法规则,识别出各类有独立意义的单词。
如:
begin , procedure , + , , abc等。
第三章词法分析