文档介绍：第三章词法分析
◇词法分析程序功能
◇词法分析程序的编写方法
◇正规文法与有穷自动机
◇正规式与有穷自动机
◇语言单词符号的两种定义方式
词法分析的任务是对字符串表示的源程
序从左到右地进行扫描和分解,根据语言
的词法规则识别出一个一个具有独立意义
的单词符号。
输入:源程序
输出:单词符号
词法分析程序的功能
单词符号及输出单词的形式
关键字也称基本字,例如,C语言中的if,else,while, do等, 这些字在语言中具有固定的意义,一般不作为标识符使用。
标识符表示各种名字,如变量名、常
量名、数组名和函数名等。
语言的单词符号是指语言中具有独立
意义的最小语法单位。
单词符号及输出单词的形式
常数各种类型的常数,如整型常数
125、、布尔型常数TRUE
等。
运算符如+、-、*、/、<等。
分界符如,、;、(、)、:等。
单词符号及输出单词的形式
词法分析程序输出单词的形式
词法分析程序所输出的单词符号通常表示成如下的二元组:
(单词种别,单词自身的值)
单词符号及输出单词的形式
单词种别
单词种别表示单词的种类,它是语法分析需要的信息。
为处理方便通常让每种单词对应一个整数码。
单词符号及输出单词的形式
常数: 可统归为一种,也可按类型
(整型、实型、布尔型等)分种。
关键字: 可将其全体视为一种,也可
以一字一种。
标识符: 一般统归为一种。
运算符和界符: 可采用一符一种的分法, 也可以统归为一种。
单词符号及输出单词的形式
单词自身的值
一个种别只含一个单词符号
一个种别含有多个单词符号
(1) 对于标识符其自身值是标识符自
身的字符串;
(2) 常数自身值是常数本身的二进制
数值。
单词符号及输出单词的形式
(3) 用指向某类表格一个特定项目指
针值来区分同类中不同的单词。
例如, 对于标识符用它在符号表的入口指针作为它自身值; 常数用它在常数表的入口指针作为它自身的值。
单词符号及输出单词的形式
常数自身的值用常数本身的值(转变成
标准二进制形式) 表示;
对例子: if (a>1) b =100;
假定:
基本字、运算符和界符都是一符一种;
标识符自身的值用自身的字符串表示;