用c語(yǔ)言手搓一個(gè)600行的類c語(yǔ)言解釋器: 給編程初學(xué)者的解釋器教程(2)- 簡(jiǎn)介和設(shè)計(jì)
項(xiàng)目github地址及源碼:
https://github.com/yunwei37/tryC
需要了解的一些基本概念
編譯器和解釋器的區(qū)別不同
通常我們說(shuō)的 “編譯器” 是一種計(jì)算機(jī)程序挥等,負(fù)責(zé)把一種編程語(yǔ)言編寫(xiě)的源碼轉(zhuǎn)換成另外一種計(jì)算機(jī)代碼投放,后者往往是以二進(jìn)制的形式被稱為目標(biāo)代碼(object code)。這個(gè)轉(zhuǎn)換的過(guò)程通常的目的是生成可執(zhí)行的程序添瓷。
而解釋器是一種計(jì)算機(jī)程序署咽,它直接執(zhí)行由編程語(yǔ)言或腳本語(yǔ)言編寫(xiě)的代碼谱醇,它并不會(huì)把源代碼預(yù)編譯成機(jī)器碼泽论,而是一行一行地分析源代碼并且直接執(zhí)行,相對(duì)編譯器而言可能效率較為低下叫倍,但實(shí)現(xiàn)也相對(duì)簡(jiǎn)單偷卧,并且容易在不同的機(jī)器上進(jìn)行移植(比如x86和mips指令集的機(jī)器)。
先來(lái)看看通常的編譯器是如何實(shí)現(xiàn)的:
編譯器從源碼翻譯為目標(biāo)代碼大致需要這樣幾個(gè)步驟吆倦,每個(gè)步驟都依賴于上一個(gè)步驟的結(jié)果:
-
詞法分析:
編譯器對(duì)源程序進(jìn)行閱讀听诸,并將字符序列,也就是源代碼中一個(gè)個(gè)符號(hào)收集到稱作記號(hào)(token)的單元中蚕泽;比如:
num = 123.4;
這樣個(gè)賦值語(yǔ)句中晌梨,變量num算是一個(gè)token,“=”符號(hào)算是一個(gè)token须妻,“123.4”算是一個(gè)token仔蝌;每個(gè)token有自己的類別和屬性,比如“123.4”的類別是數(shù)字荒吏,屬性(值)是123.4
-
語(yǔ)法分析:
語(yǔ)法分析指將詞法分析得到的標(biāo)記流(token)進(jìn)行分析敛惊,組成事先定義好的有意義的語(yǔ)句,這與自然語(yǔ)言中句子的語(yǔ)法分析類似绰更。通城萍罚可以用抽象語(yǔ)法樹(shù)表示語(yǔ)法分析的結(jié)果,比如賦值語(yǔ)句:
num = 123.4 * 3;
可以用這樣一個(gè)抽象語(yǔ)法樹(shù)來(lái)表示:
graph TD = --> num = --> * * --> 123.4 * --> 3
-
語(yǔ)義分析:
程序的語(yǔ)義就是它的“意思”儡湾,程序的語(yǔ)義確定程序的運(yùn)行方式特恬。語(yǔ)義分析階段通常包括聲明和類型檢查、計(jì)算需要的一些屬性值等等徐钠。編譯器在這個(gè)階段中通常會(huì)維護(hù)一個(gè)叫做“符號(hào)表”的東西癌刽,保存變量的值、屬性和名稱。同樣以num = 123.4 * 3;
為例显拜,假如我們是第一次在這里遇見(jiàn)“num”衡奥,就將num的名稱字符串“num” 和當(dāng)前計(jì)算出來(lái)的初始值370.2插入符號(hào)表中,當(dāng)下次再遇見(jiàn)num時(shí)讼油。我們就知道它是一個(gè)數(shù)字杰赛,已經(jīng)初始化完畢,并且當(dāng)前值是370.2矮台;
目標(biāo)代碼生成:
在語(yǔ)義分析之后,我們就可以將語(yǔ)法分析和語(yǔ)義分析的結(jié)果(通常是抽象語(yǔ)法樹(shù))轉(zhuǎn)換成可執(zhí)行的目標(biāo)代碼根时。
解釋器與編譯器僅在代碼生成階段有區(qū)別瘦赫,而在前三個(gè)階段如詞法分析、語(yǔ)法分析蛤迎、語(yǔ)義分析基本是一樣的确虱。
當(dāng)然,已經(jīng)有許多工具可以幫助我們處理階段1和2替裆,如 flex 用于詞法分析校辩,bison 用于語(yǔ)法分析;但它們的功能都過(guò)于強(qiáng)大辆童,屏蔽了許多實(shí)現(xiàn)上的細(xì)節(jié)宜咒,對(duì)于學(xué)習(xí)構(gòu)建編譯器幫助不大,所以我們要完全手寫(xiě)這些功能把鉴。
(實(shí)際上完成一個(gè)可以跑起來(lái)的解釋器并不難故黑,而且還是一件很有成就感的事,不是嘛庭砍?)
tryC編譯器的設(shè)計(jì):
從上面可以看出场晶,我們的tryC解釋器需要這三個(gè)模塊:
- 詞法分析
- 語(yǔ)法分析
- 語(yǔ)義分析和解釋執(zhí)行
需要這兩個(gè)數(shù)據(jù)結(jié)構(gòu)(用來(lái)在階段之間保存或傳遞值):
- token,用來(lái)在詞法分析和語(yǔ)法分析之間傳遞標(biāo)記怠缸;
- 符號(hào)表诗轻,保存語(yǔ)義分析階段遇見(jiàn)的變量值,使用一個(gè)數(shù)組存儲(chǔ)揭北;
在了解過(guò)這些之后扳炬,我們來(lái)看看代碼的基本結(jié)構(gòu):
(從上往下在代碼中依次對(duì)應(yīng),“...”表示省略的相關(guān)代碼)
- 數(shù)據(jù)結(jié)構(gòu)的聲明部分:token類型罐呼、符號(hào)表結(jié)構(gòu):
#include <stdio.h>
...
typedef struct symStruct {
int type;
char name[MAXNAMESIZE];
double value;
..........
} symbol;
symbol symtab[SYMTABSIZE]; // 符號(hào)表
int symPointer = 0;
char* src, * old_src; // 當(dāng)前分析的源代碼位置指針
// tokens 的枚舉類型
enum {
Num = 128, Char, Str, Array, Func,
........
};
// token 的表示形式
int token; // current token type
union tokenValue {
symbol* ptr;
double val;
} token_val;
- 詞法分析的兩個(gè)函數(shù):
// 獲取輸入流中的下一個(gè)記號(hào):
void next() {
char* last_pos;
while (token = *src) {
++src;
if(token == AAA ){
.....
}else if(token == BBB ){
.....
}
}
}
// 匹配一個(gè)記號(hào)鞠柄,并獲取下一個(gè)token:
void match(int tk) {
if (token == tk) {
next();
}
else { // 遇到了一個(gè)錯(cuò)誤
exit(-1);
}
}
- 語(yǔ)法分析和語(yǔ)義分析,以及執(zhí)行階段:使用遞歸下降法實(shí)現(xiàn)(后面會(huì)再提到什么是遞歸下降法啦)
// 計(jì)算表達(dá)式的值:
double expression(){}
double factor(){}
double term(){}
// 計(jì)算布爾表達(dá)式的值:
int boolOR();
int boolAND();
int boolexp();
// 執(zhí)行一個(gè)語(yǔ)句嫉柴;
double statement();
// 執(zhí)行一個(gè)函數(shù):
double function();
- main() 函數(shù)厌杜,代碼的入口,并
int main(int argc, char** argv)
{
// 往符號(hào)表里面添加關(guān)鍵詞
int i, fd;
src = "array func else if return while print puts read";
for (i = Array; i <= Read; ++i) {
next();
symtab[symPointer -1].type = i;
}
src = old_src = (char*)malloc(POOLSIZE); // 分配空間
....
fd = open(*argv, 0); // 打開(kāi)讀取文件
read(fd, src, POOLSIZE - 1);
src[i] = 0;
close(fd);
next();
while (token != 0) { // 一條一條語(yǔ)句執(zhí)行
statement();
}
return 0;
}
可參照源碼查看
https://github.com/yunwei37/tryC