nodejs深入學(xué)(3)模塊機(jī)制

前言

js是從網(wǎng)頁小腳本演變過來的粥烁,至今贤笆,前端的js庫,也不像一個(gè)真正的模塊页徐。前端js經(jīng)歷了工具類庫苏潜、組件庫、前端框架和前端應(yīng)用的變遷变勇。但是恤左,依然沒有完成真正的模塊化轉(zhuǎn)變(也就是不斷的聚類和抽象)贴唇。因?yàn)椋琷s沒有模塊飞袋,因此戳气,也就沒辦法完成真正的封裝等工作,只能通過人為的命名空間來約束代碼巧鸭。

前端js的發(fā)展之路

這個(gè)第二章就是講nodejs模塊機(jī)制的瓶您。另外,由于原書的第二章編排的比較混亂纲仍,因此呀袱,我的筆記也做了結(jié)構(gòu)上的調(diào)整。

CommonJS規(guī)范

CommonJS出現(xiàn)之前郑叠,js存在很多問題夜赵,沒有模塊系統(tǒng)、標(biāo)準(zhǔn)庫較少乡革、沒有標(biāo)準(zhǔn)接口(例如數(shù)據(jù)庫連接接口等)寇僧、缺乏包管理系統(tǒng)。

CommonJS的美好愿景是希望js在任何地方都可以運(yùn)行沸版。也就是說嘁傀,js不僅僅可以開發(fā)網(wǎng)頁程序,還可以開發(fā)服務(wù)器端程序视粮、命令行工具细办、桌面應(yīng)用以及混合應(yīng)用。CommonJS規(guī)范涵蓋了模塊蕾殴、二進(jìn)制蟹腾、Buffer、字符集編碼区宇、IO流、進(jìn)程環(huán)境值戳、文件系統(tǒng)议谷、套接字、單元測試堕虹、Web服務(wù)網(wǎng)關(guān)接口卧晓、包管理等。這種關(guān)系可以用下邊的圖來表示:

w3c赴捞、CommonJS以及Node之間的關(guān)系

node借助CommonJS的Modules規(guī)范逼裆,實(shí)現(xiàn)了一套非常易用的模塊系統(tǒng),接下來赦政,我們就講講這個(gè)由npm管理的模塊系統(tǒng)胜宇。

CommonJS的模塊規(guī)范

CommonJS的模塊規(guī)范包含三個(gè)部分:模塊引用耀怜、模塊定義和模塊標(biāo)識。

模塊引用

const math = require('math');

上邊的代碼展示了模塊引用的方法桐愉,使用的是CommonJS規(guī)范中定義的require()方法财破。通過require引入一個(gè)模塊API到當(dāng)前的上下文中。

模塊定義

對于引入的模塊从诲,CommonJS在上下文中提供了exports對象用于導(dǎo)出當(dāng)前模塊的方法或者變量左痢,同時(shí)exports也是模塊的唯一出入口,這個(gè)就類似于面向?qū)ο蟮姆庋b特性了系洛。在模塊中俊性,還存在一個(gè)module對象,它代表模塊自身描扯,也就是說定页,在node中,一個(gè)文件就是一個(gè)模塊荆烈,這個(gè)module就代表了這個(gè)文件拯勉,而這個(gè)exports只是module的一個(gè)屬性。

// math.js
exports.add = function () {
    var sum = 0,
        i = 0,
        args = arguments,
        l = args.length;
    while (i < l) {
        sum += args[i++];
    }
    return sum;
};
    ....
    ....

// program.js
var math = require('math');
exports.increment = function (val) {
    return math.add(val, 1);
};
模塊定義

模塊標(biāo)識

模塊標(biāo)識其實(shí)就是傳遞給require()方法的參數(shù)憔购,這個(gè)參數(shù)需要符合如下特點(diǎn):

1.建議使用小駝峰命名字符串
2.以.或..的相對路徑開頭宫峦,或者直接使用絕對路徑。當(dāng)然玫鸟,如果在同一個(gè)目錄下导绷,也可以直接引入。
3.文件名不需要文件名后綴.js

小結(jié)

CommonJS構(gòu)建的這套模塊導(dǎo)出和引入機(jī)制使得用戶完全不必考慮變量污染屎飘,命名空間等方案與之相比相形見絀妥曲。

Node的模塊實(shí)現(xiàn)

node模塊分類

分類 說明 加載
核心模塊 Node程序自身提供的模塊 在node源代碼編譯的過程中,就編譯進(jìn)了二進(jìn)制執(zhí)行文件钦购,屬于安裝包的一部分檐盟。在node進(jìn)程啟動(dòng)時(shí),部分核心模塊會被直接加載進(jìn)內(nèi)存押桃,因此凿菩,這部分核心模塊的引入不需要文件定位和編譯執(zhí)行府寒,并且優(yōu)先進(jìn)行路徑分析裹赴,所以核心模塊加載速度最快睛低。如果想要提高自己的node的加載速度,可以把自己的包磕昼,寫入到安裝包裝中卷雕,使之變成核心模塊。
文件模塊 用戶自己編寫的模塊和網(wǎng)絡(luò)上的第三方模塊 文件模塊是在運(yùn)行時(shí)動(dòng)態(tài)加載的票从,需要完整的路徑分析漫雕、文件定位滨嘱、編譯執(zhí)行的過程,加載速度比核心模塊加載的速度要慢蝎亚。

node模塊引入的步驟

路徑分析九孩、文件定位和編譯執(zhí)行。

模塊加載

node模塊會優(yōu)先從緩存加載发框,前端瀏覽器會緩存靜態(tài)腳本文件以提高前端的訪問速度躺彬,因此,node對引入過的模塊都會進(jìn)行緩存梅惯,以減少二次引入時(shí)的開銷宪拥。不同之處在于,瀏覽器緩存文件铣减,node緩存的是編譯和執(zhí)行后的對象她君。不論是核心模塊還是文件模塊,require()方法對相同模塊的二次加載都一律采用緩存優(yōu)先的方式葫哗,這被稱為第一優(yōu)先級缔刹。當(dāng)然,核心模塊的緩存檢查先于文件模塊的緩存檢查劣针。

優(yōu)先從緩存加載校镐,例如幾個(gè)文件都用了const router = require('koa-router')();路由這個(gè)模塊,那么可以在初始化node的時(shí)候就將這個(gè)模塊加載到緩存中捺典,這樣鸟廓,可以提高后續(xù)應(yīng)用中模塊的訪問速度襟己。

路徑分析和文件定位

因?yàn)樵毖剩瑯?biāo)識符有幾種形式:

1.核心模塊:如http骏融、fs、path等茫藏。
2..或者..開始的相對路徑文件模塊凉当。
3.以/開始的絕對路徑文件模塊看杭。
4.非路徑形式的文件模塊楼雹,例如自定義的connect模塊贮缅。

核心模塊

核心模塊的優(yōu)先級谴供,僅次于緩存加載,它在node的源代碼編輯過程中已經(jīng)編譯為二進(jìn)制代碼崎场,加載速度最快照雁。(注意:在自定義的標(biāo)識符命名上饺蚊,請不要和核心模塊產(chǎn)生沖突)

核心模塊加載時(shí)第二快的。

路徑形式的文件模塊

以.燕酷、..和/開始的標(biāo)識符苗缩,這里都被當(dāng)做文件模塊來處理,require會將這些路徑轉(zhuǎn)化成真實(shí)路徑泻肯,并以真實(shí)路徑作為索引灶挟,然后箱叁,將編譯結(jié)果放入緩存蝌蹂,以加快二次加載孤个。

路徑形式的文件模塊加載時(shí)第三快的。

自定義模塊

自定義模塊可能是一個(gè)文件或者是一個(gè)包给郊,因?yàn)榧炔皇呛诵哪K,又沒有路徑炭庙,因此加載速度是最慢的焕蹄。為了更好的理解自定義模塊,我們先來了解一下模塊路徑這個(gè)概念永品。

模塊路徑

console.log(module.paths);

通過這個(gè)語句可以查看模塊路徑,得到的模塊路徑是一個(gè)路徑數(shù)組症见。

//linux
[ '/home/jackson/research/node_modules',
'/home/jackson/node_modules',
'/home/node_modules',
'/node_modules' ]

//win
[ 'c:\\nodejs\\node_modules', 'c:\\node_modules' ]

我們可以看出,這個(gè)模塊路徑的生成規(guī)則是:
1.當(dāng)前文件目錄下的node_modules目錄
2.父目錄下的的node_modules目錄
3.爺爺目錄下的node_modules目錄
4.祖宗目錄下的的node_modules目錄,也就是向上一直找吭净,直到根目錄下的node_modules目錄

這個(gè)查找方式很像原型鏈或者作用域鏈。在加載過程中友扰,node會逐步嘗試模塊路徑中的路徑,直到找到文件為止,那么如果路徑越深梭域,模塊查找耗時(shí)就會越多介时,加載時(shí)間也就會越慢。

文件定位

文件擴(kuò)展名分析循衰、目錄和包的處理。

文件擴(kuò)展名分析

1.require中不需要包含擴(kuò)展名先鱼,node會按照.js、.json、.node的次序補(bǔ)足擴(kuò)展名伸但。由于催式,在這個(gè)過程中荣月,node會調(diào)用fs進(jìn)行單線程阻塞,因此捐下,可以為json和.node的文件加上擴(kuò)展名,以此提高效率。

另外,書中說的一句話:同步配合緩存,可以大幅度緩解node單線程中阻塞式調(diào)用的缺陷,我沒有明白挑格,準(zhǔn)備問問作者去,或者以后慢慢體會仪或。

目錄分析和包

如果文件沒有找到,但是查到了一個(gè)目錄的話,此時(shí)會將目錄當(dāng)做包來處理。首先,會在這個(gè)目錄下尋找package.json,通過JSON.parse()解析出包的描述對象,從中取出main屬性制定的文件名進(jìn)行定位。如果這些都沒有,則會默認(rèn)把index.js或者index.json或者index.node作為制定的加載文件。如果都沒有,就會報(bào)錯(cuò)了。

模塊編譯

node中每個(gè)文件就是一個(gè)模塊,他的定義如下:

function Module(id, parent) {
this.id = id;
this.exports = {};
this.parent = parent;
if (parent && parent.children) {
parent.children.push(this);
}
this.filename = null;
this.loaded = false;
this.children = [];
}

編譯過程會對不同的文件類型進(jìn)行區(qū)分:
1.js文件,通過fs模塊同步讀取后,并編譯佩捞。
2.node文件,這是用c/c++編寫的擴(kuò)展文件,通過dlopen()方法加載并編譯。
3.json文件,通過fs模塊同步讀取后郊艘,用JSON.parse()解析并返回結(jié)果胆胰。代碼如下:

// Native extension for .json
Module._extensions['.json'] = function (module, filename) {
    var content = NativeModule.require('fs').readFileSync(filename, 'utf8');
    try {
        module.exports = JSON.parse(stripBOM(content));
    } catch (err) {
        err.message = filename + ': ' + err.message;
        throw err;
    }
};

console.log(require.extensions);

//{ '.js': [Function], '.json': [Function], '.node': [Function] }
//通過require.extensions可以查看到已有的擴(kuò)展加載方式

4.其他文件厚柳,當(dāng)做js文件處理。

每一個(gè)編譯成功的模塊都會將文件路徑作為索引緩存到Module._cache對象中,提高了二次引入的性能螟左。

js模塊編譯

基于CommonJS模塊規(guī)范钳吟,每一個(gè)模塊文件都包含require暇番、exports、module三個(gè)變量派阱,同時(shí)腺劣,node API中還提供了__filename趾断、__dirname這兩個(gè)變量同云。這些,都是在編譯過程中,由node進(jìn)行的包裝误债,并自動(dòng)添加的封字,我們看一下編譯后的樣子:

(function (exports, require, module, __filename, __dirname) {
var math = require('math');
exports.area = function (radius) {
return Math.PI * radius * radius;
};
});

這樣绅这,每個(gè)文件模塊之間都有了作用域隔離奕删,包裝后,代碼會通過vm原生模塊(這里就是V8的原生模塊)調(diào)用runInThisContext()方法執(zhí)行(類似于eval)素跺,返回一個(gè)具體的function對象。這個(gè)對象,就可以被其他文件(也是模塊)調(diào)用了刻像,只不過調(diào)用只限于使用exports上的屬性和方法细睡。

另外,由于exports對象是通過形式參數(shù)傳遞的帝火,因此溜徙,直接改變賦值只會改變該形參,但不能改變作用域外的值犀填,例如:

var change = function (a) {
a = 100;
console.log(a); // => 100
};
var a = 10;
change(a);
console.log(a); // => 10

在這種情況下蠢壹,使用module.exports就可以了。

私有方法的測試

此處還需要了解另外一種引入九巡,rewire图贸,他會在編譯代碼的時(shí)候,為代碼增加set和get方法冕广,通過閉包將私有方法對外暴露疏日。

在模塊中的沒有用exports引用的都是私有方法,這部分的測試也很重要撒汉。我們可以使用rewire來進(jìn)行私有模塊的測試沟优,也就是使用rewire引用模塊

//
var limit = function (num) {
    return num < 0 ? 0 : num;
};

//測試用例
it('limit should return success', function () {
    var lib = rewire('../lib/index.js');
    var litmit = lib.__get__('limit');
    litmit(10).should.be.equal(10);
});

rewire的模塊引入和require一樣,都會為原始文件增加參數(shù):

(function(exports, require, module, __filename, __dirname) {? })

此外睬辐,他還會注入其他的代碼:

(function (exports, require, module, __filename, __dirname) {
    var method = function () { };
    exports.__set__ = function (name, value) {
        eval(name " = " value.toString());
    };
    exports.__get__ = function (name) {
        return eval(name);
    };
});

每一個(gè)被rewire引入的模塊挠阁,都會有set()和get()方法,這個(gè)就是巧妙的利用了閉包的原理溯饵,在eval()執(zhí)行時(shí)侵俗,實(shí)現(xiàn)了對模塊內(nèi)部局部變量的訪問,從而可以將局部變量導(dǎo)出給測試用例進(jìn)行調(diào)用執(zhí)行丰刊。

node模塊編譯(c/c++模塊)

通過process.dlopen()進(jìn)行編譯坡慌,但是,實(shí)際上.node是已經(jīng)通過c/c++編譯完成的文件藻三,因此洪橘,這個(gè)編譯過程只是將.node文件進(jìn)行關(guān)聯(lián)和加入緩存跪者。后邊,我們將會講解如何自己編譯c/c++文件熄求,并得到.node文件渣玲。

json模塊編譯

這個(gè)是最直接,也是最簡單的弟晚,node會直接將json在require的作用下解析為可以使用的字符串并關(guān)聯(lián)到exports上忘衍,都做完后,還會進(jìn)行緩存卿城,提高再次調(diào)用的效率枚钓。因此,不必自己再次調(diào)用JSON.parse()方法了瑟押,去解析json了搀捷。

核心模塊

node的核心模塊是c/c++和js寫的,其中c/c++文件源碼保存在node項(xiàng)目的src下多望,js文件源碼保存在node的lib下嫩舟。

js核心模塊編譯

1.首先會將js模塊文件編譯為c/c++代碼,然后才會編譯c/c++文件怀偷。
2.轉(zhuǎn)存這些由js編譯為的c/c++代碼家厌,這里node采用了v8附帶的js2c.py工具,將內(nèi)置的js代碼(src/node.js和lib/*.js)轉(zhuǎn)換為c++里的數(shù)組椎工,生成node_natives.h頭文件饭于。我們看看代碼:

namespace node {
    const char node_native[] = { 47, 47, ..};
    const char dgram_native[] = { 47, 47, ..};
    const char console_native[] = { 47, 47, ..};
    const char buffer_native[] = { 47, 47, ..};
    const char querystring_native[] = { 47, 47, ..};
    const char punycode_native[] = { 47, 42, ..};
    ...
    struct _native {
        const char* name;
        const char* source;
        size_t source_len;
    };
    static const struct _native natives[] = {
    { "node", node_native, sizeof(node_native) - 1 },
    { "dgram", dgram_native, sizeof(dgram_native) - 1 },
    ...
};
    }

這個(gè)過程中,js代碼以字符串的形式存儲在node命名空間中维蒙,是不可以被直接執(zhí)行的掰吕。在啟動(dòng)node進(jìn)程時(shí),js代碼直接加載進(jìn)內(nèi)存木西,在加載的過程中畴栖,js核心模塊經(jīng)歷標(biāo)識符分析后直接定位到內(nèi)存中随静,比普通的文件模塊從磁盤中一處一處查找要快的多八千。

編譯過程

與普通js模塊一樣,核心模塊也會經(jīng)歷包裝的過程燎猛,將require恋捆、exports、module重绷、__filename沸停、__dirname等參數(shù)增加上,并完成作用域分離昭卓。但是愤钾,這些js代碼是從內(nèi)存加載而來的瘟滨,也就是在process.binding('natives')取出,編譯后會緩存在NativeModule._cache對象上能颁。此處代碼如下:

function NativeModule(id) {
this.filename = id + '.js';
this.id = id;
this.exports = {};
this.loaded = false;
}
NativeModule._source = process.binding('natives');
NativeModule._cache = {};

c/c++核心模塊編譯過程

在核心模塊中杂瘸,有些模塊全部由c/c++編寫,有些模塊則由c/c++完成核心部分伙菊,其他部分則由js實(shí)現(xiàn)包裝或向外導(dǎo)出败玉,以滿足性能需求,這也是node能夠提高性能的一種常見方式镜硕。

這些全部由c/c++編寫的模塊被稱為內(nèi)建模塊运翼,例如:buffer、crypto兴枯、evals血淌、fs、os等

內(nèi)建模塊的組織形式

內(nèi)建模塊的結(jié)構(gòu)定義如下:

struct node_module_struct {
int version;
void *dso_handle;
const char *filename;
void (*register_func) (v8::Handle<v8::Object> target);
const char *modname;
};

每一個(gè)內(nèi)建模塊在定義后念恍,都通過NODE_MODULE宏將模塊定義到node命名空間中六剥,模塊的具體初始化方法掛載為結(jié)構(gòu)的register_func成員:

#define NODE_MODULE(modname, regfunc) \
extern "C" { \
NODE_MODULE_EXPORT node::node_module_struct modname ## _module = \
{ \
NODE_STANDARD_MODULE_STUFF, \
regfunc, \
NODE_STRINGIFY(modname) \
}; \
}

node_extensions.h文件將這些散列的內(nèi)建模塊統(tǒng)一放入一個(gè)叫node_module_list的數(shù)組中,這些模塊有:

node_buffer
node_crypto
node_evals
node_fs
node_http_parser
node_os
node_zlib
node_timer_wrap
node_tcp_wrap
node_udp_wrap
node_pipe_wrap
node_cares_wrap
node_tty_wrap
node_process_wrap
node_fs_event_wrap
node_signal_watcher

這些內(nèi)建模塊的取出也十分簡單峰伙,node提供了get_builtin_module()方法疗疟,從node_module_list數(shù)組中取出這些模塊。

內(nèi)建模塊的優(yōu)勢在于瞳氓,c/c++的效率高于js策彤,編譯后直接變?yōu)槎M(jìn)制文件,進(jìn)入緩存匣摘,直接調(diào)用店诗。

內(nèi)建模塊的導(dǎo)出

文件模塊依賴核心模塊,核心模塊依賴內(nèi)建模塊音榜。我們看個(gè)圖:

依賴關(guān)系

因此庞瘸,文件模塊不推薦調(diào)用內(nèi)建模塊,但是可以通過process.Binding()來加載內(nèi)建模塊(Binding()的實(shí)現(xiàn)正在src/node.cc中赠叼,當(dāng)然擦囊,如果不是十分了解內(nèi)建模塊,請慎重使用process.binding()來之間調(diào)用內(nèi)建模塊)

static Handle < Value > Binding(const Arguments& args) {
    HandleScope scope;
Local < String > module = args[0] -> ToString();
String:: Utf8Value module_v(module);
node_module_struct * modp;
if (binding_cache.IsEmpty()) {
    binding_cache = Persistent<Object>:: New(Object:: New());
}
Local < Object > exports;
if (binding_cache -> Has(module)) {
    exports = binding_cache -> Get(module) -> ToObject();
    return scope.Close(exports);
}
// Append a string to process.moduleLoadList
char buf[1024];
snprintf(buf, 1024, "Binding s", * module_v); %
    uint32_t l = module_load_list -> Length();
module_load_list -> Set(l, String:: New(buf));
if ((modp = get_builtin_module(* module_v)) != NULL) {
    exports = Object:: New();
    modp -> register_func(exports);
    binding_cache -> Set(module, exports);
} else if (!strcmp(* module_v, "constants")) {
    exports = Object:: New();
    DefineConstants(exports);
    binding_cache -> Set(module, exports);
    #ifdef __POSIX__
} else if (!strcmp(* module_v, "io_watcher")) {
    exports = Object:: New();
    IOWatcher:: Initialize(exports);
    binding_cache -> Set(module, exports);
    #endif
} else if (!strcmp(* module_v, "natives")) {
    exports = Object:: New();
    DefineJavaScript(exports);
    binding_cache -> Set(module, exports);
} else {
    return ThrowException(Exception:: Error(String:: New("No such module")));
}
return scope.Close(exports);
    }

在加載內(nèi)建模塊時(shí)嘴办,先創(chuàng)建一個(gè)exports空對象瞬场,然后調(diào)用get_builtin_module()方法取出內(nèi)建模塊對象,接著執(zhí)行register_func()填充到exports空對象上涧郊,最后贯被,將exports對象按照模塊名緩存,并返回給調(diào)用方。

這個(gè)方法還可以導(dǎo)出其他內(nèi)容彤灶,例如js核心文件被c/c++數(shù)組存儲后看幼,可以通過process.binding('natives')取出NativeModule._source

NativeModule._source = process.binding('natives');

該方法將通過js2c.py工具轉(zhuǎn)換出的字符串?dāng)?shù)組取出,然后重新轉(zhuǎn)換為普通字符串幌陕,已對js核心模塊進(jìn)行編譯和執(zhí)行桌吃。

核心模塊的引入流程

看圖就明白了


核心模塊的引入流程

核心模塊的編寫

前邊說了這么多,其實(shí)就是為編寫核心模塊做準(zhǔn)備的苞轿。當(dāng)然茅诱,盡管我們沒有參與核心模塊編寫的機(jī)會,但是搬卒,了解其原理瑟俭,總是好的。

我們給出一個(gè)簡單的js版本模型契邀,也就是hello world來看一下如何編寫c/c++核心模塊摆寄。

exports.sayHello = function () {
return 'Hello world!';
};

第一步:編寫頭文件和編寫c/c++
寫一個(gè)node_hello.h并保存到node的src下

#ifndef NODE_HELLO_H_
#define NODE_HELLO_H_
#include <v8.h>
namespace node {
// 預(yù)定義方法
v8::Handle<v8::Value> SayHello(const v8::Arguments& args);
}
#endif

第二步編寫node_hello.cc并保存到node的src下

#include < node.h >
#include < node_hello.h >
#include < v8.h >
    namespace node {
    using namespace v8;
    // 實(shí)現(xiàn)預(yù)定義的方法
    Handle < Value > SayHello(const Arguments& args) {
HandleScope scope;
    return scope.Close(String:: New("Hello world!"));
}
// 給傳入的目標(biāo)對象添加sayHello方法
void Init_Hello(Handle < Object > target) {
    target -> Set(String:: NewSymbol("sayHello"), FunctionTemplate:: New(SayHello) -> GetFunction());
}
}
// 調(diào)用NODE_MODULE()將注冊方法定義到內(nèi)存中
NODE_MODULE(node_hello, node:: Init_Hello)

第三步:

修改src/node_extensions.h,在NODE_EXT_LIST_END前坯门,添加NODE_EXT_LIST_ITEM(node_hello)微饥,以此,將node_hello加入到node_module_list數(shù)組中古戴。

第四步:

編譯兩份代碼欠橘,變?yōu)榭蓤?zhí)行文件。

第五步:

修改node.gyp现恼,并在target_name:node節(jié)點(diǎn)的sources中添加上新編寫的兩個(gè)文件肃续。然后,從新編譯整個(gè)node項(xiàng)目叉袍。

編譯安裝后始锚,就可以使用了。

$ node
> var hello = process.binding('hello');
> hello.sayHello();
'Hello world!'
>

c/c++擴(kuò)展模塊

js的位運(yùn)算是參考java實(shí)現(xiàn)的喳逛,但是瞧捌,java的位運(yùn)算是基于int的,js中只有double润文,因此姐呐,需要先將double轉(zhuǎn)換為int,因此转唉,效率不是很高皮钠。

在應(yīng)用中稳捆,會存在大量的位運(yùn)算需求赠法,包括轉(zhuǎn)碼、編碼、解碼等砖织,此時(shí)款侵,可以使用c/c++擴(kuò)展模塊來節(jié)省cpu資源。

c/c++擴(kuò)展模塊屬于node文件模塊的一類侧纯,首先將c/c++編譯為.node文件新锈,然后通過process.dlopen()方法加載執(zhí)行。(此處需要注意眶熬,不同平臺由于編譯器的差異妹笆,因此,編譯的結(jié)果其實(shí)也不一樣娜氏,inx下通過g++/gcc編譯為的是.so拳缠,win下編譯出的是.dll,node統(tǒng)一將其命名為*.node)贸弥,我們來看下邊這個(gè)圖做的詳細(xì)介紹:

擴(kuò)展模塊不同平臺上的編譯和加載過程

前提條件

1.GYP項(xiàng)目生產(chǎn)工具窟坐,Generate Your Projects,哈哈哈绵疲,生成你的項(xiàng)目哲鸳,may the force be with you....通過gyp工具,幫助生成各個(gè)平臺下的項(xiàng)目文件盔憨,例如win下的.sln徙菠,mac下的文件等,另外郁岩,node自身編碼其實(shí)就是通過gyp編譯的懒豹,我們還可以找一個(gè)擴(kuò)展工具node-gyp,安裝如下:

npm install -g node-gyp

2.V8引擎c++庫驯用,v8是c++寫的脸秽,實(shí)現(xiàn)js和c++相互調(diào)用
3.libuv庫,通過libuv調(diào)用底層功能蝴乔,例如事件循環(huán)的epoll记餐,還有文件操作等等
4.node內(nèi)部庫,例如node::ObjectWrap類可以用于包裝你自己寫的自定義類薇正,它可以幫助實(shí)現(xiàn)對象回收等工作片酝。
5.其他庫,這些庫存在于deps下挖腰,例如zlib雕沿、openssl、http_parser

c/c++擴(kuò)展模塊的編寫

前邊鋪墊了這么多猴仑,終于要進(jìn)行編寫了审轮,好激動(dòng)哈哈哈哈。

c/c++擴(kuò)展模塊,可以先編譯疾渣,然后直接通過dlopen()動(dòng)態(tài)加載篡诽,不需要跟隨node一起編譯。

我們來看一下同樣的hello world是如何加載的:

exports.sayHello = function () {
return 'Hello world!';
};

編寫hello.cc榴捡,并存儲到src下

#include <node.h>
#include <v8.h>
using namespace v8;
// 實(shí)現(xiàn)預(yù)定義的方法
Handle<Value> SayHello(const Arguments& args) {
HandleScope scope;
return scope.Close(String::New("Hello world!"));
}
// 給傳入的目標(biāo)對象添加sayHello()方法
void Init_Hello(Handle<Object> target) {
target->Set(String::NewSymbol("sayHello"), FunctionTemplate::New(SayHello)->GetFunction());
}
// 調(diào)用NODE_MODULE()方法將注?方法定義到內(nèi)存中
NODE_MODULE(hello, Init_Hello)

然后杈女,將方法掛載到target對象上,然后通過NODE_MODULE聲明即可吊圾。

然后就可以通過dlopen()動(dòng)態(tài)加載了达椰。

c/c++擴(kuò)展模塊的編譯

在gyp的幫助下進(jìn)行編譯,先寫*.gyp文件项乒,然后調(diào)用node-gyp進(jìn)行編譯砰碴,這個(gè)文件被約定外binding.gyp

{
    'targets': [
        {
            'target_name': 'hello',
            'sources': [
                'src/hello.cc'
            ],
            'conditions': [
                ['OS == "win"',
                    {
                        'libraries': ['-lnode.lib']
                    }
                ]
            ]
        }
    ]
}

然后執(zhí)行:

node-gyp configure

輸出結(jié)果:

gyp info it worked if it ends with ok
gyp info using node-gyp@0.8.3
gyp info using node@0.8.14 | darwin | x64
gyp info spawn python
gyp info spawn args [ '/usr/local/lib/node_modules/node-gyp/gyp/gyp',
gyp info spawn args 'binding.gyp',
gyp info spawn args '-f',
gyp info spawn args 'make',
gyp info spawn args '-I',
gyp info spawn args '/Users/jacksontian/git/diveintonode/examples/02/addon/build/config.gypi',
gyp info spawn args '-I',
gyp info spawn args '/usr/local/lib/node_modules/node-gyp/addon.gypi',
gyp info spawn args '-I',
gyp info spawn args '/Users/jacksontian/.node-gyp/0.8.14/common.gypi',
gyp info spawn args '-Dlibrary=shared_library',
gyp info spawn args '-Dvisibility=default',
gyp info spawn args '-Dnode_root_dir=/Users/jacksontian/.node-gyp/0.8.14',
gyp info spawn args '-Dmodule_root_dir=/Users/jacksontian/git/diveintonode/examples/02/addon',
gyp info spawn args '--depth=.',
gyp info spawn args '--generator-output',
gyp info spawn args 'build',
gyp info spawn args '-Goutput_dir=.' ]
gyp info ok

node-gyp configure會在當(dāng)前目錄創(chuàng)建build目錄板丽,并生成相關(guān)的項(xiàng)目文件,*inx下build目錄會有Makefile等文件埃碱,win下,會生成vcxproj等文件

然后執(zhí)行構(gòu)建命令

$ node-gyp build

會輸出

gyp info it worked if it ends with ok
gyp info using node-gyp@0.8.3
gyp info using node@0.8.14 | darwin | x64
gyp info spawn make
gyp info spawn args [ 'BUILDTYPE=Release', '-C', 'build' ]
CXX(target) Release/obj.target/hello/hello.o
SOLINK_MODULE(target) Release/hello.node
SOLINK_MODULE(target) Release/hello.node: Finished
gyp info ok

最終獲得了build/Release/hello.node文件砚殿。

c/c++擴(kuò)展模塊的加載

直接使用require就可以了啃憎,這里node會調(diào)用process.dlopen()動(dòng)態(tài)加載這個(gè)文件,然后使用即可似炎。

var hello = require('./build/Release/hello.node');
//這里node會調(diào)用process.dlopen()動(dòng)態(tài)加載這個(gè)文件:
//Native extension for .node
//Module._extensions['.node'] = process.dlopen;
console.log(hello.sayHello());

process.dlopen()的引入過程

1.通過libuv庫,調(diào)用uv_dlopen()打開動(dòng)態(tài)鏈接庫羡藐。
2.通過libuv庫,調(diào)用uv_dlsym()找到動(dòng)態(tài)鏈接庫中通過NODE_MODULE宏定義的方法地址仆嗦。

注意:libuv是一層封裝辉阶,那么在*inx下調(diào)用的是dlfcn.h?頭文件定義的dlopen()和dlsym(),在win下則是LoadLibraryExW()和GetProcAddress()

process.dlopen()的引入過程

由于編寫模塊時(shí)瘩扼,通過NODE_MODULE將模塊定義為node_module_struct結(jié)構(gòu)谆甜,所以在獲取函數(shù)地址之后集绰,將它映射為node_module_struct幾乎是無縫對接的。接下來的過程就是講傳入的exports對象作為實(shí)參運(yùn)行栽燕,將c++中定義的方法掛載在exports對象上改淑,這樣就可以實(shí)現(xiàn)跟js文件模塊一樣的調(diào)用效果了炫贤。另外付秕,因?yàn)椋?.node是已經(jīng)編譯好的兰珍,因此询吴,無需在加載后進(jìn)行編譯,這也提高了一些速度猛计。

模塊調(diào)用棧

模塊調(diào)用棧,也就是各個(gè)模塊之間的調(diào)用關(guān)系奉瘤。

模塊之間的調(diào)用關(guān)系

通過這個(gè)圖,我們還可以看出js模塊既可以是功能模塊藕赞,也可是作為c/c++模塊的包裝。

包與npm

首先斧蜕,我們來看一下弱類型的js是如何基于CommonJS實(shí)現(xiàn)包組織模塊的:

包組織模塊示意圖

同時(shí)砚偶,CommonJS對于包的規(guī)范也很簡單批销,只有包結(jié)構(gòu)和包描述兩部分染坯。

包結(jié)構(gòu)

符合commonjs規(guī)范的包是這樣?jì)鸬模?br> 1.package.json,包描述文件
2.bin骡技,存放可執(zhí)行二進(jìn)制文件的目錄,有時(shí)羞反,開發(fā)的程序可能是一個(gè)命令行工具布朦,因此,通過全局安裝昼窗,那么就可以到bin下找到執(zhí)行命令的工具了。
3.lib唆途,用于存放js代碼的目錄
4.doc富雅,用于存放文檔的目錄
5.test肛搬,用于存放單元測試用例的代碼的目錄

包描述

包描述文件,就是一個(gè)package.json蛤奢,它需要包含:
1.name,包名啤贩,包名必須是唯一的拜秧。
2.description痹屹,包簡介
3.version枉氮,版本號。通常為major.minor.revision的格式足画,版本號可以控制npm下載不同的版本佃牛,確認(rèn)是開發(fā)版本還是測試版本等淹辞。
4.keywords俘侠,幫助npm進(jìn)行搜索。
5.maintaners央星,維護(hù)者列表,格式是maintaners:[{name,email,web}]
6.contributors莉给,貢獻(xiàn)者列表廉沮,格式是contributors:[{name,email,web}]
7.bugs,反饋bugs的網(wǎng)址
8.licenses滞时,許可。
9.repositories坪稽,代碼托管地址
10.dependencies鳞骤,包依賴黍判,通過這個(gè)依賴可以確認(rèn)那些包需要被下載。
11.homepage顷帖,可選,當(dāng)前包的相關(guān)網(wǎng)頁
12.os陈症,操作系統(tǒng)
13.cpu震糖,cpu
14.engine,支持js的引擎吊说,可以填寫ejs优炬、 flusspferd颁井、 gpsee蠢护、 jsc、spidermonkey眉抬、 narwhal懈凹、 node和v8蜀变。
15.builtin介评,標(biāo)志當(dāng)前包是否是內(nèi)建在底層系統(tǒng)的標(biāo)志組件
16.directories,包目錄說明
17.implements寒瓦,實(shí)現(xiàn)規(guī)范,標(biāo)志當(dāng)前包實(shí)現(xiàn)了哪些commonjs規(guī)范孵构。
18.scripts烟很,腳本對象說明蜡镶,說明安裝、編譯官还、測試毒坛、卸載

"scripts": { "install": "install.js",
"uninstall": "uninstall.js",
"build": "build.js",
"doc": "make-doc.js",
"test": "test.js" }

19.author,包作者
20.main煎殷,require()會尋找main指定的程序入口,如果沒寫劣摇,則為index,并輪詢查找index.js末融、index.node暇韧、index.json
21.devDependencies,開發(fā)模式下的依賴懈玻。

我們來看一下express的package.json文件:

{
    "name": "express",
        "description": "Sinatra inspired web development framework",
            "version": "3.3.4",
                "author": "TJ Holowaychuk <tj@vision-media.ca>",
                    "contributors": [
                        {
                            "name": "TJ Holowaychuk",
                            "email": "tj@vision-media.ca"
                        },
                        {
                            "name": "Aaron Heckmann",
                            "email": "aaron.heckmann+github@gmail.com"
                        },
                        {
                            "name": "Ciaran Jessup",
                            "email": "ciaranj@gmail.com"
                        },
                        {
                            "name": "Guillermo Rauch",
                            "email": "rauchg@gmail.com"
                        }
                    ],
                        "dependencies": {
        "connect": "2.8.4",
            "commander": "1.2.0",
                "range-parser": "0.0.4",
                    "mkdirp": "0.3.5",
                        "cookie": "0.1.0",
                            "buffer-crc32": "0.2.1",
                                "fresh": "0.1.0",
                                    "methods": "0.0.1",
                                        "send": "0.1.3",
                                            "cookie-signature": "1.0.1",
                                                "debug": "*"
    },
    "devDependencies": {
        "ejs": "*",
            "mocha": "*",
                "jade": "0.30.0",
                    "hjs": "*",
                        "stylus": "*",
                            "should": "*",
                                "connect-redis": "*",
                                    "marked": "*",
                                        "supertest": "0.6.0"
    }
    "keywords": [
        "express",
        "framework",
        "sinatra",
        "web",
        "rest",
        "restful",
        "router",
        "app",
        "api"
    ],
        "repository": "git://github.com/visionmedia/express",
            "main": "index",
                "bin": {
        "express": "./bin/express"
    },
    "scripts": {
        "prepublish": "npm prune",
            "test": "make test"
    },
    "engines": {
        "node": "*"
    }
}

npm常用功能

1.查看幫助涂乌,例如npm help <command>
2.安裝依賴包艺栈,npm install骂倘,當(dāng)然,還有全局安裝诅需,也就是-g荧库,它根據(jù)package.json描述的bin字段進(jìn)行配置堰塌,將實(shí)際腳本鏈接到與node可執(zhí)行文件相同的路徑下分衫。這個(gè)目錄可以通過path.resolve(process.execPath, '..', '..', 'lib', 'node_modules');推算。如果node可執(zhí)行位置是/usr/local/bin/node牵现,那么這個(gè)全局安裝的模塊就在/usr/local/lib/node_modules下铐懊。然后通過軟鏈接的方式,鏈接到node可執(zhí)行目錄下宴杀。另外茅茂,還可以進(jìn)行本地安裝太抓,只需要指明要安裝的包的package.json所在的位置即可(位置可以使url空闲、文件和文件夾)走敌。還可以從非官方源安裝,執(zhí)行時(shí)需要增加后綴影斑,--registry=http://registry.url给赞,例如:npm install underscore -registry=http://registry.url如果使用過程幾乎都采用鏡像源安裝,可以通過命令修改默認(rèn)源:npm config set registry http://registry.url

npm鉤子命令

鉤子命令如下:

"scripts": {
"preinstall": "preinstall.js",
"install": "install.js",
"uninstall": "uninstall.js",
"test": "test.js"
}

例如残邀,npm test會自動(dòng)指向test目錄柑蛇,并執(zhí)行測試。此時(shí)耻台,會調(diào)用package.json中的測試命令,以此進(jìn)行測試盆耽。

包發(fā)布

筆者自己也寫過包,并發(fā)布坝咐,對析恢,這個(gè)筆者不是樸靈,是我映挂,是我盗尸,是我白昔月帽撑。名字為票市通對接云之訊短信接口振劳,地址是:https://www.npmjs.com/package/bimartmessage油狂,大家可以看看

1.編寫模塊
2.初始化package.js,可以用npm init快速進(jìn)行
3.注冊包倉庫賬戶弱贼,npm adduser
4.上傳包磷蛹,npm publish <folder>
5.安裝包,npm install
6.管理包權(quán)限味咳,npm owner,通過這個(gè)命令可以添加槽驶、刪除、查看幫助寫包的人罕拂。

npm owner ls <package name>
npm owner add <user> <package name>
npm owner rm <user> <package name>

分析包

使用 npm ls分析包全陨。


使用 npm ls分析包

局域npm

這個(gè)可以看附錄D,不過辱姨,我不一定寫那部分筆記,如果寫了雨涛,再補(bǔ)充吧,先看看局域npm的結(jié)構(gòu):


混合使用官方倉庫和局域倉庫的示意圖

另外祟辟,企業(yè)內(nèi)部使用局域npm侣肄,可以保證企業(yè)內(nèi)部的開發(fā)協(xié)助,杜絕企業(yè)內(nèi)部的程序大量的復(fù)制粘貼,造成代碼的不可維護(hù)僚纷。通過企業(yè)內(nèi)部的npm對代碼拗盒、對包進(jìn)行統(tǒng)一管理怖竭,從而提高項(xiàng)目的維護(hù)和使用效率陡蝇。

npm潛在問題

安全問題,不用使用來路不明的包广匙。如果大企業(yè)的話恼策,一定要經(jīng)過安全部門的認(rèn)證才可以使用。
排查npm潛在問題的步驟如下:
1.具備良好的測試
2.具備良好的文檔分唾,readme狮斗、api等
3.具備良好的測試覆蓋率
4.具備良好的編碼規(guī)范
5.其他各種手段......

前后端共用模塊

前端的瓶頸在于帶寬和瀏覽器兼容(需要網(wǎng)絡(luò)加載資源),后端的瓶頸在于cpu和內(nèi)存使用情龄。因此捍壤,commonjs給出了AMD規(guī)范,Asynchronous Module Definition鹃觉,也就是異步模塊定義。另外祷肯,阿里的玉伯還提出了CMD規(guī)范疗隶。

AMD規(guī)范

AMD規(guī)范定義模塊:define(id?, dependencies?, factory);
id和依賴是可選的,factory是實(shí)際的代碼斑鼻,我們看個(gè)例子:

define(function () {
    var exports = {};
    exports.sayHello = function () {
        alert('Hello from module: ' + module.id);
    };
    return exports;
});

通過define包裝,進(jìn)行作用域隔離,避免污染全局變量或者全局命名空間关摇。同時(shí)碾阁,結(jié)果通過返回方式導(dǎo)出。(node是require()加載導(dǎo)出)

CMD規(guī)范

我們來比較一下AMD和CMD

先看AMD

//依賴脂凶,也就是node中的require,需要在定義時(shí)引入蚕钦,不是動(dòng)態(tài)的。
define(['dep1', 'dep2'], function (dep1, dep2) {
return function () {};
});

再看CMD

define(factory);
//然后在需要依賴時(shí)命贴,CMD動(dòng)態(tài)引入
define(function(require, exports, module) {
// The module code goes here
//依賴通過require, exports, module傳遞給模塊食听,通過require()可以隨時(shí)動(dòng)態(tài)引入需要的依賴
})

兼容多種模塊規(guī)范

為了讓同一個(gè)模塊可以運(yùn)行在前后端,開發(fā)者需要將類庫封裝在一個(gè)閉包內(nèi)(這個(gè)閉包可以貯存在內(nèi)存中樱报,供反復(fù)使用),下面寫一個(gè)代碼民珍,兼容node、AMD嚷量、CMD和常見瀏覽器環(huán)境逆趣。(應(yīng)用方面,比如計(jì)算錢的時(shí)候宣渗,就需要這樣的前后端統(tǒng)一的處理方式,還有就是日期等都是有需要的)

; (function (name, definition) {
    // 檢測上下文環(huán)境是否為AMD或者 CMD
    var hasDefine = typeof define === 'function',
        // 檢查上下文環(huán)境是否為Node
        hasExports = typeof module !== 'undefined' && module.exports;
    if (hasDefine) {
        // AMD環(huán)境或者 CMD環(huán)境
        define(definition);
    } else if (hasExports) {
        // 定義為普通Node模塊
        module.exports = definition();
    } else {
        // 將模塊的執(zhí)行結(jié)果掛在window變量中田轧,在瀏覽器中this指向window對象
        this[name] = definition();
    }
})('hello', function () {
    var hello = function () { };
    return hello;
});
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末鞍恢,一起剝皮案震驚了整個(gè)濱河市巷查,隨后出現(xiàn)的幾起案子抹腿,更是在濱河造成了極大的恐慌,老刑警劉巖警绩,帶你破解...
    沈念sama閱讀 219,490評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異后室,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)岸霹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評論 3 395
  • 文/潘曉璐 我一進(jìn)店門将饺,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人予弧,你說我怎么就攤上這事∩蹦恚” “怎么了蚓庭?”我有些...
    開封第一講書人閱讀 165,830評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長器赞。 經(jīng)常有香客問我,道長惶桐,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,957評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮授舟,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘释树。我一直安慰自己,他們只是感情好奢啥,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,974評論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著寂纪,像睡著了一般赌结。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上柬姚,一...
    開封第一講書人閱讀 51,754評論 1 307
  • 那天,我揣著相機(jī)與錄音搬设,去河邊找鬼撕捍。 笑死焕梅,一個(gè)胖子當(dāng)著我的面吹牛卦洽,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播该窗,決...
    沈念sama閱讀 40,464評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼蚤霞,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了昧绣?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤拖刃,失蹤者是張志新(化名)和其女友劉穎贪绘,沒想到半個(gè)月后兑牡,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體税灌,經(jīng)...
    沈念sama閱讀 45,847評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,995評論 3 338
  • 正文 我和宋清朗相戀三年苞也,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片收毫。...
    茶點(diǎn)故事閱讀 40,137評論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡氓涣,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出劳吠,到底是詐尸還是另有隱情,我是刑警寧澤痒玩,帶...
    沈念sama閱讀 35,819評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站奴曙,受9級特大地震影響草讶,放射性物質(zhì)發(fā)生泄漏洽糟。R本人自食惡果不足惜堕战,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,482評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望薪介。 院中可真熱鬧越驻,春花似錦、人聲如沸缀旁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,023評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽履澳。三九已至嘶窄,卻和暖如春距贷,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背忠蝗。 一陣腳步聲響...
    開封第一講書人閱讀 33,149評論 1 272
  • 我被黑心中介騙來泰國打工阁最, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留戒祠,地道東北人速种。 一個(gè)月前我還...
    沈念sama閱讀 48,409評論 3 373
  • 正文 我出身青樓配阵,卻偏偏與公主長得像馏颂,于是被迫代替她去往敵國和親棋傍。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,086評論 2 355

推薦閱讀更多精彩內(nèi)容