node.js 爬蟲

來(lái)源:我的博客:http://zhangfan.online/index.php?m=home&c=View&a=index&aid=58

添加依賴: npm i gbk

??????????????????npm i jsdom

創(chuàng)建 app.js 文件 復(fù)制以下內(nèi)容完了之后? ? ?node app? 運(yùn)行即可

constfs=require('fs');

consturl=require('url');

constgbk=require('gbk');

constJSDOM=require('jsdom').JSDOM;

getUrl('http://zhangfan.online',res=>{

varhtml=gbk.toString('utf-8',res);

//?console.log(`打印:${html}`);

//utf8?直接使用res??gbk?使用html?

letDOM=newJSDOM(res);

letdocument=DOM.window.document;

console.log(document.querySelector('.info?p').innerHTML);

fs.writeFile('download.html',res,()=>{

//?console.log(`保存成功${res}`);

????})

});

functiongetUrl(sUrl,backBlock){

varurlObj=url.parse(sUrl);

//?判斷協(xié)議

varhttp='';

if(urlObj.protocol=='http:'){

http=require('http');

}else{

http=require('https');

????}

//?請(qǐng)求連接

letreq=http.request({

'hostname':urlObj.hostname,

'path':urlObj.path

},res=>{

//?解決重定向問(wèn)題

if(res.statusCode==200){

console.log('end');

vararr=?[];

res.on('data',buff=>{

arr.push(buff);

????????????});

res.on('end',()=>{

letb=Buffer.concat(arr);

backBlock&&backBlock(b);

????????????});

}elseif(res.statusCode==302||res.statusCode==301){

//?這里使用了遞歸

getUrl(res.headers.location,backBlock);

????????}

????})

//?req.on('error');

req.end();

}

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末痘昌,一起剝皮案震驚了整個(gè)濱河市尸曼,隨后出現(xiàn)的幾起案子狡耻,更是在濱河造成了極大的恐慌赔硫,老刑警劉巖免都,帶你破解...
    沈念sama閱讀 221,635評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件荆烈,死亡現(xiàn)場(chǎng)離奇詭異氯迂,居然都是意外死亡贼涩,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門璃赡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)判哥,“玉大人,你說(shuō)我怎么就攤上這事碉考∷疲” “怎么了?”我有些...
    開封第一講書人閱讀 168,083評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵侯谁,是天一觀的道長(zhǎng)锌仅。 經(jīng)常有香客問(wèn)我章钾,道長(zhǎng),這世上最難降的妖魔是什么热芹? 我笑而不...
    開封第一講書人閱讀 59,640評(píng)論 1 296
  • 正文 為了忘掉前任贱傀,我火速辦了婚禮,結(jié)果婚禮上伊脓,老公的妹妹穿的比我還像新娘府寒。我一直安慰自己,他們只是感情好丽旅,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評(píng)論 6 397
  • 文/花漫 我一把揭開白布椰棘。 她就那樣靜靜地躺著纺棺,像睡著了一般榄笙。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上祷蝌,一...
    開封第一講書人閱讀 52,262評(píng)論 1 308
  • 那天茅撞,我揣著相機(jī)與錄音,去河邊找鬼巨朦。 笑死米丘,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的糊啡。 我是一名探鬼主播拄查,決...
    沈念sama閱讀 40,833評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼棚蓄!你這毒婦竟也來(lái)了堕扶?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,736評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤梭依,失蹤者是張志新(化名)和其女友劉穎稍算,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體役拴,經(jīng)...
    沈念sama閱讀 46,280評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡糊探,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了河闰。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片科平。...
    茶點(diǎn)故事閱讀 40,503評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖姜性,靈堂內(nèi)的尸體忽然破棺而出瞪慧,到底是詐尸還是另有隱情,我是刑警寧澤污抬,帶...
    沈念sama閱讀 36,185評(píng)論 5 350
  • 正文 年R本政府宣布汞贸,位于F島的核電站绳军,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏矢腻。R本人自食惡果不足惜门驾,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望多柑。 院中可真熱鬧奶是,春花似錦、人聲如沸竣灌。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)初嘹。三九已至及汉,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間屯烦,已是汗流浹背坷随。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留驻龟,地道東北人温眉。 一個(gè)月前我還...
    沈念sama閱讀 48,909評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像翁狐,于是被迫代替她去往敵國(guó)和親类溢。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評(píng)論 2 359