Nodejs學(xué)習(xí)總結(jié)一(微博爬蟲)

從入門到放棄

導(dǎo)語

Nodejs是使用javascript編寫站超,運行在服務(wù)器上的,實際上就是用的瀏覽器的V8引擎。

一.基本內(nèi)容

我也不知道該寫什么QAQ瓶蚂,反正很多都是和javascript一樣的,不同的是在node環(huán)境下才能運行宣吱。有很多個模塊窃这,第一次使用還要安裝,各個模塊之間通過require來關(guān)聯(lián)征候。

二.一個發(fā)微博的小demo

  • 用到http,querystring兩個模塊杭攻,先關(guān)聯(lián)先
  var http=require('http');
  var querystring=require('querystring');
  • 將要發(fā)送的內(nèi)容轉(zhuǎn)碼
    使用querystring.stringify方法將內(nèi)容轉(zhuǎn)義洒试,具體的格式需要去你的目標網(wǎng)站的ajax請求里看,以微博為例
//weibo.com里的
var postData=querystring.stringify({
    'location':'v6_content_home',
    'style_type':1,
    'text':'此條信息由代碼發(fā)送',
    'module':'stissue',
    'pub_source':'main_',
    'pub_type':'dialog',
    '_t':0
});
  • 寫數(shù)據(jù)頭
var options={
    hostname:'weibo.com',
    part:80,
    path:'/aj/mblog/add?ajwvr=6&__rnd=1473507636522',
    method:'POST',
    headers:{
        'Accept':'*/*',
        'Accept-Encoding':'gzip, deflate',
        'Accept-Language':'zh-CN,zh;q=0.8,en;q=0.6',
        'Connection':'keep-alive',
        'Content-Length':postData.length,
        'Content-Type':'application/x-www-form-urlencoded',
        'Cookie':'SINAGLOBAL=4985208110960.924.1470552230960; wvr=6; un=wozhishigekanke@sina.com; YF-V5-G0=55fccf7be1706b6814a78384fa94e30c; SCF=AsV_DxZ8YydDJVCeTBVIDfNvxpRFRBswSB_o_hv11cKZsl4keccX7lzPaDqiR2v7S89y8QhoMeUu9nguMgdTgD8.; SUB=_2A25614FUDeTxGeRM6lUT8CfMyziIHXVZpPWcrDV8PUNbmtBeLU2tkW8m9eMNf_wMo7nalyuVEev2sdALqg..; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5WdJVuCl-za7_NhdBXHHNZ5JpX5KMhUgL.FozEeKMEeh.7ehB2dJLoI0qLxKBLBonL12BLxK-L12qLB-2LxKqL1KnLB-qLxKBLBonLB-2LxKML1-eL12zLxK-LB--LBKzt; SUHB=0FQ660L0xrePgJ; ALF=1505043588; SSOLoginState=1473507589; _s_tentry=login.sina.com.cn; UOR=,,login.sina.com.cn; Apache=8404689097517.37.1473507589378; ULV=1473507590825:68:20:13:8404689097517.37.1473507589378:1473474011382; YF-Page-G0=074bd03ae4e08433ef66c71c2777fd84',
        'Host':'weibo.com',
        'Origin':'http://weibo.com',
        'Referer':'http://weibo.com/u/2217209004/home?wvr=5',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36',
        'X-Requested-With':'XMLHttpRequest'
    }
}
  • 發(fā)送http請求
var req=http.request(options,function(res){
    //打印狀態(tài)碼和頭信息
    console.log('Status:'+res.statusCode);
    console.log('headers'+JSON.stringify(res.headers));
    //信息流,觸發(fā)
    res.on('data',function(chunk){
        //看返回的
        console.log(Buffer.isBuffer(chunk));
        console.log(typeof chunk);
    });
       //結(jié)束后打印信息
    res.on('end',function(){
        console.log('評論完畢F由稀垒棋!');
    });
});
//有錯誤的話拋出錯誤信息
req.on('error',function(e){
    console.log('Error'+e.message);
});
//將數(shù)據(jù)寫入請求
req.write(postData);
//手動結(jié)束,即使沒有數(shù)據(jù)
req.end();

然后就大功告成啦;驹住5鸺堋!


自己的微博實驗
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末衣撬,一起剝皮案震驚了整個濱河市乖订,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌具练,老刑警劉巖乍构,帶你破解...
    沈念sama閱讀 216,324評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異扛点,居然都是意外死亡哥遮,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評論 3 392
  • 文/潘曉璐 我一進店門陵究,熙熙樓的掌柜王于貴愁眉苦臉地迎上來眠饮,“玉大人,你說我怎么就攤上這事铜邮∫钦伲” “怎么了?”我有些...
    開封第一講書人閱讀 162,328評論 0 353
  • 文/不壞的土叔 我叫張陵松蒜,是天一觀的道長扔茅。 經(jīng)常有香客問我,道長秸苗,這世上最難降的妖魔是什么召娜? 我笑而不...
    開封第一講書人閱讀 58,147評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮难述,結(jié)果婚禮上萤晴,老公的妹妹穿的比我還像新娘。我一直安慰自己胁后,他們只是感情好店读,可當(dāng)我...
    茶點故事閱讀 67,160評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著攀芯,像睡著了一般屯断。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,115評論 1 296
  • 那天殖演,我揣著相機與錄音氧秘,去河邊找鬼。 笑死趴久,一個胖子當(dāng)著我的面吹牛丸相,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播彼棍,決...
    沈念sama閱讀 40,025評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼灭忠,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了座硕?” 一聲冷哼從身側(cè)響起弛作,我...
    開封第一講書人閱讀 38,867評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎华匾,沒想到半個月后映琳,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,307評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡蜘拉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,528評論 2 332
  • 正文 我和宋清朗相戀三年萨西,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片诸尽。...
    茶點故事閱讀 39,688評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡原杂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出您机,到底是詐尸還是另有隱情,我是刑警寧澤年局,帶...
    沈念sama閱讀 35,409評論 5 343
  • 正文 年R本政府宣布际看,位于F島的核電站,受9級特大地震影響矢否,放射性物質(zhì)發(fā)生泄漏仲闽。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,001評論 3 325
  • 文/蒙蒙 一僵朗、第九天 我趴在偏房一處隱蔽的房頂上張望赖欣。 院中可真熱鬧,春花似錦验庙、人聲如沸顶吮。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,657評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽悴了。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間湃交,已是汗流浹背熟空。 一陣腳步聲響...
    開封第一講書人閱讀 32,811評論 1 268
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留搞莺,地道東北人息罗。 一個月前我還...
    沈念sama閱讀 47,685評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像才沧,于是被迫代替她去往敵國和親迈喉。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,573評論 2 353

推薦閱讀更多精彩內(nèi)容