node+phantomjs+cheerio 實現爬蟲(爬取百度圖片)

1.安裝 phantomjs
下載
http://phantomjs.org/download.html
解壓配環(huán)境變量
npm i phantomjs
2.安裝 cheerio
使用管理員身份運行cmd
npm install -g cheerio
3.node 代碼
pa.js

const phantom = require('phantom')
const cheerio = require('cheerio')
const request = require('request')
const fs = require('fs')
function delay(second) {
    return new Promise((resolve) => {
        setTimeout(resolve, second * 1000);
    });
}
let url = 'http://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%CF%C4%C4%BF%D3%D1%C8%CB%D5%CA%B1%DA%D6%BD1080&fr=ala&ala=1&alatpl=adress&pos=0&hs=2&xthttps=000000'
function save(url) {
    let ext = url.split('.').pop()
    request(url).pipe(fs.createWriteStream(`./image/${new Date().getTime()}.${ext}`));
}
(async function() {
    let instance = await phantom.create();
    let page = await instance.createPage();
    let status = await page.open(url);
    let size = await page.property('viewportSize', {
        width: 1920,
        height: 1080
    })
    let $
    async function pageScroll(i) {
        await delay(1)
        await page.property('scrollPosition', {
            left: 0,
            top: 1000 * i
        })
        let content = await page.property('content')
        $ = cheerio.load(content)
        if($('.imgbox').length < 200) {
            await pageScroll(++i)
        }
    }
    await pageScroll(0)
    let urlList = []
    $('.imgbox').each(function() {
        urlList.push('https://image.baidu.com'+$(this).find('a').attr('href'))
    })
    async function imgSave(i) {
        let status = await page.open(urlList[i])
        await delay(1)
        let content = await page.property('content')
        $ = cheerio.load(content)
        let src = $('#currentImg').attr('src')
        save(src)
        if(i<urlList.length) {
            await imgSave(++i)
        }
    }
    await imgSave(0)
    await instance.exit()
}());

4.執(zhí)行目錄創(chuàng)建image 文件夾(存放爬的圖片)
5.在此處執(zhí)行cmd
node pa.js

然后等著圖片一個個出來吧 滑稽

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末僚焦,一起剝皮案震驚了整個濱河市荞下,隨后出現的幾起案子忘蟹,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件然走,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機寒跳,發(fā)現死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來竹椒,“玉大人童太,你說我怎么就攤上這事⌒赝辏” “怎么了书释?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長赊窥。 經常有香客問我爆惧,道長,這世上最難降的妖魔是什么锨能? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任扯再,我火速辦了婚禮,結果婚禮上址遇,老公的妹妹穿的比我還像新娘熄阻。我一直安慰自己,他們只是感情好倔约,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布秃殉。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪钾军。 梳的紋絲不亂的頭發(fā)上脖卖,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天,我揣著相機與錄音巧颈,去河邊找鬼畦木。 笑死,一個胖子當著我的面吹牛砸泛,可吹牛的內容都是我干的十籍。 我是一名探鬼主播,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼唇礁,長吁一口氣:“原來是場噩夢啊……” “哼勾栗!你這毒婦竟也來了?” 一聲冷哼從身側響起盏筐,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤围俘,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后琢融,有當地人在樹林里發(fā)現了一具尸體界牡,經...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年漾抬,在試婚紗的時候發(fā)現自己被綠了宿亡。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡纳令,死狀恐怖挽荠,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情平绩,我是刑警寧澤圈匆,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站捏雌,受9級特大地震影響跃赚,放射性物質發(fā)生泄漏。R本人自食惡果不足惜腹忽,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一来累、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧窘奏,春花似錦嘹锁、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春摔竿,著一層夾襖步出監(jiān)牢的瞬間面粮,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工继低, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留熬苍,地道東北人。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓袁翁,卻偏偏與公主長得像柴底,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子粱胜,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內容

  • Node.js是目前非潮ぃ火熱的技術,但是它的誕生經歷卻很奇特焙压。 眾所周知鸿脓,在Netscape設計出JavaScri...
    w_zhuan閱讀 3,613評論 2 41
  • 概要 64學時 3.5學分 章節(jié)安排 電子商務網站概況 HTML5+CSS3 JavaScript Node 電子...
    阿啊阿吖丁閱讀 9,184評論 0 3
  • 編寫爬蟲時,如果單純是靜態(tài)網站涯曲,Nodejs的cheerio,requests以及Python的urlib野哭、url...
    Evtion閱讀 4,111評論 0 3
  • Node.js是目前非常火熱的技術掀抹,但是它的誕生經歷卻很奇特虐拓。 眾所周知心俗,在Netscape設計出JavaScri...
    Myselfyan閱讀 4,072評論 2 58
  • 大家現在好城榛,我是耐心揪利,過中秋節(jié)了,在城市漂泊的人也回家團聚了狠持,今年很男難得疟位,全都回家了,這個中秋老媽有點忙喘垂,然后我...
    心羽暖姐姐閱讀 128評論 2 0