背景
本人于周六早上驚醒于翠花的電話轟炸中...
image
一大早竟然問(wèn)這么傷腦筋(愚蠢)的問(wèn)題
image
本想趕緊打發(fā)了 繼續(xù)我的回籠覺(jué) 沒(méi)想到...
樂(lè)（kou）于（shui）助（zhi）人（liu）的我當(dāng)然要幫幫助他了！
image
看到這里的紅色感嘆號(hào) 不禁眉頭一皺
image
打開網(wǎng)站 不出我所料 姹紫嫣紅的gif圖片差點(diǎn)閃瞎我的鈦合金狗眼
image
幾番瀏覽欣賞后收工大吉
image
正文開始
所用到的模塊
- http:創(chuàng)建服務(wù)、處理流相關(guān)
- fs：操作文件及文件夾(讀酌住、寫)
- cheerio：簡(jiǎn)單粗暴的理解為node界的juquey
先爬來(lái)整張網(wǎng)頁(yè)
為了該文章正常發(fā)出 把翠花提供的鏈接換成站長(zhǎng)之家的鏈接來(lái)演示
// 引入所需模塊
var http = require('http');
var cheerio = require('cheerio');
var fs = require('fs');
// 定義爬取目標(biāo)站
var Url = 'http://sc.chinaz.com/tupian/'
http.get(Url, function (res) {
var htmlDate = '';
// 獲取頁(yè)面數(shù)據(jù)
res.on('data', function (chunk) {
htmlDate += chunk;
});
// 數(shù)據(jù)獲取結(jié)束
res.on('end', function () {
// 過(guò)濾出所需的元素
filterContent(htmlDate);
});
}).on('error', function () {
console.log('獲取數(shù)據(jù)出錯(cuò)恩掷！');
});
過(guò)濾
分析頁(yè)面結(jié)構(gòu) 看看哪些是需要的 圖片都在
#container獲取到這個(gè)節(jié)點(diǎn)
image
遍歷.box 并拿到 a > img 的
src和alt
image
// 過(guò)濾頁(yè)面信息
function filterContent(htmlDate) {
if (htmlDate) {
var $ = cheerio.load(htmlDate);
// 得到所需內(nèi)容
var Content = $('#container');
// 存放一會(huì)抓來(lái)的信息
var ContentData = [];
Content.find('.box').each(function (item, b) {
var pic = $(this);
// 為什么是src2? src獲取不到 打印了一下發(fā)現(xiàn)有src2
var src = formatUrl(pic.find('a').children('img').attr('src2'));
var name = formatUrl(pic.find('a').children('img').attr('alt'));
// 把抓來(lái)的信息交給download函數(shù)去下載
download(src, name)
// 這里也存一份
ContentData.push({
src,
name
})
});
// 存放了抓取的圖片信息
console.log(ContentData)
} else {
console.log('html null');
}
}
image
抓取鏈接都帶有_s是縮略圖 需要一個(gè)方法幫來(lái)轉(zhuǎn)換
// 或取高清鏈接
function formatUrl(imgUrl) {
return imgUrl.replace('_s', '')
}
// 圖片下載函數(shù)
function download(url, name) {
http.get(url, function (res) {
let imgData = '';
//設(shè)置圖片編碼格式
res.setEncoding("binary");
//檢測(cè)請(qǐng)求的數(shù)據(jù)
res.on('data', (chunk) => {
imgData += chunk;
})
res.on('end', () => {
// 沒(méi)有文件夾則創(chuàng)建 以防報(bào)錯(cuò)
if (!fs.existsSync('./images')) {
fs.mkdirSync('./images');
};
fs.writeFile(`./images/${name}.jpg`, imgData, 'binary', (error) => {
if (error) {
console.log(error);
} else {
console.log(`${name}----下載成功壹蔓！`)
}
})
})
})
}
成果展示
image
image
最后曬出勞動(dòng)所得
image
