提到爬蟲，總會聯(lián)想到Python咐熙。似乎Python是爬蟲的唯一選擇捐名。爬蟲只是完成一個訪問頁面然后收集數(shù)據(jù)的任務(wù)，用任何語言來寫都能實現(xiàn)谜嫉。相比較Python快速實現(xiàn)但是龐大的體型萎坷，Golang來寫爬蟲似乎是更好的又一選擇。
HTTP請求
Golang語言的HTTP請求庫不需要使用第三方的庫沐兰，標(biāo)準(zhǔn)庫就內(nèi)置了足夠好的支持：
package main
import (
"fmt"
"net/http"
"io/ioutil"
)
func fetch (url string) string {
fmt.Println("Fetch Url", url)
// 創(chuàng)建請求
req, _ := http.NewRequest("GET", url, nil)
// 創(chuàng)建HTTP客戶端
client := &http.Client{}
// 發(fā)出請求
resp, err := client.Do(req)
if err != nil {
fmt.Println("Http get err:", err)
return ""
}
if resp.StatusCode != 200 {
fmt.Println("Http status code:", resp.StatusCode)
return ""
}
// 讀取HTTP響應(yīng)正文
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Println("Read error", err)
return ""
}
return string(body)
}
func main(){
fmt.Println(fetch("https://github.com"))
}
使用官方的HTTP包可以快速的請求頁面并得到返回數(shù)據(jù)哆档。
就像Python有Scrapy庫，爬蟲框架可以很大程度上簡化HTTP請求住闯、數(shù)據(jù)抽取瓜浸、收集的流程，同時還能提供更多的工具來幫助我們實現(xiàn)更復(fù)雜的功能寞秃。
Golang爬蟲框架——Goribot
github.com/zhshch2002/gospider是一個用Golang寫成的爬蟲輕量框架斟叼，有不錯的擴展性和分布式支持能力，文檔在https://wiki.xzhsh.ch/gospider/春寿。
獲取Goribot：
go get -u github.com/zhshch2002/gospider
使用Goribot實現(xiàn)上文的代碼的功能要看起來簡潔不少朗涩。
package main
import (
"fmt"
"github.com/zhshch2002/goribot"
)
func main() {
s := goribot.NewSpider()
s.AddTask(
goribot.GetReq("https://github.com"),
func(ctx *goribot.Context) {
fmt.Println(ctx.Resp.Text)
},
)
s.Run()
}
如此之實現(xiàn)了一個單一的功能，即訪問“https://github.com”并打印出結(jié)果绑改。如此的應(yīng)用還不足以使用框架谢床。那我們來入手一個更復(fù)雜點的爬蟲應(yīng)用。
用Goribot爬取B站信息
我們來建立一個復(fù)雜點的爬蟲應(yīng)用厘线，預(yù)期實現(xiàn)兩個功能：
- 沿著鏈接自動發(fā)現(xiàn)新的視頻鏈接
- 提取標(biāo)題识腿、封面圖、作者和視頻數(shù)據(jù)（播放量造壮、投幣渡讼、收藏等）
研究B站頁面
首先我們來研究一下B站的視頻頁面骂束，以https://www.bilibili.com/video/BV1JE411P7hK?spm_id_from=333.851.b_62696c695f7265706f72745f6469676974616c.21為例，按F12打開調(diào)試界面成箫，切換到Network（網(wǎng)絡(luò)）選項卡展箱。
我們能看到這一頁面所涉及的所有請求、資源蹬昌。在調(diào)試界面里選在XHR選項混驰，來查看Ajax請求。
你可以通過點選不同的請求皂贩，在右側(cè)彈出的面板里查看具體內(nèi)容栖榨。在新面板里點擊Preview（預(yù)覽）可以查看服務(wù)器響應(yīng)的內(nèi)容。
那么明刷，交給你一個任務(wù)婴栽，依次查看XHR下的所有請求，找到最像是服務(wù)器返回的點贊遮精、收藏居夹、播放量數(shù)據(jù)的哪一個败潦。
很好本冲，那來看看你找到是這個嗎？
你已經(jīng)成功達(dá)成了一個爬蟲工程師的成就——從Ajax請求里尋找目標(biāo)數(shù)據(jù)劫扒。
那我們切換到Header（標(biāo)頭）選項檬洞，來看看這個請求對應(yīng)的參數(shù)，最好能找到這個響應(yīng)和視頻Id的關(guān)系沟饥。
發(fā)現(xiàn)了視頻Id——BV號添怔。
我們以及解決了核心問題，獲取B站的視頻數(shù)據(jù)贤旷，對于自動搜尋視頻广料，我們可以設(shè)定一個起始鏈接，然后搜尋<a>標(biāo)簽來延伸爬取幼驶。
搭建爬蟲
完整代碼在后文艾杏。
創(chuàng)建爬蟲
s := goribot.NewSpider( // 創(chuàng)建一個爬蟲并注冊擴展
goribot.Limiter(true, &goribot.LimitRule{ // 添加一個限制器，限制白名單域名和請求速錄限制
Glob: "*.bilibili.com", // 以防對服務(wù)器造成過大壓力以及被B站服務(wù)器封禁
Rate: 2,
}),
goribot.RefererFiller(), // 自動填寫Referer盅藻，參見Goribot(https://imagician.net/goribot/)關(guān)于擴展的部分
goribot.RandomUserAgent(), // 隨機UA
goribot.SetDepthFirst(true), // 使用深度優(yōu)先策略购桑，就是沿著一個頁面，然后去子頁面而非同級頁面
)
獲取視頻數(shù)據(jù)
var getVideoInfo = func(ctx *goribot.Context) {
res := map[string]interface{}{
"bvid": ctx.Resp.Json("data.bvid").String(),
"title": ctx.Resp.Json("data.title").String(),
"des": ctx.Resp.Json("data.des").String(),
"pic": ctx.Resp.Json("data.pic").String(), // 封面圖
"tname": ctx.Resp.Json("data.tname").String(), // 分類名
"owner": map[string]interface{}{ //視頻作者
"name": ctx.Resp.Json("data.owner.name").String(),
"mid": ctx.Resp.Json("data.owner.mid").String(),
"face": ctx.Resp.Json("data.owner.face").String(), // 頭像
},
"ctime": ctx.Resp.Json("data.ctime").String(), // 創(chuàng)建時間
"pubdate": ctx.Resp.Json("data.pubdate").String(), // 發(fā)布時間
"stat": map[string]interface{}{ // 視頻數(shù)據(jù)
"view": ctx.Resp.Json("data.stat.view").Int(),
"danmaku": ctx.Resp.Json("data.stat.danmaku").Int(),
"reply": ctx.Resp.Json("data.stat.reply").Int(),
"favorite": ctx.Resp.Json("data.stat.favorite").Int(),
"coin": ctx.Resp.Json("data.stat.coin").Int(),
"share": ctx.Resp.Json("data.stat.share").Int(),
"like": ctx.Resp.Json("data.stat.like").Int(),
"dislike": ctx.Resp.Json("data.stat.dislike").Int(),
},
}
ctx.AddItem(res) // 保存到蜘蛛的Item處理隊列
}
這是一個函數(shù)氏淑，自動解析響應(yīng)里的Json數(shù)據(jù)勃蜘，也就是剛才看的Ajax結(jié)果。解析完數(shù)據(jù)后保存到蜘蛛的Item處理隊列假残。
發(fā)現(xiàn)新視頻
var findVideo goribot.CtxHandlerFun
findVideo = func(ctx *goribot.Context) {
u := ctx.Req.URL.String()
fmt.Println(u)
if strings.HasPrefix(u, "https://www.bilibili.com/video/") { // 判斷是否為視頻頁面
if strings.Contains(u, "?") {
u = u[:strings.Index(u, "?")]
}
u = u[31:] // 截取視頻中的BV號
fmt.Println(u)
// 創(chuàng)建一個從BV號獲取具體數(shù)據(jù)的任務(wù)缭贡，使用上一個策略
ctx.AddTask(goribot.GetReq("https://api.bilibili.com/x/web-interface/view?bvid="+u), getVideoInfo)
}
ctx.Resp.Dom.Find("a[href]").Each(func(i int, sel *goquery.Selection) {
if h, ok := sel.Attr("href"); ok {
ctx.AddTask(goribot.GetReq(h), findVideo) // 用同樣的策略處理子頁面
}
})
}
收集Item
我們在獲取視頻數(shù)據(jù)里獲取了Ajax數(shù)據(jù)，并保存到Item隊列。我們在這里處理這些Item以避免讀寫文件和數(shù)據(jù)庫對爬取主線程的阻塞阳惹。
s.OnItem(func(i interface{}) interface{} {
fmt.Println(i) // 我們暫時不做處理坑资，就先打印出來
return i
})
OnItem的具體使用要參考Goribot文檔的相關(guān)內(nèi)容。
最后 Run 吧
// 種子任務(wù)
s.AddTask(goribot.GetReq("https://www.bilibili.com/video/BV1at411a7RS"), findVideo)
s.Run()
完整代碼如下
package main
import (
"fmt"
"github.com/PuerkitoBio/goquery"
"github.com/zhshch2002/gospider"
"strings"
)
func main() {
s := goribot.NewSpider(
goribot.Limiter(true, &goribot.LimitRule{
Glob: "*.bilibili.com",
Rate: 2,
}),
goribot.RefererFiller(),
goribot.RandomUserAgent(),
goribot.SetDepthFirst(true),
)
var getVideoInfo = func(ctx *goribot.Context) {
res := map[string]interface{}{
"bvid": ctx.Resp.Json("data.bvid").String(),
"title": ctx.Resp.Json("data.title").String(),
"des": ctx.Resp.Json("data.des").String(),
"pic": ctx.Resp.Json("data.pic").String(), // 封面圖
"tname": ctx.Resp.Json("data.tname").String(), // 分類名
"owner": map[string]interface{}{ //視頻作者
"name": ctx.Resp.Json("data.owner.name").String(),
"mid": ctx.Resp.Json("data.owner.mid").String(),
"face": ctx.Resp.Json("data.owner.face").String(), // 頭像
},
"ctime": ctx.Resp.Json("data.ctime").String(), // 創(chuàng)建時間
"pubdate": ctx.Resp.Json("data.pubdate").String(), // 發(fā)布時間
"stat": map[string]interface{}{ // 視頻數(shù)據(jù)
"view": ctx.Resp.Json("data.stat.view").Int(),
"danmaku": ctx.Resp.Json("data.stat.danmaku").Int(),
"reply": ctx.Resp.Json("data.stat.reply").Int(),
"favorite": ctx.Resp.Json("data.stat.favorite").Int(),
"coin": ctx.Resp.Json("data.stat.coin").Int(),
"share": ctx.Resp.Json("data.stat.share").Int(),
"like": ctx.Resp.Json("data.stat.like").Int(),
"dislike": ctx.Resp.Json("data.stat.dislike").Int(),
},
}
ctx.AddItem(res)
}
var findVideo goribot.CtxHandlerFun
findVideo = func(ctx *goribot.Context) {
u := ctx.Req.URL.String()
fmt.Println(u)
if strings.HasPrefix(u, "https://www.bilibili.com/video/") {
if strings.Contains(u, "?") {
u = u[:strings.Index(u, "?")]
}
u = u[31:]
fmt.Println(u)
ctx.AddTask(goribot.GetReq("https://api.bilibili.com/x/web-interface/view?bvid="+u), getVideoInfo)
}
ctx.Resp.Dom.Find("a[href]").Each(func(i int, sel *goquery.Selection) {
if h, ok := sel.Attr("href"); ok {
ctx.AddTask(goribot.GetReq(h), findVideo)
}
})
}
s.OnItem(func(i interface{}) interface{} {
fmt.Println(i)
return i
})
s.AddTask(goribot.GetReq("https://www.bilibili.com/video/BV1at411a7RS").SetHeader("cookie", "_uuid=1B9F036F-8652-DCDD-D67E-54603D58A9B904750infoc; buvid3=5D62519D-8AB5-449B-A4CF-72D17C3DFB87155806infoc; sid=9h5nzg2a; LIVE_BUVID=AUTO7815811574205505; CURRENT_FNVAL=16; im_notify_type_403928979=0; rpdid=|(k|~uu|lu||0J'ul)ukk)~kY; _ga=GA1.2.533428114.1584175871; PVID=1; DedeUserID=403928979; DedeUserID__ckMd5=08363945687b3545; SESSDATA=b4f022fe%2C1601298276%2C1cf0c*41; bili_jct=2f00b7d205a97aa2ec1475f93bfcb1a3; bp_t_offset_403928979=375484225910036050"), findVideo)
s.Run()
}
最后
爬蟲框架只是工具穆端，重要的是人怎么使用它袱贮。了解工具可以看項目_examples和文檔。
