?? 筆者在寫文章的一個(gè)月前因?yàn)楣ぷ餍枰蚵ィ瑒倓偨佑|python爬蟲兰吟,用的scrapy框架觅廓。剛開始抓了兩個(gè)小型的電商網(wǎng)站,也沒遇到什么難題服鹅,但是就在抓第三個(gè)網(wǎng)站時(shí)發(fā)現(xiàn)該網(wǎng)站所有商品都是通過js生成的凳兵,無奈baidu解決辦法,看到了幾個(gè)有用的文章企软,最終確定了使用spynner庐扫,于是找spynner的安裝使用教程,但是真正對我有用的很少仗哨,而其redhat系統(tǒng)安裝包很麻煩形庭,大多數(shù)教程都是針對ubuntu和centos的,找來找去厌漂,試了無數(shù)次萨醒,只好用了源碼包,最后終于稀里糊涂的竟然安裝成功了苇倡。下面總結(jié)一下在redhat5.5上安裝和使用spynner富纸,作為學(xué)習(xí)記錄,以后自己使用也方便旨椒。
下面只是粗略的回憶晓褪,在安裝和使用過程中其實(shí)遇到了很多棘手問題,但是當(dāng)時(shí)沒有及時(shí)記錄的習(xí)慣综慎,現(xiàn)在完全想不起來那些棘手問題是怎么解決的涣仿,以后一定要及時(shí)整理文檔。
安裝:
1寥粹、安裝anaconda变过,在網(wǎng)上下載的Anaconda2-4.0.0-Linux-x86.sh;這個(gè)東西其實(shí)就是python的IDE的一種實(shí)現(xiàn)涝涤,用它管理媚狰、下載、卸載阔拳、安裝python包很方便崭孤,自帶pip,scrapy可以直接用它安裝糊肠;
2辨宠、但是上面的工具卻不能安裝spynner;安裝spynner需要:
?x11的庫:即支持Xwindow货裹,不然會報(bào)錯(cuò)安裝失斷托巍;(我的服務(wù)器自帶弧圆,不用安裝赋兵,但有些????? 生產(chǎn)環(huán)境中的服務(wù)器默認(rèn)不安裝Xwindow,據(jù)說單獨(dú)安裝很麻煩搔预,筆者也沒試過)
PyQt4:python的開發(fā)工具霹期,其實(shí)spynner底層調(diào)用的是PyQt自帶的模塊webkit,webkit其實(shí)是目前很多瀏覽器的核心拯田,本質(zhì)就是無界面的瀏覽器历造,所以用它模擬瀏覽器訪問頁面。下載PyQt-x11-gp1-4.11.4.tar.gz解壓包船庇,tar -xzvf 解壓吭产,安裝。(它還支持模擬點(diǎn)擊事件鸭轮,模擬提交事件等垮刹,不過這些暫時(shí)沒用到)
sip: 下載sip-4.18.tar.gz包,解壓并安裝张弛。
spynner: 下載spynner-2.5.zip包荒典,解壓并安裝
(安裝過程中遇到的問題也很多,一時(shí)想不起來吞鸭,后續(xù)會來補(bǔ)充)
使用:
使用其實(shí)不必多說了寺董,這篇文章已經(jīng)說的很好很詳細(xì)了:利用spynner抓取動態(tài)頁面?