最近被一個ip池搞的有點崩...
一個活生生的到手的ip隔幾秒鐘就掛掉了..
不知道什么情況...
先把鍋丟給蘇男神讓他慢慢 debug去...
python的Multiprocess算是一個不錯的庫了.
然后IP池推薦一下https://github.com/jhao104/proxy_pool
封裝的很好,首先數(shù)據(jù)庫既提供了SSDB也提供了REDIS的接口,甚至還自己寫了個自動檢驗應該用哪個...
里面用了很多高深的技術(shù),例如meta class...
大概我也就只能勉勉強強看懂= =
另外代碼寫的優(yōu)美看的是真的享受!!!
今天胖哥把爬蟲代碼給我的時候我是崩潰的!!
image.png
image.png
.]
...
給你們參考一下...
簡直天了個嚕了...
寫個if name=="main" 會掉幾斤肉嘛?
封裝個類的api接口會麻煩多少嘛?
將一些xpath做成一個list或者dict看著不會更舒服嘛?
我的天啦!
看他這一頁的代碼
比我看那ip池8,9 個文件還費勁,,
大家一定要杜絕如此歪風邪氣
寫優(yōu)美的代碼hhhh
