1. 背景 之前將pyspider部署在了一臺(tái)機(jī)子上躯枢，這一臺(tái)負(fù)責(zé)「數(shù)據(jù)存儲(chǔ)」遍蟋，「消息隊(duì)列」，「任務(wù)調(diào)度」开呐，「URL抓取」，「任務(wù)處理」。現(xiàn)在發(fā)現(xiàn)...

前提步驟 1. 安裝zlib 2. 指定zlib link 安裝 pyenv 1. 安裝pyenv 2.配置 3. 常用命令 安裝 pyenv-...

用了一段時(shí)間的pyspider桐智，一直沒有研究源碼。這兩天抽空看了看烟馅，稍微拿幾個(gè)點(diǎn)出來研究一下说庭，如果讀到哪里不對(duì)的地方，請(qǐng)及時(shí)指出我好糾正郑趁，本文我...

用git也將近半年了刊驴，一直沒有系統(tǒng)地整理一下，今天剛好有空，就把一切基本的操作整理一下捆憎。注意：本文章只包含基本的上傳代碼舅柜，切換分支，刪除分支躲惰，添...

之前爬蟲一直用的python2.7致份，不用第三方框架的話只能用多線程來提升爬蟲效率。自從聽說python3.5原生自帶異步后础拨，就拿來實(shí)現(xiàn)了一下氮块，效...

感想： 今天在微博中看到科比的采訪太伊，我雖然不是他的粉絲雇锡，但是還是挺贊同他的“Mamba Mentality”，總結(jié)起來就是五個(gè)字： 對(duì)目前的我來...