公司: 房價(jià)網(wǎng)
地址: 協(xié)和路787號 長寧區(qū) 淞虹路站附近
崗位: 爬蟲工程師(leader)
薪酬: 不高
工作內(nèi)容: 把之前的java一套改成python, 并且開發(fā)新的項(xiàng)目. 算是重構(gòu). 然后利用新的技術(shù)來開發(fā), 比如把爬蟲做成微服務(wù).
收獲:
學(xué)到了一些新構(gòu)思: 爬蟲端做成微服務(wù)的模式, 我感覺類似于Prometheus那樣的, 每個(gè)爬蟲都有一個(gè)node_module, 里面包含該爬蟲的抓取信息, 數(shù)據(jù)統(tǒng)計(jì), 監(jiān)控等, 然后有個(gè)主控端去請求那些node, 再匯總到一起, 主控端到node之間有個(gè)channel. 在匯總數(shù)據(jù)時(shí), 做數(shù)據(jù)清洗, 然后做數(shù)據(jù)挖掘.
建議把pandas練熟, pandas在處理數(shù)據(jù)的時(shí)候, 要得到相同的結(jié)果有很多種方法, 但是只有一種方法是最快的.
還了解到一個(gè)IDE---- Atom-IDE.
