IP屬地：上海
-
Linux上使用crontab命令完成定時爬蟲本文主要記錄： 1铺坞、crontab的用法。 2叭爱、crontab與scrapy的結合。 一、crontab cronta...
-
簡單高效地部署和監(jiān)控分布式爬蟲(一)--Scrapyd最近在使用scrapy時躬厌，面臨在多個機器部署的問題，如果手動將代碼拷貝到每一臺機器竞帽，并且在命令行啟動scrapy變得很繁瑣扛施。 本次總結...
-
2019-03-19hashlib模塊使用
一、基本概念 Python的hashlib提供了常見的摘要算法屹篓，主要提供 如MD5疙渣，SHA1, SHA224, SHA256, SHA38...
-
2019-03-18關于http協(xié)議的冪等性問題
首先理解一下冪等性： 冪等 對于同一種行為，如果執(zhí)行不論多少次堆巧，最終的結果都是一致相同的妄荔，就稱這種行為是冪等的。 非冪等 對于同一種...
-
Hadoop Streaming的使用
Hadoop Streaming是python可以調用于執(zhí)行MapReduce任務的接口谍肤，本人在學習使用時踩了很多坑啦租，也折騰了一段時間，本...
-
2019-03-07多線程&多進程(下)在《多線程&多進程(上)》中荒揣，記錄了python中的threading模塊常用的類的使用方法篷角，對比了Lock/RLock和conditio...
-
使用Charles抓包安卓模擬器（MuMu）在進行app爬蟲的時候，由于app沒有瀏覽器這種可以直觀看到后臺請求的工具系任，所以要想獲取該請求恳蹲，往往是通過一些抓包軟件抓取數據虐块。 Ch...
-
2019-03-01 cmder下使用virtualenv和condaenv今天用到了一個很強大的工具——cmder。 簡潔美觀的界面阱缓，便捷的操作非凌，我現在已經看不下去windows的原生cmd了。 使用了cmder之...
-
2019-02-27問題（三）
題目來源：python常見面試題——網絡編程和前端部分 題目: 1. AJAX是什么荆针，如何使用AJAX敞嗡？ 2. 常見的HTTP狀態(tài)碼...