IP屬地：福建
-
Linux上使用crontab命令完成定時(shí)爬蟲(chóng)本文主要記錄： 1斋射、crontab的用法。 2拉队、crontab與scrapy的結(jié)合。 一、crontab cronta...
-
簡(jiǎn)單高效地部署和監(jiān)控分布式爬蟲(chóng)(一)--Scrapyd最近在使用scrapy時(shí)香追，面臨在多個(gè)機(jī)器部署的問(wèn)題，如果手動(dòng)將代碼拷貝到每一臺(tái)機(jī)器坦胶，并且在命令行啟動(dòng)scrapy變得很繁瑣透典。 本次總結(jié)...
-
2019-03-19hashlib模塊使用
一、基本概念 Python的hashlib提供了常見(jiàn)的摘要算法顿苇，主要提供 如MD5峭咒，SHA1, SHA224, SHA256, SHA38...
-
2019-03-18關(guān)于http協(xié)議的冪等性問(wèn)題
首先理解一下冪等性： 冪等 對(duì)于同一種行為，如果執(zhí)行不論多少次纪岁，最終的結(jié)果都是一致相同的凑队，就稱這種行為是冪等的。 非冪等 對(duì)于同一種...
-
Hadoop Streaming的使用
Hadoop Streaming是python可以調(diào)用于執(zhí)行MapReduce任務(wù)的接口幔翰，本人在學(xué)習(xí)使用時(shí)踩了很多坑漩氨，也折騰了一段時(shí)間，本...
-
2019-03-07多線程&多進(jìn)程(下)在《多線程&多進(jìn)程(上)》中遗增，記錄了python中的threading模塊常用的類的使用方法叫惊，對(duì)比了Lock/RLock和conditio...
-
使用Charles抓包安卓模擬器（MuMu）在進(jìn)行app爬蟲(chóng)的時(shí)候，由于app沒(méi)有瀏覽器這種可以直觀看到后臺(tái)請(qǐng)求的工具贡定，所以要想獲取該請(qǐng)求赋访，往往是通過(guò)一些抓包軟件抓取數(shù)據(jù)。 Ch...
-
2019-03-01 cmder下使用virtualenv和condaenv今天用到了一個(gè)很強(qiáng)大的工具——cmder。 簡(jiǎn)潔美觀的界面蚓耽，便捷的操作渠牲，我現(xiàn)在已經(jīng)看不下去windows的原生cmd了。 使用了cmder之...
-
2019-02-27問(wèn)題（三）
題目來(lái)源：python常見(jiàn)面試題——網(wǎng)絡(luò)編程和前端部分 題目: 1. AJAX是什么步悠，如何使用AJAX签杈？ 2. 常見(jiàn)的HTTP狀態(tài)碼...