引言：由于前陣子有點時間沈撞，再加上一點點興趣蚓庭，于是就用 Python 語言寫了一個爬蟲對平時經常瀏覽的社區(qū)——知乎的用戶信息進行抓取，并最終成功抓取 70 W 左右的用戶信息撇贺。...
發(fā)簡信
IP屬地：廣東
-
-
從數據角度解析福州美食上一篇網頁爬蟲分析博客意外在知乎獲得了過千的點贊（有哪些網站用爬蟲爬取能得到很有價值的數據？）堂鲜，堅定了我繼續(xù)玩爬蟲的決心。 這次爬點啥好可柿？作為一個偽吃貨（很想吃但有很多忌口，...
-
scrapy筆記(4) - 跟蹤調試scrapy
學習要點 學習如何跟蹤調試scrapy框架 oh..距離上次寫scrapy筆記3已經有一個多月了,跳票這么久,除了投簡歷找工作就是自己懶癌發(fā)作.嗯,等確定了到底去哪工作之后一...
-
python壓縮/解壓縮
在知乎有人私信問械媒，用python對zip/rar文件進行解壓縮目锭，把得到的文件進行一定的內容替換再壓縮成zip/rar是否可行。我記得python有個zipfile模塊可以做這...
-
scrapy筆記(3)-微博模擬登錄及抓取微博內容參考閱讀 基于python的新浪微博模擬登陸Python模擬登錄新浪微狈桌獭（使用RSA加密方式和Cookies文件新浪微博登錄rsa加密方法模擬登錄新浪微博（直接填入Cooki...
-
中文問題, 如果是用feed exports, hack一下scrapy用json.dumps()時的參數的ensure_ascii=False.或者不用feed exports,在pipelines用json.dumps()設置也可以.
不過一些特殊符號可能會出問題.scrapy筆記（2）爬天天美劇首頁
昨天初學了下scrapy痢虹，今天測試下效果，看見網上很多都是用豆瓣的頁面做測試主儡，那么久換個不一樣的奖唯，就選擇 天天美劇 了 response.xpath("//table[con...
-
scrapy筆記(1) - 安裝
安裝 Linux: 使用pip安裝 命令:pip install scrapy Windows 從 http://python.org/download/ 上安裝Python...
-
scrapy筆記(2) - 小試牛刀 (抓取豆瓣推理小說信息)1. 事前準備: 閱讀[scrapy官方文檔] [scrapy doc]至少一次 了解scrapy的基本命令及弄懂scrapy文檔中例子的項目結構等基本信息下文將假設大家已經...
-
scrapy筆記(2) - 小試牛刀 (抓取豆瓣推理小說信息)
1. 事前準備: 閱讀[scrapy官方文檔] [scrapy doc]至少一次 了解scrapy的基本命令及弄懂scrapy文檔中例子的項目結構等基本信息下文將假設大家已經...
-
scrapy筆記(1) - 安裝
安裝 Linux: 使用pip安裝 命令:pip install scrapy Windows 從 http://python.org/download/ 上安裝Python...
-
