發(fā)簡信
IP屬地：湖南
-
items設(shè)計思想（目錄4-10至4-12）
items設(shè)計思想（目錄4-10至4-12）1.在spiders里爬取目標(biāo)返回值颤芬；2.把返回值傳遞到item里：可以利用Request（meta...
-
二命锄、爬取伯樂在線
創(chuàng)建main函數(shù)换怖，調(diào)試scrapy -- coding: utf-8 -- author = 'wujiee' from scrapy.cmdl...
-
一、創(chuàng)建項目
1.首先更改虛擬環(huán)境創(chuàng)建的默認位置新建系統(tǒng)變量WORKON_HOME捌蚊，值為E:\Envs（默認位置） 2.安裝虛擬環(huán)境管理包virtualenv...
-
-
字符串編碼1.計算機只能處理數(shù)字，文本轉(zhuǎn)換為數(shù)字才能處理。計算機中8個bit作為一個字節(jié)蚓聘，所以一個字節(jié)能表示最大的數(shù)字就是2552.計算機是美國人發(fā)明的，...
-
爬蟲去重策略
1.將訪問過的url保存到數(shù)據(jù)庫中盟劫，每次訪問的時候通過數(shù)據(jù)庫查詢夜牡；效率低，使用少侣签。2.將訪問過的url保存到Set中塘装，內(nèi)存使用很大。3.url經(jīng)...
-
正則表達式
1.特殊字符（1）^$*+?{2}{2,}{2,5}|^ 限定開頭字符$ 限定結(jié)尾字符 前面字符出現(xiàn)任意多次（包括0次） 至少匹配1次?...
-
爬取“伯樂在線”所有文章
源碼摘記如下： -- coding: utf-8 -- import scrapyimport refrom scrapy.http impor...
-
Python爬蟲環(huán)境創(chuàng)建
使用豆瓣源安裝插件 # pip install virtualenv # 豆瓣源：https://pypi.douban.com/simple ...