迭代爬取時,報錯 Filtered offsite request

用scrapy框架迭代爬取時報錯
scrapy日志:

在 setting.py 文件中 設置 日志 記錄等級

LOG_LEVEL= 'DEBUG'

LOG_FILE ='log.txt'

觀察 scrapy 日志

2017-08-15 21:58:05 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'sou.zhaopin.com': <GET http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E4%B8%8A%E6%B5%B7&kw=python&sm=0&source=0&p=2>
2017-08-15 21:58:05 [scrapy.core.engine] INFO: Closing spider (finished)
2017-08-15 21:58:05 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 782,
 'downloader/request_count': 3,
 'downloader/request_method_count/GET': 3,
 'downloader/response_bytes': 58273,
 'downloader/response_count': 3,
 'downloader/response_status_count/200': 2,
 'downloader/response_status_count/302': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 8, 15, 13, 58, 5, 915565),
 'item_scraped_count': 59,
 'log_count/DEBUG': 64,
 'log_count/INFO': 7,
 'memusage/max': 52699136,
 'memusage/startup': 52699136,
 'offsite/domains': 1,
 'offsite/filtered': 1,
 'request_depth_max': 1,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2017, 8, 15, 13, 58, 5, 98357)}
2017-08-15 21:58:05 [scrapy.core.engine] INFO: Spider closed (finished)

重要的是第一行维蒙,我開始做的時候沒有意識到這竟然是一個錯誤颅痊,應該是被記錄的一個錯誤提示局待,然后程序也就沒有報錯

2017-08-15 21:58:05 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'sou.zhaopin.com': <GET http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E4%B8%8A%E6%B5%B7&kw=python&sm=0&source=0&p=2>

DEBUG: Filtered offsite request to
因為 Request中請求的 URL 和 allowed_domains 中定義的域名沖突,所以將Request中請求的URL過濾掉了钳榨,無法請求

    name = 'zhilianspider'
    allowed_domains = ['http://sou.zhaopin.com']

    page = 1
    url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E4%B8%8A%E6%B5%B7&kw=python&sm=0&source=0&p='
    start_urls = [url+str(page)]

在 Request 請求參數(shù)中舰罚,設置 dont_filter = True ,Request 中請求的 URL 將不通過 allowed_domains 過濾。

if self.page <= 10:
            self.page +=1
            yield scrapy.Request(self.url+str(self.page),callback=self.parse,dont_filter = True)

由于關掉了allowed_domains 過濾薛耻,所以要將yield 寫在判斷條件呢营罢,開始我寫在了外面程序一直迭代,停不下來了饼齿,尷尬饲漾。
之前都是寫在if同級下的,那時候還沒有關掉過濾所以沒問題

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末缕溉,一起剝皮案震驚了整個濱河市能颁,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌倒淫,老刑警劉巖,帶你破解...
    沈念sama閱讀 223,126評論 6 520
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件敌土,死亡現(xiàn)場離奇詭異,居然都是意外死亡运翼,警方通過查閱死者的電腦和手機返干,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,421評論 3 400
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來血淌,“玉大人矩欠,你說我怎么就攤上這事财剖。” “怎么了癌淮?”我有些...
    開封第一講書人閱讀 169,941評論 0 366
  • 文/不壞的土叔 我叫張陵躺坟,是天一觀的道長。 經(jīng)常有香客問我乳蓄,道長咪橙,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,294評論 1 300
  • 正文 為了忘掉前任虚倒,我火速辦了婚禮美侦,結果婚禮上,老公的妹妹穿的比我還像新娘魂奥。我一直安慰自己菠剩,他們只是感情好,可當我...
    茶點故事閱讀 69,295評論 6 398
  • 文/花漫 我一把揭開白布耻煤。 她就那樣靜靜地躺著具壮,像睡著了一般。 火紅的嫁衣襯著肌膚如雪违霞。 梳的紋絲不亂的頭發(fā)上嘴办,一...
    開封第一講書人閱讀 52,874評論 1 314
  • 那天,我揣著相機與錄音买鸽,去河邊找鬼涧郊。 笑死,一個胖子當著我的面吹牛眼五,可吹牛的內容都是我干的妆艘。 我是一名探鬼主播,決...
    沈念sama閱讀 41,285評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼看幼,長吁一口氣:“原來是場噩夢啊……” “哼批旺!你這毒婦竟也來了?” 一聲冷哼從身側響起诵姜,我...
    開封第一講書人閱讀 40,249評論 0 277
  • 序言:老撾萬榮一對情侶失蹤汽煮,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后棚唆,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體暇赤,經(jīng)...
    沈念sama閱讀 46,760評論 1 321
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,840評論 3 343
  • 正文 我和宋清朗相戀三年宵凌,在試婚紗的時候發(fā)現(xiàn)自己被綠了鞋囊。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,973評論 1 354
  • 序言:一個原本活蹦亂跳的男人離奇死亡瞎惫,死狀恐怖溜腐,靈堂內的尸體忽然破棺而出译株,到底是詐尸還是另有隱情,我是刑警寧澤挺益,帶...
    沈念sama閱讀 36,631評論 5 351
  • 正文 年R本政府宣布歉糜,位于F島的核電站,受9級特大地震影響矩肩,放射性物質發(fā)生泄漏现恼。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,315評論 3 336
  • 文/蒙蒙 一黍檩、第九天 我趴在偏房一處隱蔽的房頂上張望叉袍。 院中可真熱鬧,春花似錦刽酱、人聲如沸喳逛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,797評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽润文。三九已至,卻和暖如春殿怜,著一層夾襖步出監(jiān)牢的瞬間典蝌,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,926評論 1 275
  • 我被黑心中介騙來泰國打工头谜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留骏掀,地道東北人。 一個月前我還...
    沈念sama閱讀 49,431評論 3 379
  • 正文 我出身青樓柱告,卻偏偏與公主長得像截驮,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子际度,可洞房花燭夜當晚...
    茶點故事閱讀 45,982評論 2 361

推薦閱讀更多精彩內容

  • scrapy學習筆記(有示例版) 我的博客 scrapy學習筆記1.使用scrapy1.1創(chuàng)建工程1.2創(chuàng)建爬蟲模...
    陳思煜閱讀 12,713評論 4 46
  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理葵袭,服務發(fā)現(xiàn),斷路器乖菱,智...
    卡卡羅2017閱讀 134,720評論 18 139
  • 好物告訴你,中國亞馬遜的該買與不該買墩新。 首先要問一句,經(jīng)過雙十一的洗禮窟坐,各位的錢包還健在不海渊? 錯過了折扣不要緊绵疲,沒...
    納谷nakko閱讀 1,193評論 3 9
  • 紫花戀雨膩清晨,黃杏惜枝慕葉深臣疑。 風過閑庭何處訴盔憨,鈴音陣陣蕩春心。 作者王永豪
    王永豪閱讀 350評論 0 6
  • “該你說了”“我說一”“對讯沈!一一一一一一一一一一一一一一一一一一一一...
    孤島拜閱讀 329評論 0 0