scrapy 一定要自定義USER_AGENT

原因是因為有的網(wǎng)站設(shè)置的是不允許爬蟲請求更鲁，而srapy默認請求是帶著一個標識告訴網(wǎng)站我就是爬蟲简肴，網(wǎng)站當(dāng)然不允許爬去了偶然間在一個網(wǎng)站上看到的內(nèi)容并且也跳過坑

USER_AGENT ='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末闯冷，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子稚补，更是在濱河造成了極大的恐慌，老刑警劉巖嫂伞，帶你破解...
沈念sama閱讀 218,451評論 6贊 506
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件孔厉，死亡現(xiàn)場離奇詭異，居然都是意外死亡帖努，警方通過查閱死者的電腦和手機撰豺，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,172評論 3贊 394
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來拼余，“玉大人污桦，你說我怎么就攤上這事〕准啵” “怎么了凡橱？”我有些...
開封第一講書人閱讀 164,782評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長亭姥。經(jīng)常有香客問我稼钩，道長，這世上最難降的妖魔是什么达罗？我笑而不...
開封第一講書人閱讀 58,709評論 1贊 294
?港島之戀（遺憾婚禮）
正文為了忘掉前任坝撑，我火速辦了婚禮，結(jié)果婚禮上粮揉，老公的妹妹穿的比我還像新娘巡李。我一直安慰自己，他們只是感情好扶认，可當(dāng)我...
茶點故事閱讀 67,733評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布侨拦。她就那樣靜靜地躺著，像睡著了一般辐宾。火紅的嫁衣襯著肌膚如雪狱从。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,578評論 1贊 305
城市分裂傳說
那天叠纹，我揣著相機與錄音矫夯，去河邊找鬼。笑死吊洼，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的制肮。我是一名探鬼主播冒窍，決...
沈念sama閱讀 40,320評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼递沪，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了综液？” 一聲冷哼從身側(cè)響起款慨，我...
開封第一講書人閱讀 39,241評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎谬莹，沒想到半個月后檩奠，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,686評論 1贊 314
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡附帽，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,878評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年埠戳，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蕉扮。...
茶點故事閱讀 39,992評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖喳钟，靈堂內(nèi)的尸體忽然破棺而出屁使，到底是詐尸還是另有隱情，我是刑警寧澤奔则，帶...
沈念sama閱讀 35,715評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布疾呻，位于F島的核電站，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏单芜。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 41,336評論 3贊 330
男人毒藥：我在死后第九天來索命
文/蒙蒙一蹋盆、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧岩灭，春花似錦、人聲如沸找爱。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,912評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽车摄。三九已至寺谤，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間吮播，已是汗流浹背变屁。一陣腳步聲響...
開封第一講書人閱讀 33,040評論 1贊 270
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留意狠，地道東北人粟关。一個月前我還...
沈念sama閱讀 48,173評論 3贊 370
代替公主和親
正文我出身青樓，卻偏偏與公主長得像环戈，于是被迫代替她去往敵國和親闷板。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 44,947評論 2贊 355

scrapy 一定要自定義USER_AGENT

推薦閱讀更多精彩內(nèi)容