2018-09-05 scrapy項目介紹

? ? 當(dāng)我們用scrapy startproject創(chuàng)建了一個項目之后會有很多文件

打開這個項目(我用的是pycharm項目寫python欢策,用anaconda管理不同版本真心好用,強推anaconda)赏淌,

在jianshu文件夾下面的spiders子目錄里面裝的全是爬蟲(這個狀態(tài)下我還沒有安排新的爬蟲進去)踩寇,一般一個文件對應(yīng)一個爬蟲。

items中有的是數(shù)據(jù)實體猜敢,當(dāng)我們抓取到數(shù)據(jù)的時候通常生成一個items對象姑荷,然后把數(shù)據(jù)裝到item中去。

middlewares是中間件文件缩擂,主要功能是鼠冕,在其中可以幫助我們下載起來不被網(wǎng)站察覺

pipeline是管道文件,處理數(shù)據(jù)的文件胯盯。

settings中有很多參數(shù)懈费,比如我們想啟動某一個管道文件就得先去里面注冊。

這些文件以后會一個個詳解博脑。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末憎乙,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子叉趣,更是在濱河造成了極大的恐慌泞边,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,525評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件疗杉,死亡現(xiàn)場離奇詭異阵谚,居然都是意外死亡,警方通過查閱死者的電腦和手機烟具,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,203評論 3 395
  • 文/潘曉璐 我一進店門梢什,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人朝聋,你說我怎么就攤上這事嗡午。” “怎么了冀痕?”我有些...
    開封第一講書人閱讀 164,862評論 0 354
  • 文/不壞的土叔 我叫張陵荔睹,是天一觀的道長。 經(jīng)常有香客問我金度,道長应媚,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,728評論 1 294
  • 正文 為了忘掉前任猜极,我火速辦了婚禮中姜,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己丢胚,他們只是感情好翩瓜,可當(dāng)我...
    茶點故事閱讀 67,743評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著携龟,像睡著了一般兔跌。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上峡蟋,一...
    開封第一講書人閱讀 51,590評論 1 305
  • 那天坟桅,我揣著相機與錄音,去河邊找鬼蕊蝗。 笑死仅乓,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蓬戚。 我是一名探鬼主播夸楣,決...
    沈念sama閱讀 40,330評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼子漩!你這毒婦竟也來了豫喧?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,244評論 0 276
  • 序言:老撾萬榮一對情侶失蹤幢泼,失蹤者是張志新(化名)和其女友劉穎紧显,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體缕棵,經(jīng)...
    沈念sama閱讀 45,693評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡鸟妙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,885評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了挥吵。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,001評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡花椭,死狀恐怖忽匈,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情矿辽,我是刑警寧澤丹允,帶...
    沈念sama閱讀 35,723評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站袋倔,受9級特大地震影響雕蔽,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜宾娜,卻給世界環(huán)境...
    茶點故事閱讀 41,343評論 3 330
  • 文/蒙蒙 一批狐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦嚣艇、人聲如沸承冰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,919評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽困乒。三九已至,卻和暖如春贰谣,著一層夾襖步出監(jiān)牢的瞬間娜搂,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,042評論 1 270
  • 我被黑心中介騙來泰國打工吱抚, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留百宇,地道東北人。 一個月前我還...
    沈念sama閱讀 48,191評論 3 370
  • 正文 我出身青樓频伤,卻偏偏與公主長得像恳谎,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子憋肖,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,955評論 2 355

推薦閱讀更多精彩內(nèi)容

  • https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下載即可因痛。 安裝...
    慫恿的大腦閱讀 1,264評論 0 7
  • Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)鸵膏,提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 其可以應(yīng)用在數(shù)據(jù)挖掘怎炊,信息處理或存儲歷史數(shù)據(jù)...
    陳_CHEN_陳閱讀 983評論 0 0
  • Scrapy谭企,Python開發(fā)的一個快速,高層次的屏幕抓取和web抓取框架,用于抓取web站點并從頁面中提取結(jié)構(gòu)化...
    Evtion閱讀 5,852評論 12 18
  • 生命是無法預(yù)測的 但生活可以創(chuàng)造 完美是很難實現(xiàn)的 但理想可以經(jīng)營 人生僅有一次應(yīng)該如何度過 答案有很多评肆,但有一個...
    阿哲1234閱讀 113評論 0 0
  • 之前被產(chǎn)品同學(xué)吐槽說跟他們溝通太少债查,所以約定每周至少有一天要坐到產(chǎn)品同學(xué)旁邊去,這個周五就屁顛屁顛的跑過去了~ 跟...
    佛右扯閱讀 335評論 0 0