? ? 當(dāng)我們用scrapy startproject創(chuàng)建了一個項目之后會有很多文件
打開這個項目(我用的是pycharm項目寫python欢策,用anaconda管理不同版本真心好用,強推anaconda)赏淌,
在jianshu文件夾下面的spiders子目錄里面裝的全是爬蟲(這個狀態(tài)下我還沒有安排新的爬蟲進去)踩寇,一般一個文件對應(yīng)一個爬蟲。
items中有的是數(shù)據(jù)實體猜敢,當(dāng)我們抓取到數(shù)據(jù)的時候通常生成一個items對象姑荷,然后把數(shù)據(jù)裝到item中去。
middlewares是中間件文件缩擂,主要功能是鼠冕,在其中可以幫助我們下載起來不被網(wǎng)站察覺
pipeline是管道文件,處理數(shù)據(jù)的文件胯盯。
settings中有很多參數(shù)懈费,比如我們想啟動某一個管道文件就得先去里面注冊。
這些文件以后會一個個詳解博脑。