Scrapy 命令

以無參方式輸入scrapy命令會輸出可用的命令:

xieyuedembp:Web100 xieyue$ scrapy
Scrapy 1.8.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

全局命令:

startproject

【創(chuàng)建新項目】

$ scrapy startproject myproject
settings

【獲取Scrapy的設置】

$ scrapy settings 
$ scrapy settings --get DOWNLOAD_DELAY
runspider

【在未創(chuàng)建項目的情況下粥血,運行一個編寫在Python文件中的spider】

$ scrapy runspider myspider.py
shell

【以給定的URL(如果給出)或者空(沒有給出URL)啟動Scrapy shell】

$ scrapy shell http://www.baidu.com
fetch

【使用Scrapy下載器(downloader)下載給定的URL栋盹,并將獲取到的內(nèi)容送到標準輸出】

$ scrapy fetch --nolog http://www.baidu.com
$ scrapy fetch --nolog --headers http://www.baidu.com
view

【在瀏覽器中打開給定的URL,并以Scrapy spider獲取到的形式展現(xiàn)】

$ scrapy view http://www.baidu.com
version

【輸出Scrapy版本】

$ scrapy shell http://www.baidu.com

項目(Project-only)命令:

crawl

【使用spider進行爬取】

$ scrapy crawl myspider
check

【運行contract檢查】

$ scrapy check -l
$ scrapy check
list

【列出當前項目中可用的spider】

$ scrapy list
edit

【使用editor中設定的編輯器編輯給定的spider】

$ scrapy edit spider1
parse

【獲取給定的URL并使用相應的spider分析處理】

$ scrapy parse http://www.example.com/ -c parse_item
genspider

【在當前項目中創(chuàng)建spider】

$ scrapy genspider videos_spider douban.videos.com
bench

【運行benchmark測試】

$ scrapy bench
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市笤成,隨后出現(xiàn)的幾起案子缴守,更是在濱河造成了極大的恐慌沾凄,老刑警劉巖喜滨,帶你破解...
    沈念sama閱讀 206,214評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異冶匹,居然都是意外死亡习劫,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評論 2 382
  • 文/潘曉璐 我一進店門嚼隘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來诽里,“玉大人,你說我怎么就攤上這事飞蛹“疲” “怎么了?”我有些...
    開封第一講書人閱讀 152,543評論 0 341
  • 文/不壞的土叔 我叫張陵桩皿,是天一觀的道長豌汇。 經(jīng)常有香客問我,道長泄隔,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評論 1 279
  • 正文 為了忘掉前任宛徊,我火速辦了婚禮佛嬉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘闸天。我一直安慰自己暖呕,他們只是感情好,可當我...
    茶點故事閱讀 64,224評論 5 371
  • 文/花漫 我一把揭開白布苞氮。 她就那樣靜靜地躺著湾揽,像睡著了一般。 火紅的嫁衣襯著肌膚如雪笼吟。 梳的紋絲不亂的頭發(fā)上库物,一...
    開封第一講書人閱讀 49,007評論 1 284
  • 那天,我揣著相機與錄音贷帮,去河邊找鬼戚揭。 笑死,一個胖子當著我的面吹牛撵枢,可吹牛的內(nèi)容都是我干的民晒。 我是一名探鬼主播精居,決...
    沈念sama閱讀 38,313評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼潜必!你這毒婦竟也來了靴姿?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評論 0 259
  • 序言:老撾萬榮一對情侶失蹤磁滚,失蹤者是張志新(化名)和其女友劉穎佛吓,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體恨旱,經(jīng)...
    沈念sama閱讀 43,441評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡辈毯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,925評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了搜贤。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片谆沃。...
    茶點故事閱讀 38,018評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖仪芒,靈堂內(nèi)的尸體忽然破棺而出唁影,到底是詐尸還是另有隱情,我是刑警寧澤掂名,帶...
    沈念sama閱讀 33,685評論 4 322
  • 正文 年R本政府宣布据沈,位于F島的核電站,受9級特大地震影響饺蔑,放射性物質(zhì)發(fā)生泄漏锌介。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,234評論 3 307
  • 文/蒙蒙 一猾警、第九天 我趴在偏房一處隱蔽的房頂上張望孔祸。 院中可真熱鬧,春花似錦发皿、人聲如沸崔慧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽惶室。三九已至,卻和暖如春玄货,著一層夾襖步出監(jiān)牢的瞬間皇钞,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評論 1 261
  • 我被黑心中介騙來泰國打工誉结, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留鹅士,地道東北人。 一個月前我還...
    沈念sama閱讀 45,467評論 2 352
  • 正文 我出身青樓惩坑,卻偏偏與公主長得像掉盅,于是被迫代替她去往敵國和親也拜。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,762評論 2 345

推薦閱讀更多精彩內(nèi)容

  • scrapy.cfg存放的目錄認定是 項目的根目錄 scrapy 針對不同目的提供了多個命令趾痘。 創(chuàng)建項目 有些Sc...
    SateZheng閱讀 3,808評論 0 0
  • 1.創(chuàng)建項目 該命令將會在 myproject 目錄中創(chuàng)建一個 Scrapy 項目慢哈。接下來,進入到項目目錄中: 這...
    SingleDiego閱讀 704評論 0 2
  • 通過這篇文章永票,我們會了解scrapy的命令行工具卵贱。 文章介紹命令行工具的順序基本就是按照官方文檔的順序來。 命令 ...
    簡訊Alfred閱讀 1,697評論 0 4
  • 創(chuàng)建scrapy項目 (主要在命令行操作)scrapy startproject 項目名例: 這時候crawl的結(jié)...
    小董不太懂閱讀 434評論 1 1
  • 命令格式:scrapy [options] [args] 1侣集、創(chuàng)建項目 startproject scra...
    X_xxieRiemann閱讀 4,323評論 0 0