官方教程說(shuō)當(dāng)你寫(xiě)好自己的spiders如douban之后粘捎，你可以通過(guò)scrapy runspider/crawl douban啟動(dòng)你的爬蟲(chóng)辆布。于是一開(kāi)始的時(shí)候你就知道通過(guò)這個(gè)命令行來(lái)啟動(dòng)爬蟲(chóng)，但是你有沒(méi)有想過(guò)當(dāng)你敲下這行命令后箭阶，scrapy到底做了什么呢虚茶？

命令入口：cmdline.py

當(dāng)你運(yùn)行 scrapy command arg 這樣的命令時(shí),這里的 scrapy 實(shí)質(zhì)是一個(gè) python 腳本，它接受參數(shù)仇参，首先調(diào)用 scrapy/cmdline.py 中的 execute() 函數(shù).

execute() 函數(shù)在 scrapy 安裝目錄下的 cmdline.py 文件中.而cmdline.py定義以下幾個(gè)函數(shù)：

iter_command_classes(module_name) 
get_commands_from_module(module, inproject) 
get_commands_from_entry_points(inproject, group='scrapy.commands')
get_commands_dict(settings, inproject)
_pop_command_name(argv)
print_header(settings, inproject)
print_commands(settings, inproject)
print_unknown_command(settings, cmdname, inproject)
run_print_help(parser, func, *a, **kw)
_run_command(cmd, args, opts)
_run_command_profiled(cmd, args, opts)
execute(argv=None, settings=None)

這些函數(shù)顧名思義嘹叫，不做太多介紹。其中最重要的是execute诈乒，為啥呢罩扇？

if __name__ == '__main__':
    execute()

因?yàn)樯厦娲a告訴我們只有它能自啟動(dòng)，所以我們要詳盡的了解它怕磨，因此就要讀代碼了喂饥。

def execute(argv=None, settings=None):
# 獲取變量
    if argv is None:
        argv = sys.argv
# 獲取配置(settings)
    if settings is None:
        settings = get_project_settings()
    check_deprecated_settings(settings)

    inproject = inside_project() #判斷是否在項(xiàng)目中，因?yàn)榭捎妹畈煌?    cmds = _get_commands_dict(settings, inproject) #scrapy.commands中獲取命令集
    cmdname = _pop_command_name(argv) #獲取輸入的命令
    parser = optparse.OptionParser(formatter=optparse.TitledHelpFormatter(), \
        conflict_handler='resolve') #獲取附加選項(xiàng)
        # 根據(jù)輸入的指令提供不同的結(jié)果
    if not cmdname:
        _print_commands(settings, inproject)
        sys.exit(0)
    elif cmdname not in cmds:
        _print_unknown_command(settings, cmdname, inproject)
        sys.exit(2)
    # 下面幾行代碼針對(duì)輸入合適的指令如genspider crawl....
    # 解析命令行參數(shù)(cmds：為相應(yīng)的Scrapy Command對(duì)象列表)
    cmd = cmds[cmdname]
    parser.usage = "scrapy %s %s" % (cmdname, cmd.syntax())
    parser.description = cmd.long_desc()
    settings.setdict(cmd.default_settings, priority='command')
    cmd.settings = settings
    cmd.add_options(parser)
    opts, args = parser.parse_args(args=argv[1:])
    _run_print_help(parser, cmd.process_options, args, opts)
    # 設(shè)定用于啟動(dòng)爬取CrawlerProcess的配置
    cmd.crawler_process = CrawlerProcess(settings)
    _run_print_help(parser, _run_command, cmd, args, opts)
    sys.exit(cmd.exitcode)

作為整個(gè)程序的入口肠鲫，其主要做的事情是解析用戶(hù)爬蟲(chóng)的配置屬性员帮，根據(jù)傳遞的命令行參數(shù)，調(diào)用對(duì)應(yīng)的代碼來(lái)執(zhí)行相應(yīng)的任務(wù).

scrapy command arg 中 command 可以為 crawl / startproject / genspider / runspider / deploy / …等命令,每一個(gè)命令在 scrapy/commands 文件夾下都有對(duì)應(yīng) command類(lèi).

對(duì)于 scrapy runsspider test ,就會(huì)調(diào)用 commands/runspider.py 中的方法去執(zhí)行相應(yīng)的爬蟲(chóng)任務(wù).

調(diào)度者：runspider.py

runspider.py定義了一個(gè)函數(shù)_import_file從我們的爬蟲(chóng)中查找所有的依賴(lài)包导饲，定義了一個(gè)Command類(lèi)(繼承ScrapyCommand)捞高。
Command中最重要的功能是run,他用spclasses = list(iter_spider_classes(module))判斷輸入的爬蟲(chóng)是否存在氯材。

    self.crawler_process.crawl(spidercls, **opts.spargs)
    self.crawler_process.start()

隨后用crawler_process(即實(shí)例化的CrawlerProcess）調(diào)用crawler.py的CrawlerProcess。crawler是Scrapy核心的API硝岗，所以需要仔細(xì)介紹氢哮。

核心API： crawler.py

事實(shí)上我們并不一定需要通過(guò)命令行的方式運(yùn)行scrapy的爬蟲(chóng)，完全可以通過(guò)API從腳本中運(yùn)行Scrapy型檀。CrawlerProcess可以為你自啟動(dòng)一個(gè)Twisted反應(yīng)子冗尤，配置logging信息、設(shè)置腳本關(guān)閉處理程序胀溺，
我們先來(lái)解讀self.crawler_process.crawl(spidercls, **opts.spargs)中的crawl裂七。流程如下

1. crawler = self.create_crawler(crawler_or_spidercls)

2. create_crawler return self._create_crawler(crawler_or_spidercls)

3. _create_crawler return Crawler(spidercls, self.settings)spidercls = self.spider_loader.load(spidercls)

4. spider_loader = _get_spider_loader(settings)

5. .... 讀不下去了

6. CrawlerRunner.crawl return self._crawl(crawler, *args, **kwargs)

7. _crawl crawler.crawl(*args, **kwargs)

8. crawler.crawl
   @defer.inlineCallbacks
   def crawl(self, *args, **kwargs):
   assert not self.crawling, "Crawling already taking place"
   self.crawling = True

        try:
            self.spider = self._create_spider(*args, **kwargs)
            self.engine = self._create_engine()
            start_requests = iter(self.spider.start_requests())
            yield self.engine.open_spider(self.spider, start_requests)
            yield defer.maybeDeferred(self.engine.start)
   

本來(lái)我是打算一行一行講解代碼的，但是工作量太大仓坞，也很難表述清楚碍讯，我還是直接說(shuō)明他的作用吧：
用指定的參數(shù)運(yùn)行爬蟲(chóng)，最后從spider.start_requests()開(kāi)啟新的征途扯躺。

結(jié)論：
因此當(dāng)我們執(zhí)行scrapy runspider SpiderName的時(shí)候捉兴，Scrapy其實(shí)以以下順序直到啟動(dòng)我們的爬蟲(chóng)。
scrapy/cmdline.py -> scrapy/commands/runspider.py -> scrapy/crawler.py -> 從我們的爬蟲(chóng)的start_requests開(kāi)始下一步录语。

這個(gè)代碼讀的我好暈倍啥，但是至少我知道了start_requests是我們運(yùn)行爬蟲(chóng)的關(guān)鍵。