![240](https://upload.jianshu.io/users/upload_avatars/9128390/216a7b01-d34b-49d1-b63b-0e3bde03ac5c.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
Handler處理器 和 自定義Opener opener是 urllib.request.OpenerDirector 的實例,我們之前一直都...
認證&權限 認證和權限是一起配合使用的『牌拢可以再配置文件中settings配置全局默認的認證&權限 也可以在每個視圖中通過設置authentica...
使用scrapy-redis:Scrapy_redis在scrapy的基礎上實現(xiàn)了更多买羞,更強大的功能爷光,具體體現(xiàn)在:reqeust去重峻贮,爬蟲持久化...
CrawlSpider它是Spider的派生類席怪,Spider類的設計原則是只爬取start_url列表中的網(wǎng)頁,而CrawlSpider類定義了...
Selenium是一個Web的自動化測試工具纤控,最初是為網(wǎng)站自動化測試而開發(fā)的挂捻,類型像我們玩游戲用的按鍵精靈,可以按指定的命令自動操作船万,不同是Se...
協(xié)程是什么刻撒? 協(xié)程是python個中另外一種實現(xiàn)多任務的方式,只不過比線程更小占用更小執(zhí)行單元(理解為需要的資源)耿导。 為啥說它是一個執(zhí)行單元声怔,因...
多進程 什么是進程 一個程序運行起來后舱呻,代碼+用到的資源 稱之為進程醋火,它是操作系統(tǒng)分配資源的基本單元。不僅可以通過線程完成多任務箱吕,進程也是可以的...
多線程 多任務的概念 什么叫“多任務”呢?簡單地說殖氏,就是操作系統(tǒng)可以同時運行多個任務晚树。 單核CPU如何執(zhí)行多任務? 多核CPU如何執(zhí)行多任務雅采? ...
Xpath解析器: 什么是XPath? XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言婚瓜,可用來在 X...