changzj

pyspider簡介 官方文檔：http://docs.pyspider.org/ 中文網(wǎng)址：http://www.pyspider.cn/book/pyspider/ 最新...

changzj

scrapyd 是運行scrapy爬蟲的服務(wù)程序,它支持以http命令方式發(fā)布贺奠、刪除嘉涌、啟動浅侨、停止爬蟲程序。而且scrapyd可以同時管理多個爬蟲,每個爬蟲還可以有多個版本 p...

changzj

CrawlSpider 它是Spider的派生類昂秃，Spider類的設(shè)計原則是只爬取start_url列表中的網(wǎng)頁，而CrawlSpider類定義了一些規(guī)則Rule來提供跟進鏈...

changzj

Scrapy設(shè)置(settings)提供了定制Scrapy組件的方法∥辞牛可以控制包括核心(core)，插件(extension)芥备，pipeline及spider組件冬耿。 項目名稱...

changzj

選擇數(shù)據(jù)庫 選擇數(shù)據(jù)庫下的集合 插入數(shù)據(jù) 刪 更新 save方法可以保存也可以更新數(shù)據(jù) 查找

changzj

不開啟權(quán)限的時候啟動mongoDB： 創(chuàng)建超級管理用戶 啟用安全認證 進入配置文件并修改sudo vi /etc/mongod.conf啟用身份驗證新版本 keys and ...

changzj

聚合的表達式: $sum 計算總和。 db.mycol.aggregate([{by_user", num_tutorial : {likes"}}}]) $avg 計算...

changzj

關(guān)于數(shù)據(jù)庫的基本命令 查看當前所在數(shù)據(jù)庫: db 查看所有數(shù)據(jù)庫: show dbs 切換和創(chuàng)建數(shù)據(jù)庫: use + 數(shù)據(jù)庫名 刪除數(shù)據(jù)庫(要切換到目標數(shù)據(jù)庫): db dr...

changzj

Selenium Selenium是一個Web的自動化測試工具尺借，最初是為網(wǎng)站自動化測試而開發(fā)的荷憋，類型像我們玩游戲用的按鍵精靈，可以按指定的命令自動操作褐望，不同是Selenium...

changzj

pyquery:語法規(guī)則類似于jQuery,可以對HTML進行解析 pq = pyquery(html文檔)pq('css選擇器')items():獲取到多個標簽時,使用it...

changzj

BeautifulSoup beautifulsoup:作用是從html/xml中提取數(shù)據(jù),會載入整個HTML DOM, 比lxml解析器效率要低 pip3 install ...

changzj

一 、實現(xiàn)多任務(wù)的方式 多線程多進程協(xié)程多線程+多進程 并行,并發(fā) 并行:同時發(fā)起同時執(zhí)行,(4核,4個任務(wù))并發(fā):同時發(fā)起,單個執(zhí)行在python語言中,并不能真正意義上實...

changzj

什么是爬蟲 爬蟲：網(wǎng)絡(luò)爬蟲機器人瘫里，從互聯(lián)網(wǎng)自動抓取數(shù)據(jù)的程序 爬蟲的基本流程 分析網(wǎng)站实蔽，得到目標url 根據(jù)url,發(fā)起請求,獲取頁面的HTML源碼 從頁面源碼中提取數(shù)據(jù)a....

changzj

1.1. Vue 的基本認識 1.1.1. 官網(wǎng) 1）英文官網(wǎng): https://vuejs.org/ 2）中文官網(wǎng): https://cn.vuejs.org/ 1.1.2...

changzj

符號 符號：概念：ES6中的添加了一種原始數(shù)據(jù)類型符號（已有的原始數(shù)據(jù)類型：String解阅，Number，boolean泌霍，null货抄，undefined，對象）特點：1朱转，符號屬性...