window下是 dir 命令, linux是 ls 提到定時任務(wù)調(diào)度的時候揍堕,相信很多人會想到芹菜celery蜀铲,要么就寫個腳本塞到crontab中蜒滩。不過倒谷,一個小的定時腳本写隶,要...
初識Scrapy Scrapy是Python開發(fā)的一個快速、高層次的屏幕抓取和web抓取框架帚屉,用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)谜诫。Scrapy用途廣泛,可以用于數(shù)據(jù)...
NoSQL 的全稱是 Not Only SQL灰殴,也可以理解非關(guān)系型的數(shù)據(jù)庫敬特,是一種新型的革命式的數(shù)據(jù)庫設(shè)計方式掰邢,不過它不是為了取代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫而被設(shè)計的,它們分別代表了...
基本概念 mongo db是非關(guān)系型數(shù)據(jù)庫的一種伟阔,性能高辣之,容易部署,單表可達(dá)千萬級別皱炉,業(yè)界流行一句話怀估,百萬級別用Mysql,千萬級別用mongo合搅;mongo介于關(guān)系型數(shù)據(jù)庫和...
筆記目錄 HDFS概述及設(shè)計目標(biāo) HDFS架構(gòu) HDFS副本機(jī)制 HDFS環(huán)境搭建 HDFS shell Java API 操作HDFS HDFS 文件讀寫流程 HDFS優(yōu)缺...
數(shù)據(jù)倉庫(Data Warehouse ) 1.1 基本概念 數(shù)據(jù)倉庫的目的是構(gòu)建面向分析的集成化的數(shù)據(jù)環(huán)境苏揣, 為企業(yè)提供決策支持 (Decision Support ).數(shù)...