window下是 dir 命令, linux是 ls 提到定時(shí)任務(wù)調(diào)度的時(shí)候推溃,相信很多人會(huì)想到芹菜celery昂利,要么就寫個(gè)腳本塞到crontab中。不過铁坎,一個(gè)小的定時(shí)腳本蜂奸,要...
初識(shí)Scrapy Scrapy是Python開發(fā)的一個(gè)快速、高層次的屏幕抓取和web抓取框架硬萍,用于抓取web站點(diǎn)并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)扩所。Scrapy用途廣泛,可以用于數(shù)據(jù)...
NoSQL 的全稱是 Not Only SQL,也可以理解非關(guān)系型的數(shù)據(jù)庫买羞,是一種新型的革命式的數(shù)據(jù)庫設(shè)計(jì)方式袁勺,不過它不是為了取代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫而被設(shè)計(jì)的,它們分別代表了...
基本概念 mongo db是非關(guān)系型數(shù)據(jù)庫的一種哩都,性能高,容易部署婉徘,單表可達(dá)千萬級(jí)別漠嵌,業(yè)界流行一句話,百萬級(jí)別用Mysql盖呼,千萬級(jí)別用mongo儒鹿;mongo介于關(guān)系型數(shù)據(jù)庫和...
筆記目錄 HDFS概述及設(shè)計(jì)目標(biāo) HDFS架構(gòu) HDFS副本機(jī)制 HDFS環(huán)境搭建 HDFS shell Java API 操作HDFS HDFS 文件讀寫流程 HDFS優(yōu)缺...
數(shù)據(jù)倉庫(Data Warehouse ) 1.1 基本概念 數(shù)據(jù)倉庫的目的是構(gòu)建面向分析的集成化的數(shù)據(jù)環(huán)境, 為企業(yè)提供決策支持 (Decision Support ).數(shù)...