背景
- 非關(guān)系型數(shù)據(jù)庫的收集 自然就有非關(guān)系型數(shù)據(jù)的收集
- 非關(guān)系型數(shù)據(jù)的收集比如為了使mysql \oracle 里面的數(shù)據(jù)利用大數(shù)據(jù)技術(shù)進(jìn)行分析和處理
sqoop 應(yīng)用在那些方面
- 數(shù)據(jù)遷移
- 可視化分析結(jié)果
- 數(shù)據(jù)增量導(dǎo)入
sqoop 的基本思想和特點(diǎn)
- 性能高：因?yàn)閟qoop是采用mepreduce 進(jìn)行數(shù)據(jù)的導(dǎo)入導(dǎo)出的
- 自動類型轉(zhuǎn)化
- 自動傳播元信息
sqoop
sqoop目前存在兩個(gè)版本(完全不兼容)
sqoop1 (1.4.x)
- 是一個(gè)客戶端朴译，不用啟動任何服務(wù)即可使用
- 其實(shí)就是一個(gè)mepreduce作業(yè)
sqoop2(1.99.x)
- 避免了一些弊端酷窥，引入了sqoop sercer
- sqoop 2 的組件包括
1、sqoop client
2、sqoop server
