DataX介紹
DataX 是阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)销部,實(shí)現(xiàn)包括 MySQL、Oracle制跟、SqlServer舅桩、Postgre、HDFS雨膨、Hive江咳、ADS、HBase哥放、TableStore(OTS)歼指、MaxCompute(ODPS)、DRDS 等各種異構(gòu)數(shù)據(jù)源之間高效的數(shù)據(jù)同步功能甥雕。
DataX安裝
1.下載python(推薦2.7.x)
下載python
鏈接:https://www.python.org/downloads/release/python-2718/
2.安裝并配置環(huán)境變量
安裝并配置環(huán)境變量
3.下載DataX
鏈接:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
自檢腳本: 例:python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json
自檢命令
DataX-Web安裝
1.下載DataX-Web項(xiàng)目https://github.com/WeiYe-Jing/datax-web
2.創(chuàng)建DataX-Web數(shù)據(jù)庫(kù)踩身,導(dǎo)入項(xiàng)目中的sql文件
導(dǎo)入項(xiàng)目中的sql文件
3.修改數(shù)據(jù)庫(kù)地址及日志輸出地址
數(shù)據(jù)庫(kù)地址
日志輸出地址
4.啟動(dòng)兩個(gè)Application,打開(kāi)http://localhost:8080/index.html#/dashboard
參考鏈接:
https://github.com/alibaba/DataX/blob/master/userGuid.md(DataX指南)
https://github.com/WeiYe-Jing/datax-web(DataX-Web指南)