由于工作中需要對mysql數(shù)據(jù)做同步斯议，最終選用阿里的datax。在同步過程中需要對某些列做定制處理有鹿。
-
通用轉(zhuǎn)換
針對通用的轉(zhuǎn)換吊奢，如加密等很多表同步都使用到的，可以加入插件咧叭∈辞牵可以參考com.alibaba.datax.core.transport.transformer下面的插件，自己加入插件菲茬。繼承Transformer類吉挣。
2.非通用轉(zhuǎn)換
對于某些列特殊的轉(zhuǎn)換派撕，比如一個json格式的字段，轉(zhuǎn)為多個字段睬魂≈蘸穑可以使用dx_groovy插件，寫groove代碼實現(xiàn)氯哮。
"transformer": [{
"name": "dx_groovy",
"parameter": {
"code": "Column column = record.getColumn(2);
String oriValue = column.asString();
def jsonSlurper = new JsonSlurper();
def object = jsonSlurper.parseText(oriValue);
boolean isWatched = object.isMatched;
long paidNum = 0;
long noPaidNum = 0;
def list = object.details;
list.each {
boolean settlement = it.settlement;
if(settlement){
paidNum++;
}else{
noPaidNum++;
}
};
record.setColumn(2, new BoolColumn(isWatched));
record.setColumn(3, new LongColumn(paidNum));
record.setColumn(4, new LongColumn(noPaidNum));
return record;",
"extraPackage": ["import groovy.json.JsonSlurper;"]
}
}]
