優(yōu)先級:功能--》可讀性--》維護-->擴展 --》性能
用設計優(yōu)化 代替 代碼復雜度跌造,降低 維護
可讀性:
1.編碼規(guī)范缸匪;
2.日志規(guī)范
維護:
1.多級配置:(xml,json)xml 可讀性每篷;json解析方便责嚷;xml統(tǒng)一解析接口跑揉;json多模塊惨好、對外傳遞信息
2.多級日志:logging;log4j
3.多級測試:單元測試啃勉;集成測試忽舟;回歸測試
4.用python封裝所有hive hadooop streaming hbase細節(jié)
5.多態(tài)、封裝淮阐、java:用設計解決競態(tài)條件叮阅,多線程隔離
6.hadoop hbase 與業(yè)務隔離
7.技術選型:java hadoop < python +hadoop streaming < hive (map結構;udf 都解耦泣特;性能優(yōu)化);
擴展:
1.平行擴展浩姥;模塊解耦
2.結構統(tǒng)一:doc /query 結構化;
3.section 平行擴展
4.特征平行擴展
5.hive join 管理sectiion與特征
性能:
1.全流程考慮状您,衡量性能
2.只在瓶頸優(yōu)化性能
監(jiān)控:
1.多粒度監(jiān)控
2.可視化
3.報警
語言選型:
shell 管調度
python管輸入勒叠,輸出兜挨,配置;
python +java 計算眯分;
分布式用 hadoop streaming /hive(xml json schema)/hbase
使用python隔離拌汇、封裝hadop stareaing, hive弊决,hbase噪舀,配置接口