1.問題原因 主要時(shí)間消耗在往MyBatis中批量插入數(shù)據(jù)芍阎。mapper configuration是用foreach循環(huán)做的,經(jīng)過項(xiàng)目實(shí)踐發(fā)現(xiàn)缨恒,當(dāng)表的列數(shù)較多(20+...
1.數(shù)倉分層概述 數(shù)據(jù)倉庫分為三層谴咸,自下而上為:數(shù)據(jù)引入層(ODS度硝,Operation Data Store)數(shù)據(jù)公共層(CDM,Common Data Model)數(shù)據(jù)應(yīng)用...
1钥星、map:將集合中每個(gè)元素乘以2 scala實(shí)現(xiàn): java實(shí)現(xiàn): 2沾瓦、filter:過濾出集合中的偶數(shù) scala實(shí)現(xiàn): java實(shí)現(xiàn): 3、flatMap:將行拆分為單...
1. Spark是什么 Spark谦炒,是一種通用的大數(shù)據(jù)計(jì)算框架贯莺,正如傳統(tǒng)大數(shù)據(jù)技術(shù)Hadoop的MapReduce、Hive引擎宁改,以及Storm流式實(shí)時(shí)計(jì)算引擎等缕探。Spark...
Flink基礎(chǔ) flink的安裝: 如果為單機(jī)環(huán)境锅论,直接從flink官網(wǎng)下載最新的flink包解壓即可。 下載地址:https://flink.apache.org/down...