1.問(wèn)題原因 主要時(shí)間消耗在往MyBatis中批量插入數(shù)據(jù)。mapper configuration是用foreach循環(huán)做的量愧,經(jīng)過(guò)項(xiàng)目實(shí)踐發(fā)現(xiàn)钾菊,當(dāng)表的列數(shù)較多(20+...
1.數(shù)倉(cāng)分層概述 數(shù)據(jù)倉(cāng)庫(kù)分為三層,自下而上為:數(shù)據(jù)引入層(ODS偎肃,Operation Data Store)數(shù)據(jù)公共層(CDM煞烫,Common Data Model)數(shù)據(jù)應(yīng)用...
1黍聂、map:將集合中每個(gè)元素乘以2 scala實(shí)現(xiàn): java實(shí)現(xiàn): 2躺苦、filter:過(guò)濾出集合中的偶數(shù) scala實(shí)現(xiàn): java實(shí)現(xiàn): 3身腻、flatMap:將行拆分為單...
1. Spark是什么 Spark,是一種通用的大數(shù)據(jù)計(jì)算框架匹厘,正如傳統(tǒng)大數(shù)據(jù)技術(shù)Hadoop的MapReduce嘀趟、Hive引擎,以及Storm流式實(shí)時(shí)計(jì)算引擎等愈诚。Spark...
Flink基礎(chǔ) flink的安裝: 如果為單機(jī)環(huán)境,直接從flink官網(wǎng)下載最新的flink包解壓即可欢嘿。 下載地址:https://flink.apache.org/down...