1.問(wèn)題原因 主要時(shí)間消耗在往MyBatis中批量插入數(shù)據(jù)违施。mapper configuration是用foreach循環(huán)做的互纯，經(jīng)過(guò)項(xiàng)目實(shí)踐發(fā)現(xiàn)，當(dāng)表的列數(shù)較多（20+...
IP屬地：湖北
-
MyBatis批量插入幾千條數(shù)據(jù)，foreach坑
-
電商數(shù)倉(cāng)架構(gòu)介紹1.數(shù)倉(cāng)分層概述 數(shù)據(jù)倉(cāng)庫(kù)分為三層磕蒲，自下而上為：數(shù)據(jù)引入層（ODS留潦，Operation Data Store）數(shù)據(jù)公共層（CDM，Common Data Model）數(shù)據(jù)應(yīng)用...
-
Spark從入門到精通6:transformation開發(fā)實(shí)戰(zhàn)
1辣往、map：將集合中每個(gè)元素乘以2 scala實(shí)現(xiàn)： java實(shí)現(xiàn)： 2兔院、filter：過(guò)濾出集合中的偶數(shù) scala實(shí)現(xiàn)： java實(shí)現(xiàn)： 3、flatMap：將行拆分為單...
-
Spark從入門到精通1:spark概述1. Spark是什么 Spark站削，是一種通用的大數(shù)據(jù)計(jì)算框架坊萝，正如傳統(tǒng)大數(shù)據(jù)技術(shù)Hadoop的MapReduce、Hive引擎，以及Storm流式實(shí)時(shí)計(jì)算引擎等屹堰。Spark...
-
flink學(xué)習(xí)之二-入門版概念Flink基礎(chǔ) flink的安裝： 如果為單機(jī)環(huán)境肛冶，直接從flink官網(wǎng)下載最新的flink包解壓即可街氢。 下載地址：https://flink.apache.org/down...
-
Elasticsearch認(rèn)證之路
前言扯键，2019年底，由于我們現(xiàn)網(wǎng)的搜索是通過(guò)solr實(shí)現(xiàn)珊肃，年久失修荣刑，公司決定未來(lái)通過(guò)ES來(lái)重構(gòu)。首先需要調(diào)研并學(xué)習(xí)下ES伦乔，為后續(xù)切換做準(zhǔn)備厉亏，出于工作需要我就踏上了ES的學(xué)習(xí)與...
-
四年大數(shù)據(jù)開發(fā)，自述大數(shù)據(jù)之路
大數(shù)據(jù)開發(fā)聽著挺玄乎的烈和，其實(shí)很多公司就是寫寫SQL爱只，分析分析數(shù)據(jù)，這也被稱作大數(shù)據(jù)開發(fā)招刹。對(duì)很多公司的大數(shù)據(jù)開發(fā)而言恬试，平時(shí)工作寫SQL，使用Hive做離線數(shù)據(jù)分析疯暑，使用UDF训柴、...
-
2020一個(gè)30歲的程序員被優(yōu)化了
2020.5.14，黑色星期四妇拯，一個(gè)30歲的程序員被裁員了幻馁！做開發(fā)7 8年了，一路從初級(jí)程序員一步一腳印越锈，升到高級(jí)開發(fā)仗嗦，公司也從初創(chuàng)公司到了D加輪！然后年前跳槽到了一家相對(duì)較...
