多線(xiàn)程批量數(shù)據(jù)入庫(kù)

在一個(gè)項(xiàng)目中需要Excel批量導(dǎo)入數(shù)據(jù)槽畔,然后就寫(xiě)了一個(gè)測(cè)試程序哲银。
這次測(cè)試的數(shù)據(jù)是九千條數(shù)據(jù)最快7秒左右可以全部入庫(kù)莱没,用的是Mysql數(shù)據(jù)庫(kù)v5.6初肉,Mybatis框架。我試驗(yàn)了下饰躲,不用多線(xiàn)程需要47秒牙咏。

用 Executor 創(chuàng)建線(xiàn)程池
@Configuration
@EnableAsync
public class ExecutorConfig {

    @Bean
    public Executor asyncServiceExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        //配置核心線(xiàn)程數(shù)
        executor.setCorePoolSize(10);
        //配置最大線(xiàn)程數(shù)
        executor.setMaxPoolSize(10);
        //配置隊(duì)列大小
        executor.setQueueCapacity(99999);
        //配置線(xiàn)程池中的線(xiàn)程的名稱(chēng)前綴
        executor.setThreadNamePrefix("async-service-remit-");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        //執(zhí)行初始化
        executor.initialize();
        return executor;
    }
}
使用多線(xiàn)程插入數(shù)據(jù)庫(kù)
@Async("asyncServiceExecutor")
    @Override
    public void staffIntoStore(String filePath,Long companyUuid) {
        ExcelHandle handle = new ExcelHandle();
        try {
            File file = new File(filePath);
            List<String> list = new ArrayList<>();
            list.add("name");
            list.add("idcard");
            // 從excel表中獲取數(shù)據(jù)
            List<Map<String,Object>> data = handle.getListValue("D:\\test.xlsx",list,0,file);
            int dataSize = data.size();
            // 這個(gè)是記錄插入數(shù)據(jù)的進(jìn)度
            staffEnteringProcessCache.clearProgress(companyUuid);
            staffEnteringProcessCache.setTotal(companyUuid,dataSize);
            // 每次插入50條數(shù)據(jù)
            int step = 50;
            int totalTasks = (dataSize % step == 0 ? dataSize/step : (dataSize/step + 1));
            final CountDownLatch countDownLatch = new CountDownLatch(totalTasks);
            long startTime1 = System.currentTimeMillis();
            for(int j = 0; j < dataSize; j=j+step){
                final int start = j;
                final int perCount = (dataSize - start) < step ? (dataSize - start) : step;
                asyncServiceExecutor.execute(new Runnable() {
                    public void run() {
                        try {
                            System.out.println("多線(xiàn)程開(kāi)始: start == " + start + " , 多線(xiàn)程個(gè)數(shù)count" + perCount);
                            int count = staffMapper.insertBatch(data.subList(start,perCount+start));
                            System.out.println(staffEnteringProcessCache.incre(companyUuid,count));
                            countDownLatch.countDown();
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                    }
                });
            }
            try {
                countDownLatch.await();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            System.out.println("線(xiàn)程池循環(huán)耗時(shí)=======" + (System.currentTimeMillis() - startTime1));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
打印日志.jpg

第一次寫(xiě)文章,寫(xiě)的不好的地方嘹裂,多多見(jiàn)諒妄壶,覺(jué)得有點(diǎn)幫助,請(qǐng)多多點(diǎn)贊寄狼,謝謝 _

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末丁寄,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子泊愧,更是在濱河造成了極大的恐慌伊磺,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,454評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件拼卵,死亡現(xiàn)場(chǎng)離奇詭異奢浑,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)腋腮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)雀彼,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)壤蚜,“玉大人,你說(shuō)我怎么就攤上這事徊哑⊥嗨ⅲ” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,921評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵莺丑,是天一觀的道長(zhǎng)著蟹。 經(jīng)常有香客問(wèn)我,道長(zhǎng)梢莽,這世上最難降的妖魔是什么萧豆? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,648評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮昏名,結(jié)果婚禮上涮雷,老公的妹妹穿的比我還像新娘。我一直安慰自己轻局,他們只是感情好洪鸭,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,770評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著仑扑,像睡著了一般览爵。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上镇饮,一...
    開(kāi)封第一講書(shū)人閱讀 49,950評(píng)論 1 291
  • 那天蜓竹,我揣著相機(jī)與錄音,去河邊找鬼盒让。 笑死梅肤,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的邑茄。 我是一名探鬼主播姨蝴,決...
    沈念sama閱讀 39,090評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼肺缕!你這毒婦竟也來(lái)了左医?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,817評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤同木,失蹤者是張志新(化名)和其女友劉穎浮梢,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體彤路,經(jīng)...
    沈念sama閱讀 44,275評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡秕硝,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,592評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了洲尊。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片远豺。...
    茶點(diǎn)故事閱讀 38,724評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡奈偏,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出躯护,到底是詐尸還是另有隱情惊来,我是刑警寧澤,帶...
    沈念sama閱讀 34,409評(píng)論 4 333
  • 正文 年R本政府宣布棺滞,位于F島的核電站裁蚁,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏继准。R本人自食惡果不足惜枉证,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,052評(píng)論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望锰瘸。 院中可真熱鬧刽严,春花似錦昂灵、人聲如沸避凝。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,815評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)管削。三九已至,卻和暖如春撑螺,著一層夾襖步出監(jiān)牢的瞬間含思,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,043評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工甘晤, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留含潘,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,503評(píng)論 2 361
  • 正文 我出身青樓线婚,卻偏偏與公主長(zhǎng)得像遏弱,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子塞弊,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,627評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容