業(yè)務(wù)背景 Spark讀取文件時晋控，對于可切分的文件蛉拙，會將文件切分為一系列 Split 巨朦，每個Split對應(yīng)一個Task唁影。一般而言，Split的大小...

前言 今日翻看項目之前某模塊的代碼時，看到grouping_id的sql語句。一時忘記了這個函數(shù)的用法镶奉，遂趕緊寫下這篇以防日后在用到時能快速想起...

前言 前兩章我們已經(jīng)了解了scalikejdbc操作數(shù)據(jù)庫的基礎(chǔ)和項目中實(shí)際需要的一些注意點(diǎn)，本章我們就直接搞上完整的實(shí)例代碼崭放，實(shí)例是以操作my...

前言 在（一）我們已經(jīng)能通過配置文件來創(chuàng)建了數(shù)據(jù)庫的連接池哨苛，本章我們將來接著通過連接池來進(jìn)行數(shù)據(jù)庫的增刪改查。 只操作一個數(shù)據(jù)庫的curd 對于...

JDBC簡介 JDBC是由SUN公司開發(fā)的一套開放標(biāo)準(zhǔn)的跨編程語言币砂、跨數(shù)據(jù)庫類型編程API建峭。各數(shù)據(jù)庫廠商根據(jù)這套規(guī)范開發(fā)自己數(shù)據(jù)庫的驅(qū)動，通過驅(qū)...

hbase是我們大數(shù)據(jù)經(jīng)常使用的一個數(shù)據(jù)庫决摧，我們經(jīng)常需要根據(jù)某些條件去hbase獲取需要的數(shù)據(jù)亿蒸，本文主要聊一下我在項目中用到的過濾查詢(基于sc...

如果spark在讀取hbase的時候感覺速度達(dá)不到需求姑食，可以直接讀取hfile進(jìn)行操作，看代碼 為了保證讀取的hfile在處理期間不會變化砚蓬，需要...

sparkstreaming寫入kafka優(yōu)化 項目中我們實(shí)時程序?qū)懭雓afka可能是這樣寫 這樣的方式是是每一個分區(qū)都拿一個KafkaProd...