Apache Doris PMC势篡、關(guān)注OLAP數(shù)倉(cāng)及數(shù)據(jù)中臺(tái)建設(shè)<br>
IP屬地：澳門(mén)
-
-
如何解決spark多表非對(duì)等join導(dǎo)致cross join翩肌？一般的join如果兩邊的join條件是一一對(duì)應(yīng)是性能比較好的情況，但是當(dāng)遇到j(luò)oin條件兩邊存在多行對(duì)應(yīng)一行或者多行對(duì)應(yīng)多行的情況殊霞。就會(huì)出現(xiàn)M行join N行 結(jié)果就會(huì)產(chǎn)生笛...
-
阿里云官網(wǎng)內(nèi)容平臺(tái)绷蹲！匯聚阿里云優(yōu)質(zhì)內(nèi)容（入門(mén)棒卷、文檔顾孽、案例、最佳實(shí)踐比规、直播等）若厚！如需轉(zhuǎn)載或內(nèi)容類(lèi)合作，郵件yqgroup@service.aliyun.com 秒級(jí)回復(fù)蜒什！<br>
-
14.膠囊網(wǎng)絡(luò)（Capsule Network）接下來(lái)测秸，我們來(lái)講一下膠囊網(wǎng)絡(luò)（Capsule）。Capsule是Hilton的paper灾常，他發(fā)表在NIPS2017霎冯。 Capsule的定義 Capsule是什么呢？Capsu...
-
-
spark last first函數(shù)的坑某天一個(gè)需求需要用上spark sql的內(nèi)置function, first跟last。心想只要把數(shù)據(jù)按某個(gè)字段提前排序雕什，再分組取出first跟last值就沒(méi)問(wèn)題缠俺。 結(jié)果卻是測(cè)...
-
小算法-如何遞歸實(shí)現(xiàn)String的reverse需求： Array(H, e, l, l, o) ==》Array[Char] = Array(o, l, l, e, H) 遞歸實(shí)現(xiàn)。 看似很簡(jiǎn)單的算法問(wèn)題贷岸，但是在沒(méi)有任何...
-
ElasticSearch: java transportClient
連接： private staticSettingssettings= Settings .builder() .put("cluster.name",CLUSTER_NAM...
-
在foreachRDD里面自己實(shí)現(xiàn)文件的寫(xiě)入 手動(dòng)控制文件名跟文件大小可行么
解決Spark Streaming寫(xiě)入HDFS的小文件問(wèn)題
今天仍然處于感冒狀態(tài)壹士，打開(kāi)電腦隨便寫(xiě)一篇，然后滾回床上休息偿警。 我們都知道躏救，在HDFS中不宜存儲(chǔ)大量的小文件。所謂小文件户敬，就是大小遠(yuǎn)小于dfs.block.size的文件落剪。如果...
-
能給個(gè)github出來(lái)嗎
Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略
本文已授權(quán)「Flink中文社區(qū)」微信公眾號(hào)發(fā)布并標(biāo)注原創(chuàng)。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時(shí)提到過(guò)尿庐，F(xiàn)link SQ...
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議抄瑟。
-
spark結(jié)構(gòu)化流--kafka我們的場(chǎng)景是通過(guò)spark-streaming讀取kafka數(shù)據(jù)凡泣，實(shí)時(shí)持久化到hdfs上。并按day和hour分區(qū)皮假。就像這種格式： kafka：0.10.2.0 hdfs：2...
-
迭代器模式java集合類(lèi)遍歷有個(gè)常見(jiàn)的問(wèn)題就是想在Iterator里面去判斷刪除某個(gè)符合條件的元素的時(shí)候鞋拟，如果使用List.remove()的方法就會(huì)會(huì)報(bào)出ConcurrentModi...
-
FP-函數(shù)式編程
近些年在大數(shù)據(jù)分布式計(jì)算的急速發(fā)展下，催生出各種大型軟件的工業(yè)需求惹资。而這種大型軟件要容易理解和維護(hù)贺纲，OOP繁瑣的語(yǔ)法及指令式編程肯定是力不從心的。于是人們就把視野重新回歸到了...
-
spark 2.1 sort-based shufflespark的shuffle從最開(kāi)始的basic HashShuffle的M*R個(gè)中間文件褪测，到優(yōu)化的consalidate方式的C*R個(gè)中間文件猴誊。但他們的缺點(diǎn)還是太明...
-
scala： map與flatmap的區(qū)別1) 雖然看過(guò)不少FP的東西潦刃，但是有一天碰到一個(gè)操作，還是沒(méi)有搞清楚用map與flatmap的區(qū)別何在懈叹。舉一個(gè)淺顯的栗子： map出來(lái)的結(jié)果很顯而易見(jiàn)乖杠，為什么flatMap的...
-
spark連接elasticsearch
從hbase讀取數(shù)據(jù)，插入es澄成。第一批大約400w數(shù)據(jù)胧洒，用時(shí)4mins。 importorg.elasticsearch.spark._ importorg.elastics...
-
熱愛(ài)大數(shù)據(jù)
