什么是小文件夕凝？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案次哈，來獲得SQL on Hadoop更出色的性能。因此吆录，本文所講的是指存儲(chǔ)于HDFS中小文件窑滞，即指文件...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時(shí)產(chǎn)生大量小文件 -
Spark--透視函數(shù)pivot應(yīng)用(行列轉(zhuǎn)換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應(yīng)用背景 歡迎各位訪問鏈接中原創(chuàng)博客Spark中行列轉(zhuǎn)換，即...
-
Kafka 新版消費(fèi)者 API（三）：以時(shí)間戳查詢消息和消費(fèi)速度控制
1. 以時(shí)間戳查詢消息 (1) Kafka 新版消費(fèi)者基于時(shí)間戳索引消費(fèi)消息 kafka 在 0.10.1.1 版本增加了時(shí)間索引文件恢筝，因此我們可以根據(jù)時(shí)間戳來訪問消息哀卫。如以...
-
vue之單文件組件 純網(wǎng)頁方式引入
上一節(jié)的vue組件開發(fā)是把組件內(nèi)容統(tǒng)一放到了一個(gè)js文件里面里面寫上模板字符串（引用組件） 這種方式還需要拼接轉(zhuǎn)義 寫法非常丑陋vue貼心的幫我們封裝了單文件組件 可以不用再...
-
Hbase分區(qū)分區(qū) HBase中，表會(huì)被劃分為1…n個(gè)Region撬槽，被托管在RegionServer中此改。Region二個(gè)重要的屬性:StartKey與 EndKey表示這個(gè)Region維護(hù)...
