Hive當中對小文件的處理 數(shù)倉面試高頻考點：【在Hive中如何解析小文件過多問題，指定的是：處理表中數(shù)據(jù)時欢策，有很多小文件】 查看表中【文件個數(shù)、數(shù)據(jù)量和數(shù)據(jù)大小】如何查看踩寇？...
發(fā)簡信
IP屬地：浙江
-
Hive和Spark當中對小文件的處理
-
如何設計實時數(shù)據(jù)平臺（技術篇）
本文僅為筆者平日學習記錄之用，侵刪原文：https://mp.weixin.qq.com/s/iyDxv_sLcNEJ1KBG7gGH3w 導讀：實時數(shù)據(jù)平臺（RTDP俺孙，Re...
-
5W字總結(jié)Spark（一）(建議收藏)
本文目錄： 一、Spark 基礎二睛榄、Spark Core三荣茫、Spark SQL四、Spark Streaming五场靴、Structured Streaming六啡莉、Spark 兩...
-
Zoom 在數(shù)據(jù)湖上的流批一體架構實踐咧欣！1. 背景 OnZoom是Zoom新產(chǎn)品，是基于Zoom Meeting的一個獨一無二的在線活動平臺和市場泞边。作為Zoom統(tǒng)一通信平臺的延伸该押，OnZoom是一個綜合性解決方案，...
-
使Flink SQL Kafka Source支持獨立設置并行度前言 社區(qū)在Flink 1.12版本通過FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
-
基于Calcite解析Flink SQL列級數(shù)據(jù)血緣數(shù)據(jù)血緣 數(shù)據(jù)血緣（data lineage）是數(shù)據(jù)治理（data governance）的重要組成部分，也是元數(shù)據(jù)管理梢什、數(shù)據(jù)質(zhì)量管理的有力工具奠蹬。通俗地講，數(shù)據(jù)血緣就是數(shù)據(jù)在...
-
Flink帶超時時間的計次的窗口觸發(fā)器CountWithTimeoutTrigger
當我們要在一個CountWinow里統(tǒng)計數(shù)據(jù)時囤躁，如果數(shù)據(jù)遲遲達不到最大次數(shù)而窗口沒有關閉，會造成內(nèi)存泄漏所以我們需要一個帶超時時間的計次的窗口觸發(fā)器。 代碼非原創(chuàng)狸演，參考了網(wǎng)上...
-
jupyter notebook的通信提示用戶輸入一段代碼，當用戶輸入以后執(zhí)行宵距。這種模式經(jīng)常被稱為REPL(交互式開發(fā)環(huán)境)腊尚，或者Read-Eval-Print-Loop(讀取﹣求值﹣輸出循環(huán)).jupyter ...
