隨著Apache Parquet和Apache ORC等存儲(chǔ)格式以及Presto和Apache Impala等查詢引擎的發(fā)展制市，Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級(jí)延時(shí)場(chǎng)景...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Hudi: Uber Engineering的Apache Hadoop增量處理框架
-
當(dāng)你的才華還撐不起你的野心時(shí)<br>那你就應(yīng)該靜下心來學(xué)習(xí)<br>當(dāng)你的能力還駕馭不了你的目標(biāo)時(shí)<br>那就應(yīng)該沉下心來歷練<br>忘掉年齡限制度苔，何事不能成？
-
Excel中構(gòu)建SQL語句1、背景 實(shí)際生產(chǎn)中竣付，我們經(jīng)常會(huì)面臨導(dǎo)入Excel數(shù)據(jù)到數(shù)據(jù)庫的需求，在沒有編寫導(dǎo)入程序滞欠，數(shù)據(jù)庫客戶端工具導(dǎo)入情況下古胆。我們可以通過Excel本身的公式構(gòu)建出sql語句，可復(fù)制...
-
-
花了半個(gè)月，終于把Python庫全部整理出來了夭谤，非常全面庫名稱簡(jiǎn)介 Chardet 字符編碼探測(cè)器棺牧，可以自動(dòng)檢測(cè)文本、網(wǎng)頁朗儒、xml的編碼颊乘。 colorama 主要用來給文本添加各種顏色，并且非常簡(jiǎn)單易用醉锄。 Prettytable ...
-
幾年前踏入這個(gè)行業(yè)恳不，培訓(xùn)出生檩小，大學(xué)非計(jì)算機(jī)專業(yè)，慢慢的成長(zhǎng)到現(xiàn)在烟勋，其中的付出只有自己知道规求。這條路上我走過很多彎路，也慢慢看清前方在哪里神妹。進(jìn)一行精一行敬一行盡一行颓哮，不達(dá)目的，人生有憾鸵荠。
-
Pyspark實(shí)戰(zhàn)指南
開始時(shí)間： 2019-11-26 預(yù)計(jì)時(shí)間7天冕茅。作者：托馬茲[美] 本書常用下載地址：1.RDD章節(jié)文件下載：http://tomdrabas.com/data/VS14M...
-
請(qǐng)指教姨伤。
-
Spark 解決數(shù)據(jù)傾斜的幾種常用方法
數(shù)據(jù)傾斜是大數(shù)據(jù)計(jì)算中一個(gè)最棘手的問題，出現(xiàn)數(shù)據(jù)傾斜后庸疾，Spark 作業(yè)的性能會(huì)比期望值差很多乍楚。數(shù)據(jù)傾斜的調(diào)優(yōu)，就是利用各種技術(shù)方案解決不同類型的數(shù)據(jù)傾斜問題届慈，保證 Spar...
-
聞道無先后，術(shù)業(yè)無專攻<br><br><br>
-
舉個(gè)栗子臊泌！Tableau 技巧（152）：橫向?qū)Ρ榷询B柱形圖的各部分占比柱形圖因其一目了然的特點(diǎn)鲤桥，成為最常用的分析圖表之一。而堆疊柱形圖則可以更清晰地比較某一個(gè)維度中不同類型數(shù)據(jù)之間的差異渠概，也深受分析用戶推崇茶凳。 很多 Tableau 用戶在使用堆...
-
gaohangwang@gmail.com
-
KUDU 介紹前言 近兩年贮喧，KUDU 在大數(shù)據(jù)平臺(tái)的應(yīng)用越來越廣泛。在阿里猪狈、小米箱沦、網(wǎng)易等公司的大數(shù)據(jù)架構(gòu)中，KUDU 都有著不可替代的地位罪裹。本文通過分析 KUDU 的設(shè)計(jì)饱普， 試圖解釋為什么...
-
-
-
搭建金融信貸風(fēng)控中的機(jī)器學(xué)習(xí)模型-(6)模型驗(yàn)證峡继、監(jiān)控與調(diào)優(yōu)
1.模型的區(qū)分度 評(píng)分模型的作用是通過分?jǐn)?shù)將好壞樣本進(jìn)行區(qū)分。理想情況下匈挖，所有非違約人群的分?jǐn)?shù)均高于違約人群的分?jǐn)?shù)碾牌。因此我們需要某些統(tǒng)計(jì)量來衡量好壞樣本的分?jǐn)?shù)差異性，...
-
舉個(gè)栗子儡循！Tableau 技巧（84）：使用盒須圖查看你的數(shù)據(jù)分布關(guān)于盒須圖如果你想顯示一組數(shù)據(jù)的分布情況：例如：一目了然地理解數(shù)據(jù)舶吗，查看數(shù)據(jù)如何向某一段偏斜，查看數(shù)據(jù)中的異常值择膝。建議使用盒須圖誓琼，它是顯示數(shù)據(jù)分布情況的重要方式。 如果你想顯...
