小文件是如何產(chǎn)生的 動態(tài)分區(qū)插入數(shù)據(jù)的時候汹来，會產(chǎn)生大量的小文件勺鸦，從而導(dǎo)致map數(shù)量的暴增 數(shù)據(jù)源本身就包含有大量的小文件 reduce個數(shù)越多诬像，生成的小文件也越多 小文件的危...
發(fā)簡信
IP屬地：上海
-
Hive如何處理大量小文件
-
50道SQL練習(xí)題及答案與詳細分析網(wǎng)上流傳較廣的50道SQL訓(xùn)練货邓，奮斗了不知道多久終于寫完了复亏。前18道題的難度依次遞增叽奥，從19題開始的后半部分算是循環(huán)練習(xí)和額外function的附加練習(xí)鉴裹，難度恢復(fù)到普通狀態(tài)。...
-
Pandas選取行廷没，列總結(jié)
pandas 數(shù)據(jù)索引與選取 我們對 DataFrame 進行選擇糊饱，大抵從這三個層次考慮：行列、區(qū)域颠黎、單元格另锋。其對應(yīng)使用的方法如下：一. 行，列 --> df[]二. 區(qū)域 ...
-
-
數(shù)據(jù)庫面試題匯總
數(shù)據(jù)庫三范式是什么?第一范式：表中每個字段都不能再分过椎。第二范式：滿足第一范式并且表中的非主鍵字段都依賴于主鍵字段台舱。第三范式：滿足第二范式并且表中的非主鍵字段必須不傳遞依賴于主...
-
快速排序的遞歸和非遞歸實現(xiàn)
快速排序的基本思想是:通過一趟排序?qū)⒋庞涗浄指畛瑟毩⒌膬刹糠?其中一部分記錄的關(guān)鍵字均比另一部分記錄的關(guān)鍵字小,則可分別對這兩部分記錄繼續(xù)進行排序，已達到整個 序列有序....
-
認識HTTP----Cookie和Session篇本文內(nèi)容大多參考《圖解HTTP》一書 1. 使用Cookie來管理狀態(tài) HTTP 是無狀態(tài)協(xié)議，說明它不能以狀態(tài)來區(qū)分和管理請求和響應(yīng)竞惋。也就是說，無法根據(jù)之前的狀態(tài)進行本次的...
-
白話 Merkle Tree
今天為啥又聊 Merkle Tree 呢灰嫉？ 我們地球上大部分人應(yīng)該連它的名字都沒有聽過拆宛，而且說實話它也是個比較傳統(tǒng)的概念了。Merkle Tree 是由計算機科學(xué)家 Ralp...
-
簡析TCP的三次握手與四次揮手
簡析TCP的三次握手與四次揮手 TCP是什么讼撒？ 具體的關(guān)于TCP是什么浑厚，我不打算詳細的說了；當你看到這篇文章時根盒，我想你也知道TCP的概念了钳幅，想要更深入的了解TCP的...
