小文件是如何產(chǎn)生的 動態(tài)分區(qū)插入數(shù)據(jù)的時候，會產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增 數(shù)據(jù)源本身就包含有大量的小文件 reduce個數(shù)越多迫肖，生成的小文件也越多 小文件的危...
發(fā)簡信
IP屬地：上海
-
Hive如何處理大量小文件
-
50道SQL練習(xí)題及答案與詳細(xì)分析網(wǎng)上流傳較廣的50道SQL訓(xùn)練史侣，奮斗了不知道多久終于寫完了跌造。前18道題的難度依次遞增足绅，從19題開始的后半部分算是循環(huán)練習(xí)和額外function的附加練習(xí)析既，難度恢復(fù)到普通狀態(tài)吼鱼。...
-
Pandas選取行，列總結(jié)
pandas 數(shù)據(jù)索引與選取 我們對 DataFrame 進行選擇地粪，大抵從這三個層次考慮：行列取募、區(qū)域、單元格驶忌。其對應(yīng)使用的方法如下：一. 行矛辕，列 --> df[]二. 區(qū)域 ...
-
-
數(shù)據(jù)庫面試題匯總
數(shù)據(jù)庫三范式是什么?第一范式：表中每個字段都不能再分翻屈。第二范式：滿足第一范式并且表中的非主鍵字段都依賴于主鍵字段。第三范式：滿足第二范式并且表中的非主鍵字段必須不傳遞依賴于主...
-
快速排序的遞歸和非遞歸實現(xiàn)
快速排序的基本思想是:通過一趟排序?qū)⒋庞涗浄指畛瑟毩⒌膬刹糠?其中一部分記錄的關(guān)鍵字均比另一部分記錄的關(guān)鍵字小,則可分別對這兩部分記錄繼續(xù)進行排序妻坝，已達到整個 序列有序....
-
認(rèn)識HTTP----Cookie和Session篇本文內(nèi)容大多參考《圖解HTTP》一書 1. 使用Cookie來管理狀態(tài) HTTP 是無狀態(tài)協(xié)議刽宪，說明它不能以狀態(tài)來區(qū)分和管理請求和響應(yīng)厘贼。也就是說，無法根據(jù)之前的狀態(tài)進行本次的...
-
白話 Merkle Tree
今天為啥又聊 Merkle Tree 呢？ 我們地球上大部分人應(yīng)該連它的名字都沒有聽過庇谆，而且說實話它也是個比較傳統(tǒng)的概念了岳掐。Merkle Tree 是由計算機科學(xué)家 Ralp...
-
簡析TCP的三次握手與四次揮手
簡析TCP的三次握手與四次揮手 TCP是什么？ 具體的關(guān)于TCP是什么饭耳，我不打算詳細(xì)的說了串述；當(dāng)你看到這篇文章時，我想你也知道TCP的概念了寞肖，想要更深入的了解TCP的...
-
排序算法-N個正整數(shù)排序算法 高德納在《計算機程序設(shè)計藝術(shù)》里對算法歸納為以下幾點： 輸入: 一個算法必須有零或以上的輸入量輸出: 一個算法應(yīng)有一個或以上的輸出量明確性: 算法的描述必須無歧義,實際...
-
演示三種跨域的解決方式
JSONP 核心是 CORS 核心是 降域 瀏覽器中不同域的框架也是不能通過js進行交互的纲酗，但是不同框架之間可以獲取到window對象，但卻無法獲取到相應(yīng)的屬性和方法新蟆。 例如...
-
前端基礎(chǔ)進階（五）：閉包初學(xué)JavaScript時耕姊，我在閉包上，走了很多彎路栅葡。而這次重新回過頭來對基礎(chǔ)知識進行梳理，要講清楚閉包尤泽，也是一個非常大的挑戰(zhàn)欣簇。 閉包有多重要规脸？如果你是初入前端的朋友，我沒有...
-
BFC | 浮動 | 折疊浮動元素的特征熊咽，對父容器莫鸭、對其他浮動元素、普通元素横殴、文字的影響被因。 浮動會使應(yīng)用的元素脫離文檔流。按指定的位置來移動位置衫仑。當(dāng)遇到其父元素或者相鄰的元素時即停下梨与。此樣式可用于 塊...
