1. 小文件合并綜述 1.1 小文件表現(xiàn) 不論是Hive還是Spark SQL在使用過程中都可能會遇到小文件過多的問題庞钢。小文件過多最直接的表現(xiàn)是任務(wù)執(zhí)行時間長肩刃，查看Spark...
發(fā)簡信
IP屬地：湖南
-
Spark 處理小文件
-
Spark SQL 多列聚合的幾種方法
一硕勿、引子 項目中遇到這樣一張表：user 要求對這個表按照sid 進行聚合友鼻，將所有的id聚合成一個json，所有的tag聚合成一個json婴氮。在hive和Spark中立哑，對tag...
-
【呆鳥譯Py】PyCon 大咖親傳 Pandas 25 式Kevin Markham，數(shù)據(jù)科學(xué)講師苦银，2002 年啸胧，畢業(yè)于范德堡大學(xué)，計算機工程學(xué)士幔虏，2014 年纺念，創(chuàng)建了 Data School，在線教授 Python 數(shù)據(jù)科學(xué)課程想括，...
