QQ群：226572896<br>微信訂閱號：Pythonfan <br><br>學(xué)習(xí)Python3、機器學(xué)習(xí)幢码，參加競賽但绕，算法刷題示绊。<br><br>這是一個研習(xí)社芒率，只等你加入囤耳。
發(fā)簡信
IP屬地：黑龍江
-
-
Hiveserver2 高可用HA配置（nginx）
一．安裝編譯nginx 1.安裝PCRE PCRE 作用是讓 Nginx 支持 Rewrite 功能。 下載地址 解壓 編譯 2.安裝1.9.0 nginx nginx1.9...
-
解決Hive創(chuàng)建文件數(shù)過多的問題
一. Hive的創(chuàng)建文件數(shù)的限制 Hive對文件創(chuàng)建的總數(shù)是有限制的，這個限制取決于參數(shù)： hive.exec.max.created.files充择，默認值是10000德玫。如果現(xiàn)...
-
spark stream冷啟動處理kafka中積壓的數(shù)據(jù)
因為首次啟動JOB的時候，由于冷啟動會造成內(nèi)存使用太大椎麦，為了防止這種情況出現(xiàn)宰僧，限制首次處理的數(shù)據(jù)量 for example: 使用SparkStreaming集成kafka時...
-
利用 Spark DataSource API 實現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配，那么就可以高效的利用Spark 的計算能力观挎。典型如Parquet,CarbonData,Post...
-
BigData – Join中竟然也有謂詞下推!?轉(zhuǎn)自：http://hbasefly.com/2017/04/10/bigdata-join-2/ 上文簡要介紹了Join在大數(shù)據(jù)領(lǐng)域中的使用背景以及常用的幾種算法－broa...
-
SparkSQL 調(diào)優(yōu)
對一些SparkSQL任務(wù)琴儿，可以通過緩存數(shù)據(jù)、調(diào)優(yōu)參數(shù)键兜、增加并行度提升性能 緩存數(shù)據(jù)sqlContext.cacheTable("tableName")或dataFrame....
-
Flume源碼分析
首先所有核心組件都會實現(xiàn)org.apache.flume.lifecycle.LifecycleAware接口： start方法在整個Flume啟動時或者初始化組件時都會調(diào)用...
-
做一個自由旅行者普气，世界這么大，我哪都去不了佃延。
-
Flume插件開發(fā)遠程調(diào)試因工作需求现诀，研究了下flume插件開發(fā)，調(diào)通了開發(fā)斷點環(huán)境履肃。公司使用了CDH5.10.1仔沿， flume對應(yīng)的版本是1.6，文檔和源碼請參見下面鏈接尺棋。http://archiv...
-
Azkaban工作流引擎和Flume數(shù)據(jù)采集.Azkaban工作流引擎和Flume數(shù)據(jù)采集 Azkaban介紹 一封锉、Azkaban簡介 為什么需要工作流調(diào)度系統(tǒng)？ 因為一個完整的數(shù)據(jù)分析系統(tǒng)通常都是由大量任務(wù)單元組成：...
-
七膘螟、Azkaban企業(yè)應(yīng)用實例一成福、業(yè)務(wù)場景 在廣告追蹤系統(tǒng)中，我們通過提供SDK給用戶荆残，把各種各樣的用戶數(shù)據(jù)采集到我們的服務(wù)器中奴艾，然后通過MR計算，統(tǒng)計各種輸出内斯。在本文中蕴潦，筆者將抽取其中一種業(yè)務(wù)場景：計算...
-
-
-
-
歡迎關(guān)注我的公眾號：<br>“大數(shù)據(jù)技術(shù)部落”<br>回復(fù)“加群”進大數(shù)據(jù)技術(shù)交流群秀菱，一起鉆研技術(shù)把~
-
我已加入“維權(quán)騎士”(rightknights.com)的版權(quán)保護計劃衍菱。<br><br>CSDN:<a href="http://blog.csdn.net/csdn_lqr" rel="nofollow" target="_blank">http://blog.csdn.net/csdn_lqr</a><br>github:<a href="https://github.com/GitLqr" rel="nofollow" target="_blank">https://github.com/GitLqr</a><br>QQ郵箱：linqiarui@qq.com<br><br>掘金專欄：<br><a href="https://juejin.im/user/58a53faf5c497d005fa78737" rel="nofollow" target="_blank">https://juejin.im/user/58a53faf5c497d005fa78737</a><br>
-
