QQ群：226572896<br>微信訂閱號：Pythonfan <br><br>學習Python3催蝗、機器學習，參加競賽细层，算法刷題墩划。<br><br>這是一個研習社蜂桶，只等你加入寝姿。
發(fā)簡信
IP屬地：四川
-
-
Hiveserver2 高可用HA配置（nginx）
一．安裝編譯nginx 1.安裝PCRE PCRE 作用是讓 Nginx 支持 Rewrite 功能交排。 下載地址 解壓 編譯 2.安裝1.9.0 nginx nginx1.9...
-
解決Hive創(chuàng)建文件數(shù)過多的問題
一. Hive的創(chuàng)建文件數(shù)的限制 Hive對文件創(chuàng)建的總數(shù)是有限制的，這個限制取決于參數(shù)： hive.exec.max.created.files饵筑，默認值是10000埃篓。如果現(xiàn)...
-
spark stream冷啟動處理kafka中積壓的數(shù)據(jù)
因為首次啟動JOB的時候，由于冷啟動會造成內(nèi)存使用太大根资，為了防止這種情況出現(xiàn)架专，限制首次處理的數(shù)據(jù)量 for example: 使用SparkStreaming集成kafka時...
-
利用 Spark DataSource API 實現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配同窘，那么就可以高效的利用Spark 的計算能力。典型如Parquet,CarbonData,Post...
-
BigData – Join中竟然也有謂詞下推!?轉自：http://hbasefly.com/2017/04/10/bigdata-join-2/ 上文簡要介紹了Join在大數(shù)據(jù)領域中的使用背景以及常用的幾種算法－broa...
-
SparkSQL 調(diào)優(yōu)
對一些SparkSQL任務部脚，可以通過緩存數(shù)據(jù)想邦、調(diào)優(yōu)參數(shù)、增加并行度提升性能 緩存數(shù)據(jù)sqlContext.cacheTable("tableName")或dataFrame....
-
Flume源碼分析
首先所有核心組件都會實現(xiàn)org.apache.flume.lifecycle.LifecycleAware接口： start方法在整個Flume啟動時或者初始化組件時都會調(diào)用...
-
做一個自由旅行者，世界這么大钱雷，我哪都去不了。
-
Flume插件開發(fā)遠程調(diào)試因工作需求吹零，研究了下flume插件開發(fā)罩抗，調(diào)通了開發(fā)斷點環(huán)境。公司使用了CDH5.10.1灿椅， flume對應的版本是1.6套蒂，文檔和源碼請參見下面鏈接。http://archiv...
-
Azkaban工作流引擎和Flume數(shù)據(jù)采集.Azkaban工作流引擎和Flume數(shù)據(jù)采集 Azkaban介紹 一茫蛹、Azkaban簡介 為什么需要工作流調(diào)度系統(tǒng)操刀？ 因為一個完整的數(shù)據(jù)分析系統(tǒng)通常都是由大量任務單元組成：...
-
七、Azkaban企業(yè)應用實例一婴洼、業(yè)務場景 在廣告追蹤系統(tǒng)中骨坑，我們通過提供SDK給用戶，把各種各樣的用戶數(shù)據(jù)采集到我們的服務器中柬采，然后通過MR計算欢唾，統(tǒng)計各種輸出。在本文中粉捻，筆者將抽取其中一種業(yè)務場景：計算...
-
-
-
-
歡迎關注我的公眾號：<br>“大數(shù)據(jù)技術部落”<br>回復“加群”進大數(shù)據(jù)技術交流群呢燥，一起鉆研技術把~
-
我已加入“維權騎士”(rightknights.com)的版權保護計劃疮茄。<br><br>CSDN:<a href="http://blog.csdn.net/csdn_lqr" rel="nofollow" target="_blank">http://blog.csdn.net/csdn_lqr</a><br>github:<a href="https://github.com/GitLqr" rel="nofollow" target="_blank">https://github.com/GitLqr</a><br>QQ郵箱：linqiarui@qq.com<br><br>掘金專欄：<br><a href="https://juejin.im/user/58a53faf5c497d005fa78737" rel="nofollow" target="_blank">https://juejin.im/user/58a53faf5c497d005fa78737</a><br>
-
