QQ群：226572896<br>微信訂閱號：Pythonfan <br><br>學習Python3、機器學習，參加競賽，算法刷題。<br><br>這是一個研習社，只等你加入茉兰。
發(fā)簡信
IP屬地：四川
-
-
Hiveserver2 高可用HA配置（nginx）
一．安裝編譯nginx 1.安裝PCRE PCRE 作用是讓 Nginx 支持 Rewrite 功能。 下載地址 解壓 編譯 2.安裝1.9.0 nginx nginx1.9...
-
解決Hive創(chuàng)建文件數(shù)過多的問題
一. Hive的創(chuàng)建文件數(shù)的限制 Hive對文件創(chuàng)建的總數(shù)是有限制的欣簇，這個限制取決于參數(shù)： hive.exec.max.created.files规脸，默認值是10000。如果現(xiàn)...
-
spark stream冷啟動處理kafka中積壓的數(shù)據(jù)
因為首次啟動JOB的時候熊咽，由于冷啟動會造成內(nèi)存使用太大莫鸭，為了防止這種情況出現(xiàn)，限制首次處理的數(shù)據(jù)量 for example: 使用SparkStreaming集成kafka時...
-
利用 Spark DataSource API 實現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配横殴，那么就可以高效的利用Spark 的計算能力被因。典型如Parquet,CarbonData,Post...
-
BigData – Join中竟然也有謂詞下推!?轉自：http://hbasefly.com/2017/04/10/bigdata-join-2/ 上文簡要介紹了Join在大數(shù)據(jù)領域中的使用背景以及常用的幾種算法－broa...
-
SparkSQL 調(diào)優(yōu)
對一些SparkSQL任務，可以通過緩存數(shù)據(jù)衫仑、調(diào)優(yōu)參數(shù)梨与、增加并行度提升性能 緩存數(shù)據(jù)sqlContext.cacheTable("tableName")或dataFrame....
-
Flume源碼分析
首先所有核心組件都會實現(xiàn)org.apache.flume.lifecycle.LifecycleAware接口： start方法在整個Flume啟動時或者初始化組件時都會調(diào)用...
-
做一個自由旅行者粥鞋，世界這么大，我哪都去不了瞄崇。
-
Flume插件開發(fā)遠程調(diào)試因工作需求呻粹，研究了下flume插件開發(fā)，調(diào)通了開發(fā)斷點環(huán)境苏研。公司使用了CDH5.10.1尚猿， flume對應的版本是1.6，文檔和源碼請參見下面鏈接楣富。http://archiv...
-
Azkaban工作流引擎和Flume數(shù)據(jù)采集.Azkaban工作流引擎和Flume數(shù)據(jù)采集 Azkaban介紹 一、Azkaban簡介 為什么需要工作流調(diào)度系統(tǒng)伴榔？ 因為一個完整的數(shù)據(jù)分析系統(tǒng)通常都是由大量任務單元組成：...
-
七纹蝴、Azkaban企業(yè)應用實例一、業(yè)務場景 在廣告追蹤系統(tǒng)中踪少，我們通過提供SDK給用戶塘安，把各種各樣的用戶數(shù)據(jù)采集到我們的服務器中，然后通過MR計算援奢，統(tǒng)計各種輸出兼犯。在本文中，筆者將抽取其中一種業(yè)務場景：計算...
-
-
-
-
歡迎關注我的公眾號：<br>“大數(shù)據(jù)技術部落”<br>回復“加群”進大數(shù)據(jù)技術交流群瞳抓，一起鉆研技術把~
-
我已加入“維權騎士”(rightknights.com)的版權保護計劃孩哑。<br><br>CSDN:<a href="http://blog.csdn.net/csdn_lqr" rel="nofollow" target="_blank">http://blog.csdn.net/csdn_lqr</a><br>github:<a href="https://github.com/GitLqr" rel="nofollow" target="_blank">https://github.com/GitLqr</a><br>QQ郵箱：linqiarui@qq.com<br><br>掘金專欄：<br><a href="https://juejin.im/user/58a53faf5c497d005fa78737" rel="nofollow" target="_blank">https://juejin.im/user/58a53faf5c497d005fa78737</a><br>
-
