一．安裝編譯nginx 1.安裝PCRE PCRE 作用是讓 Nginx 支持 Rewrite 功能阀蒂。 下載地址 解壓 編譯 2.安裝1.9.0 nginx nginx1.9...
發(fā)簡信
IP屬地：廣西
-
Hiveserver2 高可用HA配置（nginx）
-
解決Hive創(chuàng)建文件數(shù)過多的問題
一. Hive的創(chuàng)建文件數(shù)的限制 Hive對文件創(chuàng)建的總數(shù)是有限制的，這個限制取決于參數(shù)： hive.exec.max.created.files弟蚀，默認值是10000蚤霞。如果現(xiàn)...
-
spark stream冷啟動處理kafka中積壓的數(shù)據(jù)
因為首次啟動JOB的時候，由于冷啟動會造成內(nèi)存使用太大义钉，為了防止這種情況出現(xiàn)昧绣，限制首次處理的數(shù)據(jù)量 for example: 使用SparkStreaming集成kafka時...
-
利用 Spark DataSource API 實現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配，那么就可以高效的利用Spark 的計算能力捶闸。典型如Parquet,CarbonData,Post...
-
BigData – Join中竟然也有謂詞下推!?轉(zhuǎn)自：http://hbasefly.com/2017/04/10/bigdata-join-2/ 上文簡要介紹了Join在大數(shù)據(jù)領(lǐng)域中的使用背景以及常用的幾種算法－broa...
-
SparkSQL 調(diào)優(yōu)
對一些SparkSQL任務(wù)滞乙，可以通過緩存數(shù)據(jù)、調(diào)優(yōu)參數(shù)鉴嗤、增加并行度提升性能 緩存數(shù)據(jù)sqlContext.cacheTable("tableName")或dataFrame....
-
Flume源碼分析
首先所有核心組件都會實現(xiàn)org.apache.flume.lifecycle.LifecycleAware接口： start方法在整個Flume啟動時或者初始化組件時都會調(diào)用...
