Hive性能優(yōu)化： hive分配map和reduce數(shù)量 m祟剔，r數(shù)據(jù)量挚歧，對(duì)效率影響較大，因?yàn)樵趩?dòng)和初始化階段是很耗費(fèi)時(shí)間和資源的浮驳。 （1）控制...

Kylin知識(shí)整理與歸納 1. kyliy的介紹及說明 Apache Kylin是一個(gè)開源的分布式分析引擎悍汛，提供Hadoop之上的SQL查詢接口...

kettle配置遠(yuǎn)程連接服務(wù) （1）下載kettle安裝包，在Linux服務(wù)器上進(jìn)行解壓 unzippdi-ce-7.0.0.0-25.zip ...

在工作中難免會(huì)遇到需要遷移大數(shù)據(jù)庫至会，這時(shí)候就涉及到遷移hive等HDFS文件 解決方案： 采用hadoop distcp 來整體遷移 #!/...

在安裝完linux系統(tǒng)后离咐，執(zhí)行yum，發(fā)現(xiàn)報(bào)錯(cuò)奉件，不能正常使用宵蛀。解決方法如下： 1.查看系統(tǒng)中是否有安裝yum rpm -qa | grep yu...

大數(shù)據(jù)集群搭建 主要基于ambari來同一管理監(jiān)控集群 主要安裝步驟： 準(zhǔn)備機(jī)器，修改hostname瓶蚂，固定ip等 機(jī)器間免密碼登錄 host機(jī)...

Spark學(xué)習(xí)筆記 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkS...

Scala學(xué)習(xí)筆記： 1.1 scala的基礎(chǔ)語法 聲明與定義（賦值）:聲明變量時(shí)可以指定類型糖埋，不指定也可以自動(dòng)識(shí)別數(shù)值類型 ?Val常量val...