劉子棟

啥時(shí)候snappy可以分割了豹爹？？浪蹂？

數(shù)倉(cāng)--Hive-面試之Hive支持的文件格式和壓縮格式及各自特點(diǎn)

Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默認(rèn)格式告材，數(shù)據(jù)不壓縮坤次，磁盤開(kāi)銷大、數(shù)據(jù)解析開(kāi)銷大斥赋。 對(duì)應(yīng)的hive API為：org.apache.hadoo...

李小李的路

4498 1 6

劉子棟

1灿渴、環(huán)境描述 jdk：jdk1.8.0_45 maven：3.3.9 hadoop:2.6.0-cdh5.14.0 其他：因?yàn)榍捌诰幾g過(guò)hadoop等組件，所以配套的git胰舆、...

劉子棟

該文章說(shuō)的清晰明了骚露，好文，贊一個(gè)缚窿！ Apache Spark 統(tǒng)一內(nèi)存管理模型詳解 – 過(guò)往記憶

劉子棟

1棘幸、簡(jiǎn)介 RDD（Resilient Distributed Dataset）叫做彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象倦零，它代表一個(gè)不可變误续、可分區(qū)、里面的元素可并行...

劉子棟

spark簡(jiǎn)介： Spark學(xué)習(xí)之路 （一）Spark初識(shí) - 扎心了，老鐵 - 博客園 1葫隙、下載 地址：http://spark.apache.org/downloads....

劉子棟

1栽烂、broker 其實(shí)就是kafka的進(jìn)程，代表kafka的一個(gè)節(jié)點(diǎn) 2恋脚、topic 其實(shí)就是對(duì)消息的分門別類進(jìn)行存儲(chǔ)腺办，寫的時(shí)候需要指定 3、生產(chǎn)者（producer） 使用...

劉子棟

kafka運(yùn)行需要zookeeper怀喉、scala2.11、jdk支撐 版本：kafka_2.11-0.10.0.1.tgz（2.11指的是scala版本船响，0.10.0.1才是...

劉子棟

原生API： package com.ruozedata.zookeeperimport org.apache.zookeeper.Watcher.Eventimport o...

劉子棟

hue的HA模式和非HA模式配置略有差別 安裝： HUE安裝及問(wèn)題 - CSDN博客 hue 安裝筆記 - CSDN博客 問(wèn)題： 安裝Hue后的一些功能的問(wèn)題解決干貨總結(jié)（博...

劉子棟

默認(rèn)命名如下： a1.sources = r1a1.sinks = k1a1.channels = c1 c2 c3 c4agent_name：a1 source_nam...

劉子棟

1、array數(shù)據(jù)類型 創(chuàng)建表： 示例數(shù)據(jù)： 插入數(shù)據(jù)： size函數(shù)：查詢數(shù)組長(zhǎng)度（map類型也適用） 取數(shù)據(jù)： array_contains函數(shù)：判斷數(shù)組是否包含指定元素...

劉子棟

操作hive的方法前面只介紹了hive客戶端方式茧跋，但是被官方定義為過(guò)時(shí)（雖然還是最常用的）慰丛，其他操作hive的方式有beeline、webUI瘾杭、JavaAPI(官方最推薦的方...