Hive簡介 什么是hive hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具,并不是一個(gè)數(shù)據(jù)庫。用來進(jìn)行數(shù)據(jù)提取滔灶、轉(zhuǎn)化普碎、加載，這是一種可以存儲(chǔ)录平、查詢和分析存儲(chǔ)在Hadoop中的...
發(fā)簡信
IP屬地：福建
-
Hive概念 -
《我想進(jìn)大廠》之kafka奪命連環(huán)11問干啥啥不行麻车，看小說第一名。這不斗这，好好寫了一篇文章动猬。 最近整理了一下文章目錄，因?yàn)楹迷缰熬陀行值芨艺f之前文章找不到表箭，我也懶得整理赁咙，現(xiàn)在好好整了一下，發(fā)現(xiàn)有一篇文章寫了一半我...
-
RDD算子之后RDD序列化 閉包檢查 Kryo序列化框架 Java的序列化能夠序列化任何的類免钻。單比較重（字節(jié)多）彼水，序列化后，對象的提交也比較大极舔。Spark2.0開始支持Kryo序列化機(jī)制凤覆。...
-
zookeeper工作機(jī)制 zk從設(shè)計(jì)模式角度理解：是一個(gè)基于觀察者模式的分布式服務(wù)管理框架，它負(fù)責(zé)存儲(chǔ)和管理大家都關(guān)心的數(shù)據(jù)拆魏，然后接受觀察者的注冊盯桦，一旦數(shù)據(jù)狀態(tài)發(fā)生變化，zk就將負(fù)責(zé)通知已經(jīng)...
-
集合常用方法
1-獲取集合長度-list.length 2-獲取集合大小-list.size 3-循環(huán)遍歷-foreach 4-迭代器-list.iterator 5-生成字符串-list...
-
模式匹配
普通匹配 匹配常量稽揭；類型俺附；模式守衛(wèi) 匹配數(shù)組 匹配列表 方式二（方式一與匹配數(shù)組相同) 匹配元組 元組特殊匹配 1)在變量聲明時(shí)匹配 2)for循環(huán)使用 匹配對象及樣例類 概...
-
scala集合基礎(chǔ)1）sacla集合有三大類：序列Seq，集Set溪掀，映射Map事镣。所有集合都擴(kuò)展自Iterable特質(zhì)。2）對于幾乎所有集合類，scala都提供了可變和不可變兩種版本璃哟。分別位于以...
-
-
scala函數(shù)
函數(shù)參數(shù) 1.可變參數(shù)(多個(gè)參數(shù)時(shí)，可變參數(shù)一般放置在最后) 2.參數(shù)默認(rèn)值随闪，一般有默認(rèn)值的參數(shù)放在后面 3.帶名參數(shù) 至簡原則 1.return省略阳似，函數(shù)體最后一行作為返回...
-
scala基礎(chǔ)一些基礎(chǔ) 變量和常量（ 1）聲明變量時(shí)，類型可以省略铐伴，編譯器自動(dòng)推導(dǎo)撮奏，即類型推導(dǎo)（ 2）類型確定后，就不能修改当宴，說明 Scala 是強(qiáng)數(shù)據(jù)類型語言畜吊。（ 3）變量聲明時(shí)，必須要...
-
Hadoop HAHadoop的元數(shù)據(jù)主要作用是維護(hù)HDFS文件系統(tǒng)中文件和目錄的相關(guān)信息户矢。元數(shù)據(jù)存儲(chǔ)形式主要由三類：內(nèi)存鏡像玲献、磁盤鏡像（fsImage）、日志（EditLog）梯浪。在Namen...
-
mapreduce優(yōu)點(diǎn) 1）MapReduce易于編程它簡單的實(shí)現(xiàn)一些接口捌年，就可以完成一個(gè)分布式程序，這個(gè)分布式程序可以分布到大量廉價(jià)的PC機(jī)器上運(yùn)行挂洛。也就是說你寫一個(gè)分布式程序礼预，跟寫一個(gè)簡單...
-
hdfs概念 1.適合一次寫入，多次讀出抹锄。2.優(yōu)點(diǎn)：高容錯(cuò)（多副本）逆瑞；適合大數(shù)據(jù)；可用廉價(jià)服務(wù)器3.缺點(diǎn)：不適合低延時(shí)訪問數(shù)據(jù)伙单；無法高效對大量小文件進(jìn)行存儲(chǔ)获高；不支持并發(fā)寫入；不能隨機(jī)...
-
hadoop
一 目錄結(jié)構(gòu) 1.bin：存放操作hadoop相關(guān)服務(wù)的腳本（hdfs吻育；yarn念秧；mapred） 2.sbin：存放啟動(dòng)/停止hadoop相關(guān)服務(wù)的腳本(hdfs;yarn;...
-
MapReduce提交 提交源碼 Job.java 提交進(jìn)JobSubmitter.java 切片 切片源碼 JobSubmitter.java InputFormat有很多實(shí)現(xiàn)類。默認(rèn)進(jìn)入F...
-
io流初學(xué)java時(shí)都說io流是java中最核心的內(nèi)容之一，但是往往一聽到某某流贱案、某某池的時(shí)候肛炮，還沒開始學(xué)就懵了。其實(shí)io流在java中也就是一些類。網(wǎng)上的很多圖片上把io流接口下...
-
多線程之阻塞隊(duì)列
轉(zhuǎn)載自：http://www.cnblogs.com/dolphin0520/p/3932906.html一侨糟、阻塞隊(duì)列：對隊(duì)列阻塞碍扔，實(shí)現(xiàn)消費(fèi)者-生產(chǎn)者模型。阻塞隊(duì)列為于juc...
-
多線程之FutureTask從關(guān)系圖可以看出FutureTask可以當(dāng)作一個(gè)Runnable被線程執(zhí)行秕重。Future構(gòu)造器 示例：