1.概念 PO(persistant object) 持久對(duì)象在 O/R 映射的時(shí)候出現(xiàn)的概念妄荔，如果沒(méi)有 O/R 映射，沒(méi)有這個(gè)概念存在了谍肤。通常...
投稿
收錄了16篇文章 · 1人關(guān)注
-
004.Java中PO麻昼、DO插掂、DTO丐一、 VO、 BO晃危、POJO 、DAO、TO的概念 -
看了之后不再迷糊-Spark多種運(yùn)行模式早就想寫(xiě)這章了啦租，一直懶得動(dòng)筆，不過(guò)還好荒揣，總算靜下心來(lái)完成了篷角。 剛接觸Spark時(shí)，很希望能對(duì)它的運(yùn)行方式有個(gè)直觀的了解系任，而Spark同時(shí)支持多種...
-
IDEA遠(yuǎn)程調(diào)試Spark1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark恳蹲，這里所說(shuō)的調(diào)試spark包括： 調(diào)試spark應(yīng)用程序，也就是使用spark算子編寫(xiě)的dr...
-
Apache Avro是什么干什么用的(RPC/序列化)Avro總結(jié)(RPC/序列化) Avro是一個(gè)數(shù)據(jù)序列化系統(tǒng)俩滥，設(shè)計(jì)用于支持大批量數(shù)據(jù)交換的應(yīng)用嘉蕾。 它的主要特點(diǎn)有：支持二進(jìn)制序列化方式，可以便捷...
-
AVRO
Avro（[?vr?]）是Hadoop的一個(gè)子項(xiàng)目霜旧，由Hadoop的創(chuàng)始人Doug Cutting（也是Lucene错忱，Nutch等項(xiàng)目的創(chuàng)始人）...
-
【spark】sortByKey實(shí)現(xiàn)二次排序
最近在項(xiàng)目中遇到二次排序的需求，和平常開(kāi)發(fā)spark的application一樣挂据，開(kāi)始查看API以清，編碼，調(diào)試棱貌，驗(yàn)證結(jié)果玖媚。由于之前對(duì)spark的A...
-
spark 基礎(chǔ)知識(shí)整理（三）- spark SQL專(zhuān)題一、簡(jiǎn)介 Spark SQL是Spark中處理結(jié)構(gòu)化數(shù)據(jù)的模塊婚脱。與基礎(chǔ)的Spark RDD API不同今魔，Spark SQL的接口提供了更多關(guān)于數(shù)...
-
Spark啟動(dòng)時(shí)的master參數(shù)以及Spark的部署方式我們?cè)诔跏蓟疭parkConf時(shí)勺像，或者提交Spark任務(wù)時(shí)，都會(huì)有master參數(shù)需要設(shè)置错森，如下： 但是這個(gè)master到底是何含義呢吟宦？文檔說(shuō)是...
-
RDD、DataFrame和DataSet的區(qū)別
spark 2.X開(kāi)始涩维，三者的關(guān)系發(fā)生了變化殃姓，可以參考《且談Apache Spark的API三劍客：RDD、DataFrame和Dataset》...
-
Spark StreamingSpark treaming簡(jiǎn)介 Spark Streaming是Spark中的一個(gè)組件,具有高吞吐量,容錯(cuò)能力強(qiáng)的特點(diǎn),基于Spark Cor...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/580361/ecosystem.png', '推薦專(zhuān)題《spark》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.reibang.com/c/9e043ae4b579?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}