為什么需要調(diào)優(yōu) 在大數(shù)據(jù)計(jì)算領(lǐng)域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計(jì)算平臺之一。然而，通過Spark開發(fā)出高性能的大數(shù)據(jù)計(jì)算作業(yè)，并不是那么簡單的。如果沒有對S...
發(fā)簡信
IP屬地：重慶
-
Spark性能優(yōu)化筆記 -
Spark應(yīng)用學(xué)習(xí)筆記Sqoop sqoop 是 apache 旗下一款“Hadoop 和關(guān)系數(shù)據(jù)庫服務(wù)器之間傳送數(shù)據(jù)”的工具眷昆。核心的功能有兩個(gè)： 導(dǎo)入、遷入 導(dǎo)出汁咏、遷出 導(dǎo)入數(shù)據(jù)：MySQL亚斋，O...
-
Spark學(xué)習(xí)筆記Scala語法 至于scala語法而言，大致上和Java的語法類似攘滩，增加了一些函數(shù)式編程帅刊，具體語法可以參考Scala語法Scala是一種針對 JVM 將函數(shù)和面向?qū)ο蠹夹g(shù)組合...
-
HBase學(xué)習(xí)筆記在對HBase進(jìn)行操作之前，首先學(xué)習(xí)一下HBase的基礎(chǔ)架構(gòu)和運(yùn)行原理漂问。這里講解了 HBase 在大數(shù)據(jù)生態(tài)圈中的位置 HBase 與傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別 HBase 相關(guān)的...
-
Hive學(xué)習(xí)筆記hive簡介 解釋一：Hive是一個(gè)數(shù)據(jù)倉庫基礎(chǔ)工具在Hadoop中用來處理結(jié)構(gòu)化數(shù)據(jù)赖瞒。它架構(gòu)在Hadoop之上，總歸為大數(shù)據(jù)蚤假，并使得查詢和分析方便栏饮。并提供簡單的sql查詢功...
-
Hive中的全排序：order by,sort by, distribute by
寫mapreduce程序時(shí)，如果reduce個(gè)數(shù)>1磷仰，想要實(shí)現(xiàn)全排序需要控制好map的輸出袍嬉，詳見Hadoop簡單實(shí)現(xiàn)全排序 現(xiàn)在學(xué)了hive，寫sql大家都很熟悉灶平，如果一個(gè)o...
-
-
Linux基礎(chǔ)學(xué)習(xí)筆記安裝虛擬機(jī) 首先從阿里鏡像官網(wǎng)下載centos6.5的ISO鏡像文件涮帘，然后用VMware安裝centos的虛擬機(jī)拼苍。 填寫需要?jiǎng)?chuàng)建的虛擬機(jī)的基本配置信息，暫時(shí)把內(nèi)存設(shè)為1GB，...
-
mybatis 密碼正確但是報(bào)錯(cuò)
錯(cuò)誤信息 在dataSource配置中數(shù)據(jù)庫賬號密碼配置正確的情況下疮鲫，如果名字是root吆你，使用${username}配置連接池的user屬性會出現(xiàn)密碼錯(cuò)誤的異常，解決方法是把...
-
Zookeeper集群環(huán)境搭建
1.準(zhǔn)備2n+1臺相互連通的虛擬機(jī) 2n+1是為了方便zookeeper的leader選舉策略 2.卸載自帶的openjdk并安裝oracle JDK 先查看 rpm -qa...
-
自然科普專題收錄與推薦標(biāo)準(zhǔn)請參考: http://www.reibang.com/p/e38bf5116797 如因?yàn)橐恍┛筛膭?dòng)的問題被拒稿，請?jiān)谛薷暮蠛喰怕?lián)系主編：刷牙喝涼白開燕侠，主編審核后將收錄符合要求的文章者祖；如在了解收錄標(biāo)準(zhǔn)后仍對拒稿有異議，也可簡信聯(lián)系主編绢彤。 《自然科普月刊》將恢復(fù)發(fā)刊七问，歡迎大家踴躍投稿，投稿可發(fā)鏈接給主編茫舶。 專題長期招募副編械巡。副編招募信息見下： http://www.reibang.com/p/9d116265ccc1
-
如果你是程序員讥耗，或者有一顆喜歡寫程序的心，喜歡分享技術(shù)干貨疹启、項(xiàng)目經(jīng)驗(yàn)古程、程序員日常囧事等等，歡迎投稿《程序員》專題皮仁。 專題主編：小彤花園 http://www.reibang.com/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.reibang.com/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章籍琳，但不限于技術(shù)，也可以是項(xiàng)目經(jīng)驗(yàn)類的文章和程序員日常贷祈。 2.文章內(nèi)不得有任何推廣信息趋急。包括但不限于公眾號、微博势誊、微信呜达，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁介紹里粟耻。 3.字?jǐn)?shù)極少查近，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄挤忙，請確認(rèn)文章內(nèi)容和本專題相關(guān) 目前針對優(yōu)質(zhì)作者及愛好者霜威，開設(shè)了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個(gè)人微信册烈，主編會將你加入到【程序員】微信群戈泼，分享內(nèi)容，收獲知識。添加微信時(shí)備注昵稱大猛。
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你唠亚。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考撬槽，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類型文章 投稿須知：http://www.reibang.com/p/4edc76104c27 專題主編：@若錦 http://www.reibang.com/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學(xué)習(xí)趾撵，添加時(shí)備注簡書ID侄柔。
