5383bae2afbf - 簡書

發(fā)簡信

5383bae2afbf

5
關(guān)注
0
粉絲
0
文章
0

字?jǐn)?shù)
0

收獲喜歡
0

總資產(chǎn)

IP屬地：北京

5383bae2afbf

yannhuang
寫了 54464 字稚疹，被 89 人關(guān)注巩割，獲得了 73 個喜歡
5383bae2afbf

Oracle | 用戶际歼、權(quán)限箕母、角色管理操作
一吓妆、用戶管理 1、創(chuàng)建用戶 2汗贫、修改用戶 3身坐、刪除用戶二、權(quán)限管理 1落包、系統(tǒng)權(quán)限 - 授權(quán)操作 2部蛇、對象權(quán)限 - 授權(quán)操作 3、回收權(quán)限操作 4咐蝇、查看用戶和權(quán)限三涯鲁、角色管...

Ada54
1361 0 3

5383bae2afbf ·

樓主的配置有問題，應(yīng)該把多個key相同的屬性配置在一起
val sc = new SparkContext()
// 多個HDFS的相同配置
sc.hadoopConfiguration.setStrings("fs.defaultFS", "hdfs://cluster1", "hdfs://cluster2");
sc.hadoopConfiguration.setStrings("dfs.nameservices", "cluster1", "cluster2");
// cluster1的配置
sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
// cluster2的配置
sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster2", "nn3,nn4");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn3", "namenode003:8020");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn4", "namenode004:8020");
sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster2", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

chinfun 評論自Spark操作多HDFS集群
5383bae2afbf

數(shù)大招瘋
寫了 24988 字有序，被 40 人關(guān)注抹腿，獲得了 51 個喜歡
5383bae2afbf

讓Spark-Streaming在Yarn上長時間運行
對于長時間運行的Spark Streaming作業(yè)，一旦提交到Y(jié)ARN群集便需要永久運行旭寿，直到有意停止警绩。任何中斷都會引起嚴(yán)重的處理延遲，并可能導(dǎo)致數(shù)據(jù)丟失或重復(fù)盅称。YARN和A...

數(shù)大招瘋
3065 1 8
5383bae2afbf

Spark讀寫HBase實踐
Spark經(jīng)常會讀寫一些外部數(shù)據(jù)源肩祥，常見的有HDFS、HBase缩膝、JDBC混狠、Redis、Kafka等疾层。這些都是Spark的常見操作将饺，做一個簡單的Demo總結(jié)，方便后續(xù)開發(fā)查閱...

北郵郭大寶
20144 1 9
5383bae2afbf

大豬大豬
寫了 274027 字痛黎，被 3009 人關(guān)注予弧，獲得了 5778 個喜歡

我是大豬、一個讓你沉迷于文章內(nèi)容的IT寫作者湖饱！

5383bae2afbf

和心數(shù)據(jù)
寫了 54836 字桌肴，被 235 人關(guān)注，獲得了 371 個喜歡

專注于大數(shù)據(jù)平臺化琉历、數(shù)據(jù)可觀測性和數(shù)據(jù)可視化
5383bae2afbf

DataX 3.0簡介安裝及使用
DataX3.0離線同步工具介紹一. DataX3.0概覽 ?DataX 是一個異構(gòu)數(shù)據(jù)源離線同步工具坠七，致力于實現(xiàn)包括關(guān)系型數(shù)據(jù)庫(MySQL、Oracle等)旗笔、HDFS彪置、...

香山上的麻雀
68514 7 40
5383bae2afbf

Spark優(yōu)化與實踐
breeze_lsw 編，33 篇文章蝇恶，82 人關(guān)注

Spark 及其生態(tài)的一些優(yōu)化與實踐
5383bae2afbf

@IT·大數(shù)據(jù)
全能程序猿編拳魁，203 篇文章，281 人關(guān)注

個人網(wǎng)站 : http://www.xcan.top 個人店鋪: 鞋盒: https://shop117015562.taobao.com/ 男裝: https://shop469108515.taobao.com/ Hadoop,Hbase,Hive,Spark,Apache Kafka,Apache Storm,Map reduce,SQOOP,Zookeeper
5383bae2afbf

Spark源碼解析
海納百川_spark 編撮弧，30 篇文章潘懊，236 人關(guān)注

深入解析Spark Core姚糊、Spark Streaming源碼，徹底精通Spark

5383bae2afbf

spark
jacksu在簡書編授舟，485 篇文章救恨，1342 人關(guān)注

專注于spark相關(guān)內(nèi)容分享，github相關(guān)資料整理：https://github.com/jacksu/utils4s
5383bae2afbf

程序員
小彤花園編释树，96890 篇文章肠槽，1662403 人關(guān)注

如果你是程序員，或者有一顆喜歡寫程序的心奢啥，喜歡分享技術(shù)干貨秸仙、項目經(jīng)驗、程序員日常囧事等等桩盲，歡迎投稿《程序員》專題寂纪。專題主編：小彤花園 http://www.reibang.com/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.reibang.com/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)赌结，也可以是項目經(jīng)驗類的文章和程序員日常弊攘。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號姑曙、微博襟交、微信，更不得在通過投稿后再修改文章加入推廣信息伤靠。你可以將這些推廣以及個人信息放在個人主頁介紹里捣域。 3.字?jǐn)?shù)極少，段落混亂宴合，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄焕梅，請確認(rèn)文章內(nèi)容和本專題相關(guān) 目前針對優(yōu)質(zhì)作者及愛好者，開設(shè)了官方程序員微信群卦洽，希望加入請發(fā)簡信給主編小彤花園索取個人微信贞言，主編會將你加入到【程序員】微信群，分享內(nèi)容阀蒂，收獲知識该窗。添加微信時備注昵稱。
5383bae2afbf

@IT·互聯(lián)網(wǎng)
若錦編蚤霞，67008 篇文章酗失，2648188 人關(guān)注

Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你昧绣。收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考规肴，數(shù)碼產(chǎn)品極客體驗分析等類型文章投稿須知：http://www.reibang.com/p/4edc76104c27 專題主編：@若錦 http://www.reibang.com/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦加入專題官方社群交流、學(xué)習(xí)，添加時備注簡書ID拖刃。
5383bae2afbf

大數(shù)據(jù)
磊Ray 編删壮，4877 篇文章，9809 人關(guān)注

大數(shù)據(jù)兑牡，收錄大數(shù)據(jù)相關(guān)技術(shù)的文章央碟。
5383bae2afbf

meng_philip123
寫了 1030094 字，被 2421 人關(guān)注发绢，獲得了 4398 個喜歡

本人公眾號 “華仔聊技術(shù)” 十年互聯(lián)網(wǎng)人，個人IP&公眾號博主垄琐，主攻中間件相關(guān)硬核技術(shù) 公眾號kafka系列文章: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fmp.weixin.qq.com%2Fmp%2Fappmsgalbum%3F__biz%3DMzg3MTcxMDgxNA%3D%3D%26action%3Dgetalbum%26album_id%3D2147575846151290880%26scene%3D173%26from_msgid%3D2247488854%26from_itemidx%3D1%26count%3D3%26nolastread%3D1%23wechat_redirect" target="_blank">https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg3MTcxMDgxNA==&action=getalbum&album_id=2147575846151290880&scene=173&from_msgid=2247488854&from_itemidx=1&count=3&nolastread=1#wechat_redirect</a> 歡迎關(guān)注 github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan" target="_blank">https://github.com/menghuan</a> PHP7/Redis5/Nginx/Linux源碼分析匯總鏈接:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan%2Flnmp-code-analysis" target="_blank">https://github.com/menghuan/lnmp-code-analysis</a> 最近在寫的一款go cron工具：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan%2FgoDistributedCron" target="_blank">https://github.com/menghuan/goDistributedCron</a> 基本完成后續(xù)會添加微服務(wù)相關(guān)設(shè)計歡迎star <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan%2Fgo-distributed-cron-fronted" target="_blank">https://github.com/menghuan/go-distributed-cron-fronted</a> go-cron vue管理后臺待完善歡迎star 友情鏈接 歐神的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.changkun.de%2F" target="_blank">https://blog.changkun.de/</a> 碼農(nóng)桃花源 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fqcrao.com%2F" target="_blank">https://qcrao.com/</a> 曹大的博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fxargin.com%2F" target="_blank">http://xargin.com/</a> 面向信仰編程 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdraveness.me" target="_blank">https://draveness.me</a> 煎魚 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Feddycjy.com%2Fposts%2F" target="_blank">https://eddycjy.com/posts/</a> 達(dá)神的博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.weisd.in%2F" target="_blank">http://www.weisd.in/</a> 陳捷的博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.chenjie.info%2F" target="_blank">http://www.chenjie.info/</a> 夢康的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fmengkang.net%2F" target="_blank">https://mengkang.net/</a> 濤哥博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.tiyee.net%2F" target="_blank">http://www.tiyee.net/</a> 周至博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.sunnysmilez.cn%2F" target="_blank">http://www.sunnysmilez.cn/</a> 朱小廝博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fu013256816%2Farticle%2Fdetails%2F54743481" target="_blank">https://blog.csdn.net/u013256816/article/details/54743481</a> 鯉魚的博客:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.iamle.com" target="_blank">https://www.iamle.com</a> 數(shù)據(jù)庫內(nèi)核月報<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fmysql.taobao.org%2Fmonthly%2F" target="_blank">http://mysql.taobao.org/monthly/</a> 全棧技術(shù):<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.thankbabe.com%2F" target="_blank">https://blog.thankbabe.com/</a> 美團(tuán)技術(shù)博客:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Ftech.meituan.com%2F" target="_blank">https://tech.meituan.com/</a> 阿里中間件團(tuán)隊博客:<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fjm.taobao.org%2F" target="_blank">http://jm.taobao.org/</a> 運維社區(qū):<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.unixhot.com%2F" target="_blank">https://www.unixhot.com/</a> cacheCloud:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fcachecloud.github.io%2F" target="_blank">https://cachecloud.github.io/</a> go知識圖譜:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.processon.com%2Fview%2Flink%2F5a9ba4c8e4b0a9d22eb3bdf0" target="_blank">https://www.processon.com/view/link/5a9ba4c8e4b0a9d22eb3bdf0</a> go語言分析 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fchangkun%2Fgo-under-the-hood%2Fblob%2Fmaster%2Fbook%2Fzh-cn%2FTOC.md" target="_blank">https://github.com/changkun/go-under-the-hood/blob/master/book/zh-cn/TOC.md</a> 后端架構(gòu)體系:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxingshaocheng%2Farchitect-awesome" target="_blank">https://github.com/xingshaocheng/architect-awesome</a> 架構(gòu)師技術(shù)圖譜:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Ftoutiaoio%2Fawesome-architecture" target="_blank">https://github.com/toutiaoio/awesome-architecture</a> 互聯(lián)網(wǎng) Java 工程師進(jìn)階知識完全掃盲:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fdoocs%2Fadvanced-java" target="_blank">https://github.com/doocs/advanced-java</a> 從Docker到Kubernetes進(jìn)階:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.qikqiak.com%2Fk8s-book%2F" target="_blank">https://www.qikqiak.com/k8s-book/</a>

5383bae2afbf