一位愛好文學的資深程序開發(fā)工程師干发。熱愛工作又極度顧家的有為社會青年凯旋。<br><br>帶貨 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fasktug.com%2F" target="_blank">https://asktug.com/</a>
發(fā)簡信
IP屬地：重慶
-
-
上面的文字里面有一段， 你看下哈
“可以看到 AM端的 初始UserGroupInformation是不帶要tgt的疚漆， 也就是說，沒辦法進行kerberos認證流程刁赦，AM端不管是與yarn還是 hdfs的通訊都應該是使用Token的娶聘。在圖片中Token列表中，我們看到出現(xiàn)了一個 名字叫 YARN_AM_RM_TOKEN 甚脉，這個并不是我們Client加進去的丸升，但是可以確信的是AM使用該token與RM進行通訊，這個token哪里來的呢牺氨？
帶著這個疑問狡耻，我們需要從Client開始扒拉一下代碼了，在client端我們使用 YarnClient 將我們的啟動的信息提交給了RM猴凹，這個YarnClient是經(jīng)過kerberos認證的連接夷狰，那么我們可以看下RM端是怎么來處理這個 啟動ApplicationMaster請求的。我們提交給RM的是一個名叫ApplicationSubmissionContext, RM要從中創(chuàng)建出”kerberos體系下的應用(yarn,spark on yarn)
kerberos 介紹 閱讀本文之前建議先預讀下面這篇博客kerberos認證原理---講的非常細致郊霎，易懂 Kerberos實際上一個基于Ticket的認證方式沼头。Client...
-
@Jacky胡家發(fā) 是的进倍，下載到本地 然后使用本地的 cache keytab文件 進行認真。這個一套 資源機制是 hadoop-yarn的 機制购对。 yarn-client 將資源上傳到共享存儲中(這里是hdfs)猾昆，然后yarn的 RM 找到一臺NM 啟動該任務的AM的時候，會把資源的相應位置告訴AM骡苞，AM在啟動的時候會有 resouce download的操作垂蜗。有興趣的話可以 流量一下 hadoop-yarn 的邏輯
kerberos體系下的應用(yarn,spark on yarn)
kerberos 介紹 閱讀本文之前建議先預讀下面這篇博客kerberos認證原理---講的非常細致楷扬，易懂 Kerberos實際上一個基于Ticket的認證方式。Client...
-
Apache sentry架構(gòu)分析-(與hive么抗、hdfs集成)Why was I born with such contemporaries. -- 王爾德Just For M 前言 Apache Sentry是Cloudera公...
-
HiveServer2-HA-安全架構(gòu)赴海獨漂櫓毅否，白首度餘生。 -- 木心Just For M 前言 為了梳理 apache sentry_1.5.0 開啟 hdfs sync 功能后 不再支持hs2的Me...
-
jdk1.8-ForkJoin框架剖析Selfishness is not living as one wishes to live, it is asking others to live as one wis...
-
Spark-sql[1]-antrl4的入門以及在spark中的實現(xiàn)we are all in the gutter,but some of us are looking at the stars. --王爾德Just For M 為了更方便...
-
kerberos體系下的應用(yarn,spark on yarn)kerberos 介紹 閱讀本文之前建議先預讀下面這篇博客kerberos認證原理---講的非常細致蝇刀，易懂 Kerberos實際上一個基于Ticket的認證方式螟加。Client...
-
