Ranger-Sqoop2插件安裝

Ranger-Sqoop2插件安裝弄屡,基于Ranger版本1.0.0,支持Sqoop2版本1.99.7题禀。

1.獲取安裝包

scp root@10.43.159.11:/home/compile/ranger/target/ranger-1.0.0-SNAPSHOT-sqoop-plugin.tar.gz .

2.解壓

tar -zxvf ranger-1.0.0-SNAPSHOT-sqoop-plugin.tar.gz

3.進入ranger-1.0.0-SNAPSHOT-sqoop-plugin,修改安裝配置文件install.properties

主要修改如下配置項:

#拉取Ranger策略的地址和服務(wù)名稱
POLICY_MGR_URL=http://10.43.159.11:6080
REPOSITORY_NAME=sqoopdev
#Kylin組件安裝的目錄
COMPONENT_INSTALL_DIR_NAME=/home/sqoop/sqoop-1.99.7-bin-hadoop200

#審計日志保存地址
XAAUDIT.SOLR.ENABLE=true
XAAUDIT.SOLR.URL=http://10.43.159.9:8983/solr/ranger_audits

#Sqoop組件安裝的用戶和用戶組
CUSTOM_USER=sqoop
CUSTOM_GROUP=hadoop

4.使用root用戶執(zhí)行插件安裝腳本

./enable-sqoop-plugin.sh

5.重啟sqoop2組件

sqoop2-sever stop
sqoop2-sever start

6.驗證策略生效

重啟后可以在sqoop的服務(wù)器上面看到如下文件:
/etc/ranger/sqoopdev/policycache/sqoop_sqoopdev.json
在Ranger Web頁面的Audit下面的Plugins查看插件狀態(tài)膀捷。

Ranger頁面創(chuàng)建sqoop服務(wù):
Service Name=sqoopdev
Username=sqoop
Sqoop URL=http://10.43.159.11:12000
用戶名最好填寫安裝用戶的名字,此用戶默認對sqoop的所有資源有訪問權(quán)限迈嘹。
點擊TestConnection成功后,保存即可。

sqoopdev需要和上面插件安裝的REPOSITORY_NAME名稱一致秀仲,

Sqoop集成ranger插件,查看conf/sqoop.properties融痛,應(yīng)該有如下配置:
org.apache.sqoop.security.authorization.validator=org.apache.ranger.authorization.sqoop.authorizer.RangerSqoopAuthorizer

Sqoop插件集成開啟Ranger,還將conf目錄加入到sqoop啟動的classpath中:
在bin/sqoop.sh腳本中的
function sqoop_server_classpath_set里面
新增如下配置:
CLASSPATH="$CLASSPATH":"/home/sqoop/sqoop2/sqoop-1.99.7-bin-hadoop200/conf"

7.開啟Kerberos之后的插件問題

7.1

Sqoop2開啟Kerberos安全模式后神僵,Ranger Sqoop2插件拉取策略會失斞闼ⅰ:
2018-09-05 09:34:58,942 [http-bio-6080-exec-6] ERROR org.apache.ranger.rest.ServiceREST (ServiceREST.java:2784) - getSecureServicePoliciesIfUpdated(sqoopdev, 4) failed as User doesn't have permission to download Policy
2018-09-05 09:34:58,947 [http-bio-6080-exec-6] INFO org.apache.ranger.common.RESTErrorUtil (RESTErrorUtil.java:345) - Request failed. loginId=sqoop, logMessage=User doesn't have permission to download policy
解決方法:
在Ranger Admin的Web頁面修改sqoopdev服務(wù),
在Add New Configurations添加如下配置項:
policy.download.auth.users=sqoop
sqoop用戶為策略拉取用戶保礼,一般是Sqoop2組件用了啟動Kerberos的用戶沛励。

7.2

在已經(jīng)使用了Ranger權(quán)限控制之后,再來開啟Kerberos,
需要重新創(chuàng)建sqoopdev服務(wù)炮障,否則使用原來的服務(wù)TestConnction失敗目派,
這是由于開啟Kerberos之后,RangerAdmin使用rangerlookup/hostname@ZDH.COM去訪問服務(wù),
在新建服務(wù)的時候會把rangerlookup加入到默認創(chuàng)建出來的策略中胁赢,作為超級用戶使用企蹭。

8.參考文檔:

https://cwiki.apache.org/confluence/display/RANGER/Sqoop2+Plugin

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市智末,隨后出現(xiàn)的幾起案子谅摄,更是在濱河造成了極大的恐慌,老刑警劉巖系馆,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件螟凭,死亡現(xiàn)場離奇詭異,居然都是意外死亡它呀,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進店門棒厘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來纵穿,“玉大人,你說我怎么就攤上這事奢人∥矫剑” “怎么了?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵何乎,是天一觀的道長句惯。 經(jīng)常有香客問我,道長支救,這世上最難降的妖魔是什么抢野? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮各墨,結(jié)果婚禮上指孤,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好恃轩,可當(dāng)我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布结洼。 她就那樣靜靜地躺著,像睡著了一般叉跛。 火紅的嫁衣襯著肌膚如雪松忍。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天筷厘,我揣著相機與錄音鸣峭,去河邊找鬼。 笑死敞掘,一個胖子當(dāng)著我的面吹牛叽掘,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播玖雁,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼更扁,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了赫冬?” 一聲冷哼從身側(cè)響起浓镜,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎劲厌,沒想到半個月后膛薛,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡补鼻,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年哄啄,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片风范。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡咨跌,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出硼婿,到底是詐尸還是另有隱情锌半,我是刑警寧澤,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布寇漫,位于F島的核電站刊殉,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏州胳。R本人自食惡果不足惜记焊,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望栓撞。 院中可真熱鬧亚亲,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至惜索,卻和暖如春特笋,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背巾兆。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工猎物, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人角塑。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓蔫磨,卻偏偏與公主長得像,于是被迫代替她去往敵國和親圃伶。 傳聞我的和親對象是個殘疾皇子堤如,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)窒朋,斷路器搀罢,智...
    卡卡羅2017閱讀 134,651評論 18 139
  • 1、運行環(huán)境 主機IP 主機名 2侥猩、配置主機名(分別在五臺機器上執(zhí)行) hostname +主機名例如: h...
    獻給記性不好的自己閱讀 3,553評論 0 6
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,803評論 6 342
  • 一榔至、Nagios簡介 Nagios是一款開源的電腦系統(tǒng)和網(wǎng)絡(luò)監(jiān)視工具,能有效監(jiān)控Windows欺劳、Linux和Uni...
    1b3bd36d9d21閱讀 8,162評論 3 13
  • 阿禤永遠忘不了16歲的每一個日夜唧取,那是她23年的時光里最澄澈的一段。 她讀書讀得早划提,所有女孩該有的心思她比別人早經(jīng)...
    一顆軟飯閱讀 108評論 0 0