Step by Step 實現(xiàn)基于 Cloudera 5.8.2 的企業(yè)級安全大數(shù)據(jù)平臺 - Sentry 的整合

本篇主要介紹 Hive 集成 Sentry、Impala 集成 Sentry漱办、HUE 集成 Sentry这刷,HDFS 集成 Sentry(這塊暫時沒有調(diào)通)。

眾所周知洼冻,MySQL 有細粒度的權(quán)限控制崭歧,諸如 HBase 這樣的 NoSQL DB 也有細化到表的權(quán)限控制。而 Hadoop 生態(tài)圈中也有一款對應(yīng)的產(chǎn)品 Sentry撞牢,它可以細化到 Hive / Impala 數(shù)據(jù)庫的列粒度,進行權(quán)限控制叔营,極大地提升了集群的多租戶共享能力屋彪,保障了數(shù)倉本身的數(shù)據(jù)安全性。配合 Kerberos 的 user / service 認證绒尊,HDFS 的 ACLs 文件系統(tǒng)權(quán)限控制畜挥,以及傳輸層加密,HDFS 的靜態(tài)數(shù)據(jù)加密婴谱,甚至是基于 LUKS 的整盤加密蟹但,可謂海陸空式的進行了安全防護。

下面我們來具體談?wù)勌犯幔趺醇?Sentry 到 Hadoop 中华糖。

Hive 集成 Sentry

準(zhǔn)備工作

  • Hive 的數(shù)倉 /user/hive/warehouse 目錄必須從屬于 hive:hive;
  • Hive 的 Cloudera 配置:hive.server2.enable.impersonation = False瘟裸;
  • YARN 的 Cloudera 配置:確保Allowed System Users已經(jīng)包含了hive用戶客叉;

配置工作

在 Clouder Manager 對 Hive 進行配置,這里的 Server Name 是 Hive 數(shù)倉服務(wù)名,表示根服務(wù):

Sentry Service = Sentry
Server Name for Sentry Authorization = server1

重啟 Hive 服務(wù)兼搏。

給 hive 用戶授權(quán) hive 超級管理員權(quán)限卵慰,假設(shè) hiveserver2 是 192.168.1.3:

HIVESERVER2_HOSTNAME=192.168.1.3
beeline -u "jdbc:hive2://${HIVESERVER2_HOSTNAME}:10000/default;principal=hive/${HIVESERVER2_HOSTNAME}@DOMAIN.COM;"
CREATE ROLE admin_role;
GRANT ALL ON SERVER server1 TO ROLE admin_role;
GRANT ROLE admin_role TO GROUP hive;
GRANT ROLE admin_role TO GROUP admin;

Impala 集成 Sentry

在 Clouder Manager 對 Impala 進行配置:

Sentry Service = Sentry

重啟 Impala 服務(wù)。

HUE 集成 Sentry

在 Clouder Manager 對 HUE 進行配置:

Sentry Service = Sentry

重啟 HUE 服務(wù)佛呻。

添加 Hive, Impala, HUE, HUE 默認超級管理員組到 Sentry admin 組

在 Clouder Manager 對 Sentry 進行配置裳朋,修改 Admin Group,添加hive吓著,impala鲤嫡, hueadmin(hue的默認超級管理員)夜矗,重啟 Sentry 服務(wù)泛范。

至此,所有配置完成紊撕,接下來進行功能測試罢荡。

功能測試

本文對 Use Case 1進行了詳細闡述,針對 Use Case 2 和 Use Case 3对扶,請讀者通過 HUE 的 Hive Tables 功能自己實現(xiàn)区赵。

Use Case 1: hive 用戶有最高權(quán)限,可以查看所有數(shù)據(jù)庫浪南、表及 CRUD 等笼才,hue 用戶只有 filtered 數(shù)據(jù)庫權(quán)限

準(zhǔn)備測試數(shù)據(jù):

cat /tmp/events.csv
10.1.2.3,US,android,createNote
10.200.88.99,FR,windows,updateNote
10.1.2.3,US,android,updateNote
10.200.88.77,FR,ios,createNote
10.1.4.5,US,windows,updateTag

然后,在 HUE 的 hive editor 中運行下面 sql 語句络凿,創(chuàng)建 sensitive filtered 數(shù)據(jù)庫:

create database sensitive;
 
create table sensitive.events (
    ip STRING, country STRING, client STRING, action STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
 
load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;
 
create database filtered;
 
create view filtered.events as select country, client, action from sensitive.events;
 
create view filtered.events_usonly as select * from filtered.events where country = 'US';

使用 hive/hive_admin這個 principal 進行 Kerberos 認證骡送,為 hive 用戶賦予最高權(quán)限(不知道如何創(chuàng)建 principal?請參考Step by Step 實現(xiàn)基于 Cloudera 5.8.2 的企業(yè)級安全大數(shù)據(jù)平臺 - Kerberos的整合):

kinit hive/hive_admin

HIVESERVER2_HOSTNAME=192.168.1.3

beeline -u "jdbc:hive2://${HIVESERVER2_HOSTNAME}:10000/default;principal=hive/${HIVESERVER2_HOSTNAME}@DOMAIN.COM;"
 
CREATE ROLE admin_role;
 
GRANT ALL ON SERVER server1 TO ROLE admin_role; 
 
GRANT ROLE admin_role TO GROUP hive;

在 HUE 中使用 hive 用戶進行登錄絮记,確認可以讀取 sensitive filtered 數(shù)據(jù)庫中的表數(shù)據(jù)摔踱,hive 用戶應(yīng)該可以查看所有數(shù)據(jù)庫、訪問所有表怨愤。創(chuàng)建用戶 hue派敷,它只可以訪問 filtered 數(shù)據(jù)庫:

kinit hive/hive_admin

HIVESERVER2_HOSTNAME=192.168.1.3

beeline -u "jdbc:hive2://${HIVESERVER2_HOSTNAME}:10000/default;principal=hive/${HIVESERVER2_HOSTNAME}@DOMAIN.COM"
 
CREATE ROLE test_role;
 
GRANT ALL ON DATABASE filtered TO ROLE test_role;
 
GRANT ROLE test_role TO GROUP hue;

在 HUE 界面上使用 hue 用戶登錄,確認 hue 用戶只對 filtered 數(shù)據(jù)庫有最高權(quán)限撰洗,但是對 sensitive 沒有任何權(quán)限篮愉。

Use Case 2: hue用戶對數(shù)據(jù)庫 test_only 有所有權(quán)限,對 test_select_only 只有 select 權(quán)限

Use Case 3: hive用戶具備數(shù)據(jù)庫hive_only數(shù)據(jù)庫所有權(quán)限差导,而hue用戶只能SELECT hive_only.events.country 字段

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末试躏,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子柿汛,更是在濱河造成了極大的恐慌冗酿,老刑警劉巖埠对,帶你破解...
    沈念sama閱讀 211,561評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異裁替,居然都是意外死亡项玛,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評論 3 385
  • 文/潘曉璐 我一進店門弱判,熙熙樓的掌柜王于貴愁眉苦臉地迎上來襟沮,“玉大人,你說我怎么就攤上這事昌腰】” “怎么了?”我有些...
    開封第一講書人閱讀 157,162評論 0 348
  • 文/不壞的土叔 我叫張陵遭商,是天一觀的道長固灵。 經(jīng)常有香客問我,道長劫流,這世上最難降的妖魔是什么巫玻? 我笑而不...
    開封第一講書人閱讀 56,470評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮祠汇,結(jié)果婚禮上仍秤,老公的妹妹穿的比我還像新娘。我一直安慰自己可很,他們只是感情好诗力,可當(dāng)我...
    茶點故事閱讀 65,550評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著我抠,像睡著了一般苇本。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上菜拓,一...
    開封第一講書人閱讀 49,806評論 1 290
  • 那天圈澈,我揣著相機與錄音,去河邊找鬼尘惧。 笑死,一個胖子當(dāng)著我的面吹牛递递,可吹牛的內(nèi)容都是我干的喷橙。 我是一名探鬼主播,決...
    沈念sama閱讀 38,951評論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼登舞,長吁一口氣:“原來是場噩夢啊……” “哼贰逾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起菠秒,我...
    開封第一講書人閱讀 37,712評論 0 266
  • 序言:老撾萬榮一對情侶失蹤疙剑,失蹤者是張志新(化名)和其女友劉穎氯迂,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體言缤,經(jīng)...
    沈念sama閱讀 44,166評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡嚼蚀,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,510評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了管挟。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片轿曙。...
    茶點故事閱讀 38,643評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖僻孝,靈堂內(nèi)的尸體忽然破棺而出导帝,到底是詐尸還是另有隱情,我是刑警寧澤穿铆,帶...
    沈念sama閱讀 34,306評論 4 330
  • 正文 年R本政府宣布您单,位于F島的核電站,受9級特大地震影響荞雏,放射性物質(zhì)發(fā)生泄漏虐秦。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,930評論 3 313
  • 文/蒙蒙 一讯檐、第九天 我趴在偏房一處隱蔽的房頂上張望羡疗。 院中可真熱鬧,春花似錦别洪、人聲如沸叨恨。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽痒钝。三九已至,卻和暖如春痢毒,著一層夾襖步出監(jiān)牢的瞬間送矩,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評論 1 266
  • 我被黑心中介騙來泰國打工哪替, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留栋荸,地道東北人。 一個月前我還...
    沈念sama閱讀 46,351評論 2 360
  • 正文 我出身青樓凭舶,卻偏偏與公主長得像晌块,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子帅霜,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,509評論 2 348

推薦閱讀更多精彩內(nèi)容