本篇主要介紹 Hive 集成 Sentry、Impala 集成 Sentry漱办、HUE 集成 Sentry这刷,HDFS 集成 Sentry(這塊暫時沒有調(diào)通)。
眾所周知洼冻,MySQL 有細粒度的權(quán)限控制崭歧,諸如 HBase 這樣的 NoSQL DB 也有細化到表的權(quán)限控制。而 Hadoop 生態(tài)圈中也有一款對應(yīng)的產(chǎn)品 Sentry撞牢,它可以細化到 Hive / Impala 數(shù)據(jù)庫的列粒度,進行權(quán)限控制叔营,極大地提升了集群的多租戶共享能力屋彪,保障了數(shù)倉本身的數(shù)據(jù)安全性。配合 Kerberos 的 user / service 認證绒尊,HDFS 的 ACLs 文件系統(tǒng)權(quán)限控制畜挥,以及傳輸層加密,HDFS 的靜態(tài)數(shù)據(jù)加密婴谱,甚至是基于 LUKS 的整盤加密蟹但,可謂海陸空式的進行了安全防護。
下面我們來具體談?wù)勌犯幔趺醇?Sentry 到 Hadoop 中华糖。
Hive 集成 Sentry
準(zhǔn)備工作
- Hive 的數(shù)倉
/user/hive/warehouse
目錄必須從屬于 hive:hive; - Hive 的 Cloudera 配置:
hive.server2.enable.impersonation = False
瘟裸; - YARN 的 Cloudera 配置:確保
Allowed System Users
已經(jīng)包含了hive用戶客叉;
配置工作
在 Clouder Manager 對 Hive 進行配置,這里的 Server Name 是 Hive 數(shù)倉服務(wù)名,表示根服務(wù):
Sentry Service = Sentry
Server Name for Sentry Authorization = server1
重啟 Hive 服務(wù)兼搏。
給 hive 用戶授權(quán) hive 超級管理員權(quán)限卵慰,假設(shè) hiveserver2 是 192.168.1.3:
HIVESERVER2_HOSTNAME=192.168.1.3
beeline -u "jdbc:hive2://${HIVESERVER2_HOSTNAME}:10000/default;principal=hive/${HIVESERVER2_HOSTNAME}@DOMAIN.COM;"
CREATE ROLE admin_role;
GRANT ALL ON SERVER server1 TO ROLE admin_role;
GRANT ROLE admin_role TO GROUP hive;
GRANT ROLE admin_role TO GROUP admin;
Impala 集成 Sentry
在 Clouder Manager 對 Impala 進行配置:
Sentry Service = Sentry
重啟 Impala 服務(wù)。
HUE 集成 Sentry
在 Clouder Manager 對 HUE 進行配置:
Sentry Service = Sentry
重啟 HUE 服務(wù)佛呻。
添加 Hive, Impala, HUE, HUE 默認超級管理員組到 Sentry admin 組
在 Clouder Manager 對 Sentry 進行配置裳朋,修改 Admin Group
,添加hive
吓著,impala
鲤嫡, hue
,admin
(hue的默認超級管理員)夜矗,重啟 Sentry 服務(wù)泛范。
至此,所有配置完成紊撕,接下來進行功能測試罢荡。
功能測試
本文對 Use Case 1進行了詳細闡述,針對 Use Case 2 和 Use Case 3对扶,請讀者通過 HUE 的 Hive Tables
功能自己實現(xiàn)区赵。
Use Case 1: hive 用戶有最高權(quán)限,可以查看所有數(shù)據(jù)庫浪南、表及 CRUD 等笼才,hue 用戶只有 filtered 數(shù)據(jù)庫權(quán)限
準(zhǔn)備測試數(shù)據(jù):
cat /tmp/events.csv
10.1.2.3,US,android,createNote
10.200.88.99,FR,windows,updateNote
10.1.2.3,US,android,updateNote
10.200.88.77,FR,ios,createNote
10.1.4.5,US,windows,updateTag
然后,在 HUE 的 hive editor 中運行下面 sql 語句络凿,創(chuàng)建 sensitive
filtered
數(shù)據(jù)庫:
create database sensitive;
create table sensitive.events (
ip STRING, country STRING, client STRING, action STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;
create database filtered;
create view filtered.events as select country, client, action from sensitive.events;
create view filtered.events_usonly as select * from filtered.events where country = 'US';
使用 hive/hive_admin
這個 principal 進行 Kerberos 認證骡送,為 hive 用戶賦予最高權(quán)限(不知道如何創(chuàng)建 principal?請參考Step by Step 實現(xiàn)基于 Cloudera 5.8.2 的企業(yè)級安全大數(shù)據(jù)平臺 - Kerberos的整合):
kinit hive/hive_admin
HIVESERVER2_HOSTNAME=192.168.1.3
beeline -u "jdbc:hive2://${HIVESERVER2_HOSTNAME}:10000/default;principal=hive/${HIVESERVER2_HOSTNAME}@DOMAIN.COM;"
CREATE ROLE admin_role;
GRANT ALL ON SERVER server1 TO ROLE admin_role;
GRANT ROLE admin_role TO GROUP hive;
在 HUE 中使用 hive 用戶進行登錄絮记,確認可以讀取 sensitive
filtered
數(shù)據(jù)庫中的表數(shù)據(jù)摔踱,hive 用戶應(yīng)該可以查看所有數(shù)據(jù)庫、訪問所有表怨愤。創(chuàng)建用戶 hue派敷,它只可以訪問 filtered 數(shù)據(jù)庫:
kinit hive/hive_admin
HIVESERVER2_HOSTNAME=192.168.1.3
beeline -u "jdbc:hive2://${HIVESERVER2_HOSTNAME}:10000/default;principal=hive/${HIVESERVER2_HOSTNAME}@DOMAIN.COM"
CREATE ROLE test_role;
GRANT ALL ON DATABASE filtered TO ROLE test_role;
GRANT ROLE test_role TO GROUP hue;
在 HUE 界面上使用 hue 用戶登錄,確認 hue 用戶只對 filtered
數(shù)據(jù)庫有最高權(quán)限撰洗,但是對 sensitive
沒有任何權(quán)限篮愉。
Use Case 2: hue用戶對數(shù)據(jù)庫 test_only 有所有權(quán)限,對 test_select_only 只有 select 權(quán)限
Use Case 3: hive用戶具備數(shù)據(jù)庫hive_only數(shù)據(jù)庫所有權(quán)限差导,而hue用戶只能SELECT hive_only.events.country 字段