HBase分析之用戶機(jī)制

HBase的用戶機(jī)制和Hadoop的用戶機(jī)制是一樣的炎辨。但對剛接觸的人來說,相當(dāng)?shù)碾[蔽丝格,啟動HBase不用設(shè)置用戶名撑瞧、密碼,連接HBase也不需要設(shè)置用戶名显蝌、密碼预伺。但HBase(實(shí)質(zhì)上是Hadoop)提供了默認(rèn)的用戶來執(zhí)行操作。

  1. 超級用戶
    如果沒有特意配置曼尊,那么HBase會選擇啟動HBase的系統(tǒng)用戶作為超級用戶酬诀。如果需要改變超級用戶,可通過修改hbase-site.xml來配置骆撇,加入hbase.superuser瞒御。
<property>
  <name>hbase.superuser</name>
  <value>admin</value>
</property>
  1. 默認(rèn)用戶
    默認(rèn)用戶也類似,在沒有特意配置時(shí)神郊,HBase會選擇當(dāng)前的系統(tǒng)用戶作為HBase的用戶肴裙,改變默認(rèn)用戶隱藏的比較深趾唱,我們從代碼來看。

分析源碼

在創(chuàng)建Connection時(shí)蜻懦,會判斷是否已經(jīng)創(chuàng)建了用戶甜癞,如果沒有,會調(diào)用LoginContext的login()方法來創(chuàng)建阻肩。中間的調(diào)用就直接跳過了带欢,想詳細(xì)看的可以參照以下堆棧信息。

在login方法中烤惊,按順序反射調(diào)用了LOGIN_METHOD(login())和COMMIT_METHOD(commit())乔煞,中間啰嗦的代碼就...跳過了,抓住重點(diǎn)看:

public void login() throws LoginException {
    ...
    try {
        // 分別反射調(diào)用了login和commit方法
        invokePriv(LOGIN_METHOD);
        invokePriv(COMMIT_METHOD);
        ...
    } catch (LoginException le) {
        ...
    }
}

invokePriv方法是invoke方法的帶權(quán)限執(zhí)行柒室,主要看invoke方法渡贾。在invoke方法中,遍歷module stack中的元素雄右,對里面的每個元素反射執(zhí)行l(wèi)ogin和commit方法空骚。Module Stack中有兩個元素,UnixLoginModuleUserGroupInformation$HadoopLoginModule擂仍。實(shí)際執(zhí)行的順序就是:

  1. UnixLoginModule#login
  2. UserGroupInformation$HadoopLoginModule#login
  3. UnixLoginModule#commit
  4. UserGroupInformation$HadoopLoginModule#commit
private void invoke(String methodName) throws LoginException {
    for (int i = moduleIndex; i < moduleStack.length; i++, moduleIndex++) {
        try {
            int mIndex = 0;
            Method[] methods = null;
            // 獲取login module的methods
            if (moduleStack[i].module != null) {
                methods = moduleStack[i].module.getClass().getMethods();
            } else {
                // 如果login module還沒創(chuàng)建囤屹,就反射創(chuàng)建一個,再獲取login module的methods
                ...
            }

            // 遍歷找到對應(yīng)的方法
            for (mIndex = 0; mIndex < methods.length; mIndex++) {
                if (methods[mIndex].getName().equals(methodName)) {
                    break;
                }
            }

            // 主要就是這里逢渔,反射調(diào)用了方法名為方法參數(shù)methodName的無參方法
            Object[] args = { };
            boolean status = ((Boolean)methods[mIndex].invoke
                            (moduleStack[i].module, args)).booleanValue();

            if (status == true) {
                // 成功后的處理
                ...
            } else {
                // 失敗了的處理
                ...
            }
        } catch (Exception e) {
            // 各種Exception處理
            ...
        }
    }

    // 收尾工作肋坚,處理Error,清空狀態(tài)
    ...
}
  1. UnixLoginModule的login方法從系統(tǒng)中獲取到了用戶的登錄信息
public boolean login() throws LoginException {
    ...
    ss = new UnixSystem();
    if (ss == null) {
        ...
    } else {
        userPrincipal = new UnixPrincipal(ss.getUsername());
        ...
        return true;
    }
}
  1. UserGroupInformation$HadoopLoginModule的login是空方法肃廓,只return了true
public boolean login() throws LoginException {
    if(UserGroupInformation.LOG.isDebugEnabled()) {
        UserGroupInformation.LOG.debug("hadoop login");
    }

    return true;
}
  1. UnixLoginModule的commit方法把獲取到的登錄信息寫到了subject里
public boolean commit() throws LoginException {
    if (succeeded == false) {
        ...
        return false;
    } else {
        if (subject.isReadOnly()) {
            throw new LoginException
                ("commit Failed: Subject is Readonly");
        }
        // 把用戶名塞進(jìn)subject
        if (!subject.getPrincipals().contains(userPrincipal))
            subject.getPrincipals().add(userPrincipal);
        // 把其他參數(shù)塞進(jìn)subject
        ...
        commitSucceeded = true;
        return true;
    }
}

寫完之后subject里是這樣的智厌,多了用戶和組的信息。

  1. UserGroupInformation$HadoopLoginModule的commit方法盲赊,分3種情況來獲取用戶铣鹏。有KERBEROS,取KERBEROS的用戶信息哀蘑;有HADOOP_USER_NAME诚卸,取HADOOP_USER_NAME的用戶信息;都沒有绘迁,就取Unix/Linux系統(tǒng)的用戶信息惨险,就是第3步commit到subject中的用戶信息。
public boolean commit() throws LoginException {
    if(!this.subject.getPrincipals(User.class).isEmpty()) {
        return true;
    } else {
        Principal user = null;

        // 如果啟用了KERBEROS
        if(UserGroupInformation.isAuthenticationMethodEnabled(
              UserGroupInformation.AuthenticationMethod.KERBEROS)) {
            user = this.getCanonicalUser(KerberosPrincipal.class);
        }


        if(!UserGroupInformation.isSecurityEnabled() && user == null) {
            // 從系統(tǒng)環(huán)境變量里找HADOOP_USER_NAME
            String envUser = System.getenv("HADOOP_USER_NAME");
            if(envUser == null) {
                // 從Java變量里找HADOOP_USER_NAME
                envUser = System.getProperty("HADOOP_USER_NAME");
            }

            user = envUser == null?null:new User(envUser);
        }

        // 實(shí)在找不到了脊髓,就用系統(tǒng)的用戶信息
        if(user == null) {
            user = this.getCanonicalUser(UserGroupInformation.OS_PRINCIPAL_CLASS);
            ...
        }

        // 把User實(shí)例塞進(jìn)subject
        if(user != null) {
            this.subject.getPrincipals().add(new User(((Principal)user).getName()));
            return true;
        } else {
            ...
        }
    }
}

Commit執(zhí)行完以后辫愉,User實(shí)例就創(chuàng)建完成了,可以看到User實(shí)例中只有name将硝。

修改用戶

知道了HBase是如何獲取用戶信息的恭朗,就可以相應(yīng)的改變用戶了屏镊。
根據(jù)UserGroupInformation$HadoopLoginModule的commit中獲取用戶的3種方法,就可分3種情況修改用戶:

  • KERBEROS
    改變KERBEROS用戶(運(yùn)維比較復(fù)雜痰腮,不在考慮范圍)而芥。

  • 系統(tǒng)用戶
    通過切換操作系統(tǒng)的用戶來完成。

  • HADOOP_USER_NAME
    通過設(shè)置System環(huán)境變量改變用戶膀值,需要重啟進(jìn)程才會生效棍丐。

    export HADOOP_USER_NAME=admin
    

    通過設(shè)置System Properties改變用戶,需要在Connection創(chuàng)建之前設(shè)置沧踏,這里的System指的是JavaVM歌逢。

    System.getProperties().setProperty("HADOOP_USER_NAME", "admin");
    

舉例來說,masa用戶是沒有權(quán)限的翘狱,admin用戶是有權(quán)限的秘案。使用默認(rèn)用戶masa訪問集群,執(zhí)行這段代碼時(shí)潦匈,拋出了Exception阱高,原因是沒有權(quán)限。

Configuration configuration = HBaseConfiguration.create();
HTable table = new HTable(configuration, TableName.valueOf("masa_test"));
ResultScanner scanner = table.getScanner(new Scan());
System.out.println("get scanner " + scanner);
Exception in thread "main" org.apache.hadoop.hbase.security.AccessDeniedException: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user ‘masa',action: scannerOpen, tableName:liehutest, family:f.
at org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.authorizeAccess(RangerAuthorizationCoprocessor.java:525)
at org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:919)
at org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:854)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$50.call(RegionCoprocessorHost.java:1284)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$RegionOperation.call(RegionCoprocessorHost.java:1673)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.execOperation(RegionCoprocessorHost.java:1748)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.execOperationWithResult(RegionCoprocessorHost.java:1722)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.preScannerOpen(RegionCoprocessorHost.java:1279)
at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:2252)
at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:32205)
at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2114)
at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:101)
at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:130)
at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:107)
at java.lang.Thread.run(Thread.java:745)

在任務(wù)執(zhí)行之前設(shè)置用戶名茬缩,就可以執(zhí)行成功了赤惊。

System.getProperties().setProperty("HADOOP_USER_NAME", "admin");
Configuration configuration = HBaseConfiguration.create();
HTable table = new HTable(configuration, TableName.valueOf("masa_test"));
ResultScanner scanner = table.getScanner(new Scan());
System.out.println("get scanner " + scanner);
get scanner org.apache.hadoop.hbase.client.ClientScanner@dd8ba08
Process finished with exit code 0

-END-

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市凰锡,隨后出現(xiàn)的幾起案子荐捻,更是在濱河造成了極大的恐慌,老刑警劉巖寡夹,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異厂置,居然都是意外死亡菩掏,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進(jìn)店門昵济,熙熙樓的掌柜王于貴愁眉苦臉地迎上來智绸,“玉大人,你說我怎么就攤上這事访忿∏评酰” “怎么了?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵海铆,是天一觀的道長迹恐。 經(jīng)常有香客問我,道長卧斟,這世上最難降的妖魔是什么殴边? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任憎茂,我火速辦了婚禮,結(jié)果婚禮上锤岸,老公的妹妹穿的比我還像新娘竖幔。我一直安慰自己,他們只是感情好是偷,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布拳氢。 她就那樣靜靜地躺著,像睡著了一般蛋铆。 火紅的嫁衣襯著肌膚如雪馋评。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天戒职,我揣著相機(jī)與錄音栗恩,去河邊找鬼。 笑死洪燥,一個胖子當(dāng)著我的面吹牛磕秤,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播捧韵,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼市咆,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了再来?” 一聲冷哼從身側(cè)響起蒙兰,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎芒篷,沒想到半個月后搜变,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡针炉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年挠他,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片篡帕。...
    茶點(diǎn)故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡殖侵,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出镰烧,到底是詐尸還是另有隱情拢军,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布怔鳖,位于F島的核電站茉唉,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜赌渣,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一魏铅、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧坚芜,春花似錦览芳、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至缚忧,卻和暖如春悟泵,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背闪水。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工糕非, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人球榆。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓朽肥,卻偏偏與公主長得像,于是被迫代替她去往敵國和親持钉。 傳聞我的和親對象是個殘疾皇子衡招,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內(nèi)容