HbaseUtil

package com.nie.k2h.hbase;

import java.io.IOException;
import java.util.Arrays;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Pattern;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Increment;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.log4j.Logger;

import com.nie.k2h.init.LogLoader;
import com.nie.k2h.order.SKUInfo;

public class HbaseUtils {
    
    private static Logger logger = Logger.getLogger(HbaseUtils.class);
    private static Configuration conf = null;
    static int count=0;
    
    /**
     * 根據(jù)行鍵進(jìn)行數(shù)據(jù)查詢(xún)
     * 
     * @param tableName 表名稱(chēng),現(xiàn)有表有:sql_gdm_m03_item_sku_da_jss_201405
     * @param rowKey 行鍵
     * @param columns 返回列過(guò)濾(item_first_cate_cd,item_second_cate_cd,
                        item_third_cate_cd,work_post_cd,shop_id,dept_id_1,
                        dept_name_1,dept_id_2,dept_name_2,dept_id_3,dept_name_3)
     * @return
     * @throws IOException
     */
    public static Map<String,String> getResult(HTableInterface table,String cf, String rowKey, String...columns)
            throws IOException {
        Get get = new Get(Bytes.toBytes(rowKey));
        for(String column:columns) {
             get.addColumn(Bytes.toBytes(cf), Bytes.toBytes(column));
        }
        Map<String,String> map = new HashMap<String,String>();
        Result result = table.get(get);
        List<KeyValue> list = result.list();
        if(list!=null){
            for (KeyValue kv : result.list()) {
                map.put(Bytes.toString(kv.getQualifier()), Bytes.toString(kv.getValue()));
            }
        }
        return map;
       // return result;
    }

    /*
     * 遍歷查詢(xún)hbase表
     * 
     * @tableName 表名
     */
    public static void getResultScann(String tableName, String start_rowkey,
            String stop_rowkey) throws IOException {
        Scan scan = new Scan();
        scan.setStartRow(Bytes.toBytes(start_rowkey));
        scan.setStopRow(Bytes.toBytes(stop_rowkey));
        ResultScanner rs = null;
        HTable table = new HTable(conf, Bytes.toBytes(tableName));
        try {
            rs = table.getScanner(scan);
            for (Result r : rs) {
                for (KeyValue kv : r.list()) {
                   logger.error("row:" + Bytes.toString(kv.getRow()));
                   logger.error("family:"
                            + Bytes.toString(kv.getFamily()));
                   logger.error("qualifier:"
                            + Bytes.toString(kv.getQualifier()));
                   logger.error("|" + Bytes.toString(kv.getValue()));
                   logger.error("timestamp:" + kv.getTimestamp());
                    
                }
                logger.error("\n-------------------------------------------");
            }
        } finally {
            rs.close();
            table.close();
        }
    }
    
    
    public static void getItemByItemSkuId(String itemSkuId) {
        try{
//          getResult("cf","sql_gdm_m03_item_sku_da_jss_",itemSkuId);
        }catch(Exception ex) {
            ex.printStackTrace();
        }
    }
    
    /*
     * 刪除表
     * 
     * @tableName 表名
     */
    public static void deleteTable(String tableName) throws IOException {
        HBaseAdmin admin = new HBaseAdmin(conf);
        admin.disableTable(tableName);
        admin.deleteTable(tableName);
        admin.close();
        System.out.println(tableName + "is deleted!");
    }
    
    /**
     * 獲取表名稱(chēng)
     * 
     * @return
     */
    public static String loadTable() {
        HBaseAdmin admin = null;
        logger.debug("++++++++++++++++++++++++++++++start");
        try {
            String prefix = "sql_gdm_m03_item_sku_da_jss_";
            admin = new HBaseAdmin(conf);
            //String [] tables = new String[]{"app_item_sku_sales_statistics_201508","app_item_sku_sales_statistics_201405","app_item_sku_sales_statistics_201403"};
            Pattern p = Pattern.compile("^"+prefix+".\\d+$");
            String [] tables = admin.getTableNames(p);
            //String [] tables = admin.getTableNames();
            if(tables==null||tables.length==0){
                return null;
            }
            /*
            Matcher m = p.matcher("app_item_sku_sales_statistics201508");

            // 查找相應(yīng)的字符串
            while (m.find()) {
                String tmp = m.group();
                if (!"".equals(tmp)) {
                System.out.duoxi(tmp);
                }
            }*/
            
            int[] suffixs = new int[tables.length];
            for(int i=0;i<tables.length;i++) {
                logger.debug("----------table Name-------------"+tables[i]);
                //if(!tables[i].startsWith(prefix)) continue;
                
                String suffix = tables[i].substring(tables[i].lastIndexOf("_")+1);
                suffixs[i]=Integer.parseInt(suffix);
            }
            Arrays.sort(suffixs);
            logger.debug("++++++++++++++++++++++++++++++end");
            return prefix+suffixs[suffixs.length-1];
        }catch(Exception ex) {
            logger.error("獲取表異常:",ex);
            return null;
        }finally {
            try {
                admin.close();
            }catch(IOException io) {
                logger.error("關(guān)閉表異常:",io);
            }
        }
    }

    
    /*
     * 創(chuàng)建表
     * 
     * @tableName 表名
     * 
     * @family 列族列表
     */
    public static void creatTable(String tableName, String[] family)
            throws Exception {
        HBaseAdmin admin = new HBaseAdmin(conf);
        HTableDescriptor desc = new HTableDescriptor(tableName);
        for (int i = 0; i < family.length; i++) {
            desc.addFamily(new HColumnDescriptor(family[i]));
        }
        if (admin.tableExists(tableName)) {
            logger.error("---table " + tableName + " Exists!---");
            System.exit(0);
        } else {
            admin.createTable(desc);
            logger.debug("---create table " + tableName + " Success!---");
        }
        admin.close();
    }
    
    
    public static void IncrValue(HTableInterface htable,String rowKey,
            String family,String columnArr[],long valueArr[]){
        try{
            htable.setAutoFlush(false);
            Increment inc = new Increment(Bytes.toBytes(rowKey));
            for (int j = 0; j < columnArr.length; j++) {
                inc.addColumn(Bytes.toBytes(family), Bytes.toBytes(columnArr[j]),valueArr[j]);
            }
            htable.increment(inc);
        }catch(Exception e){
            LogLoader.getLog().error("IncrValue error msg",e);
        }
        
    }

    /**
     * 
     * @param tableName
     * @param familyColumn
     * @param rowKey
     * @param columnArr
     * @param time
     * @param valueArr
     * @throws IOException 
     */
    public static boolean addData(HTableInterface htable,String familyColumn,
                String rowKey,String columnArr[],long ts,String valueArr[]) throws IOException{
        Put put=null;
        try{
                    htable.setAutoFlush(false);
                    put = new Put(Bytes.toBytes(rowKey));
                    for (int j = 0; j < columnArr.length; j++) {
                             put.add(Bytes.toBytes(familyColumn),
                                     Bytes.toBytes(columnArr[j]),
                                     ts,Bytes.toBytes(valueArr[j]));
                    }
                    htable.put(put);
                return true;    
        }catch(Exception e){
            System.out.println("error count="+count++);
            return false;
            //LogLoader.getLog().error("addData error msg : "+e.getMessage(),e);
        }
        
    }
    
    public static String getRowKey(long orderId){
        String id= String.valueOf(orderId);
        if(id==null) return null;
        
        StringBuffer buf= new StringBuffer(id).reverse();
        
        while(buf.length()<13){
            buf.append("0");
        }
        
        return buf.toString();
        
    }
    
    public static void main(String[] args) {
        System.out.println(getRowKey(120876300L));
    }
    /**
     * 字符串左補(bǔ)零
     * 
     * @param
     * @return
     */
    public static String getLeftAddZero(String str, int len) {
        len = len - str.length();
        for (int i = 0; i < len; i++) {
            str = "0" + str;
        }
        return str;
    }
    
    
    /**
     * 查詢(xún)hbase中的sku的信息
     * @param skus
     * @return
     */
    public static Map<String,String> getCityParComRELA(HTableInterface htable) {
        
        ResultScanner rs = null;
        Map<String,String> map = new HashMap<String, String>();
        try {
            
            Scan scan = new Scan();
            
            scan.addColumn(Bytes.toBytes("f"), Bytes.toBytes("centerNum"));
            
                rs = htable.getScanner(scan);
                if(rs != null ) {
                   for(Result r=rs.next();r!=null;r=rs.next()){                      
                      
                       for(KeyValue kv : r.raw()){
                           map.put(Bytes.toString(kv.getRow()),Bytes.toString(kv.getValue()) );
                       }
                      
                   }
                }
        
        } catch(Exception ex) {
            LogLoader.getLog().error("hbase query getCityParComRELA error",ex);
        } 
        return map;
    }
    
    
}
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末递鹉,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌镣陕,老刑警劉巖多糠,帶你破解...
    沈念sama閱讀 222,000評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件黄选,死亡現(xiàn)場(chǎng)離奇詭異伏伯,居然都是意外死亡橘洞,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,745評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)舵鳞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)震檩,“玉大人琢蛤,你說(shuō)我怎么就攤上這事蜓堕。” “怎么了博其?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,561評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵套才,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我慕淡,道長(zhǎng)背伴,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,782評(píng)論 1 298
  • 正文 為了忘掉前任峰髓,我火速辦了婚禮傻寂,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘携兵。我一直安慰自己疾掰,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,798評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布徐紧。 她就那樣靜靜地躺著静檬,像睡著了一般。 火紅的嫁衣襯著肌膚如雪并级。 梳的紋絲不亂的頭發(fā)上拂檩,一...
    開(kāi)封第一講書(shū)人閱讀 52,394評(píng)論 1 310
  • 那天,我揣著相機(jī)與錄音嘲碧,去河邊找鬼稻励。 笑死,一個(gè)胖子當(dāng)著我的面吹牛愈涩,可吹牛的內(nèi)容都是我干的望抽。 我是一名探鬼主播至非,決...
    沈念sama閱讀 40,952評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼糠聪!你這毒婦竟也來(lái)了荒椭?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,852評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤舰蟆,失蹤者是張志新(化名)和其女友劉穎趣惠,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體身害,經(jīng)...
    沈念sama閱讀 46,409評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡味悄,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,483評(píng)論 3 341
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了塌鸯。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片侍瑟。...
    茶點(diǎn)故事閱讀 40,615評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖丙猬,靈堂內(nèi)的尸體忽然破棺而出涨颜,到底是詐尸還是另有隱情,我是刑警寧澤茧球,帶...
    沈念sama閱讀 36,303評(píng)論 5 350
  • 正文 年R本政府宣布庭瑰,位于F島的核電站,受9級(jí)特大地震影響抢埋,放射性物質(zhì)發(fā)生泄漏弹灭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,979評(píng)論 3 334
  • 文/蒙蒙 一揪垄、第九天 我趴在偏房一處隱蔽的房頂上張望穷吮。 院中可真熱鬧,春花似錦饥努、人聲如沸捡鱼。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,470評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)堰汉。三九已至,卻和暖如春伟墙,著一層夾襖步出監(jiān)牢的瞬間翘鸭,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,571評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工戳葵, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留就乓,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,041評(píng)論 3 377
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像生蚁,于是被迫代替她去往敵國(guó)和親噩翠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,630評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • 對(duì)于全國(guó)疫情來(lái)說(shuō)邦投,基本上都希望越早發(fā)現(xiàn)越好伤锚,然而顯示發(fā)源地開(kāi)始捏著鼻子紅眼睛的騙自己,說(shuō)什么都是造謠志衣,直到事態(tài)...
    leving閱讀 141評(píng)論 0 0
  • 才搬家到小紅門(mén)村屯援,夜晚總能聽(tīng)見(jiàn)好像小孩的夜啼聲音。 直到好久以后念脯,才想明白狞洋,那黑夜中傳來(lái)的聲音是貓叫。 在東北老家...
    劉遲閱讀 404評(píng)論 0 1
  • 作為一個(gè)現(xiàn)實(shí)的文青婊绿店,我愛(ài)錢(qián)吉懊,愛(ài)男人,但是我好姑娘假勿。 01你是不是也曾被流言傷害過(guò) 賈小姐是位非常美麗的年輕菇?jīng)觯?..
    蔣光熙閱讀 595評(píng)論 12 11
  • 關(guān)住夏日窗借嗽, 擋住秋天風(fēng)。 迎接美妙夜废登, 夢(mèng)里回故鄉(xiāng)淹魄。
    大狗少一閱讀 175評(píng)論 0 0