Hbase - 表導(dǎo)出CSV數(shù)據(jù)

新鮮文章,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的膳汪,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)唯蝶,花了半個(gè)小時(shí),性能還是穩(wěn)穩(wěn)的遗嗽,好了不吹牛皮了生棍,直接上代碼吧。

MR

考查了Hbase的各種MR媳谁,沒(méi)有發(fā)現(xiàn)哪一個(gè)是能實(shí)現(xiàn)的,如果有請(qǐng)通知我友酱,我給他發(fā)紅包晴音。
所以我們只能自己來(lái)寫(xiě)一個(gè)MR了,編寫(xiě)一個(gè)Hbase的MR缔杉,官方文檔上也有相應(yīng)的例子锤躁。
我們用來(lái)加以化妝就得到我們想要的了。

導(dǎo)出的CSV格式為

admin,22,北京
admin,23,天津

依賴 hbase-mapreduce

擼scala代碼了

定義Map轉(zhuǎn)換類(lèi)

class MyMapper extends TableMapper[Text, Text] {

  val keyText = new Text()
  val valueText = new Text()

  override def map(key: ImmutableBytesWritable, value: Result, context: Mapper[ImmutableBytesWritable, Result, Text, Text]#Context): Unit = {
    val maps = result2Map(value)
    keyText.set(maps.get("userId"))
    valueText.set(s"${maps.get("regTime")}")
    context.write(keyText, valueText)
  }

  //將Result轉(zhuǎn)換為Map
  def result2Map(result: Result): util.HashMap[lang.String, lang.String] = {
    val map = new util.HashMap[lang.String, lang.String]()
    result.rawCells().foreach {
      cell =>
        val column: Array[Byte] = CellUtil.cloneQualifier(cell)
        val value: Array[Byte] = CellUtil.cloneValue(cell)
        val qualifierByte = cell.getQualifierArray
        if (qualifierByte != null && qualifierByte.nonEmpty) {
          if (value == null || value.length == 0) {
            map.put(Bytes.toString(column), "")
          } else {
            map.put(Bytes.toString(column), Bytes.toString(value))
          }
        }
    }
    map
  }

}

定義Reducer類(lèi)

class MyReducer extends Reducer[Text, Text, Text, Text] {
  override def reduce(key: Text, values: lang.Iterable[Text], context: Reducer[Text, Text, Text, Text]#Context): Unit = {
    val iter = values.iterator()
    while (iter.hasNext) {
     //這樣可以只保留下Key字段或详,也就只有一行數(shù)據(jù)了
      val tmpText = iter.next()
      val mergeKey = new Text()
      mergeKey.set(key.toString + "," + tmpText.toString)
      val v = new Text()
      v.set("")
      context.write(mergeKey, v)
    }
  }
}

ExportCsv核心

class ExportCsv extends Configured with Tool {

  override def run(args: Array[String]): Int = {
    val conf = HBaseConfiguration.create()
    conf.addResource(new FileInputStream(new File("/etc/hbase/conf/hbase-site.xml")))
    conf.set(org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.OUTDIR, "/tmp/hbasecsv")
    conf.set("mapreduce.job.running.map.limit", "8") //最多有多少個(gè)Task同時(shí)跑

    val job = Job.getInstance(conf, "HbaseExportCsv")
    job.setJarByClass(classOf[ExportCsv])

    val scan = new Scan()

    //過(guò)濾我們想要的數(shù)據(jù)
    scan.addFamily(Bytes.toBytes("ext"))
    scan.addColumn(Bytes.toBytes("ext"), Bytes.toBytes("userId"))
    scan.addColumn(Bytes.toBytes("ext"), Bytes.toBytes("regTime"))

    scan.setBatch(1000)
    scan.setCacheBlocks(false)

    TableMapReduceUtil.initTableMapperJob(
      "USER_TABLE",
      scan,
      classOf[MyMapper],
      classOf[Text],
      classOf[Text],
      job
    )
    job.setReducerClass(classOf[MyReducer])
    val jobConf = new JobConf(job.getConfiguration)
    FileOutputFormat.setOutputPath(jobConf, new Path("/tmp/hbasecsv"))
    val isDone = job.waitForCompletion(true)
    if (isDone) 0 else 1
  }
}

要跑了任務(wù)了

hadoop jar ExportCsv.jar

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末系羞,一起剝皮案震驚了整個(gè)濱河市郭计,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌椒振,老刑警劉巖昭伸,帶你破解...
    沈念sama閱讀 222,378評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異澎迎,居然都是意外死亡庐杨,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,970評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)夹供,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)灵份,“玉大人,你說(shuō)我怎么就攤上這事哮洽√钋” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,983評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵鸟辅,是天一觀的道長(zhǎng)氛什。 經(jīng)常有香客問(wèn)我,道長(zhǎng)剔桨,這世上最難降的妖魔是什么屉更? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,938評(píng)論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮洒缀,結(jié)果婚禮上瑰谜,老公的妹妹穿的比我還像新娘。我一直安慰自己树绩,他們只是感情好萨脑,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,955評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著饺饭,像睡著了一般渤早。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上瘫俊,一...
    開(kāi)封第一講書(shū)人閱讀 52,549評(píng)論 1 312
  • 那天鹊杖,我揣著相機(jī)與錄音,去河邊找鬼扛芽。 笑死骂蓖,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的川尖。 我是一名探鬼主播登下,決...
    沈念sama閱讀 41,063評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了被芳?” 一聲冷哼從身側(cè)響起缰贝,我...
    開(kāi)封第一講書(shū)人閱讀 39,991評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎畔濒,沒(méi)想到半個(gè)月后剩晴,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,522評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡篓冲,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,604評(píng)論 3 342
  • 正文 我和宋清朗相戀三年李破,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片壹将。...
    茶點(diǎn)故事閱讀 40,742評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡嗤攻,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出诽俯,到底是詐尸還是另有隱情妇菱,我是刑警寧澤,帶...
    沈念sama閱讀 36,413評(píng)論 5 351
  • 正文 年R本政府宣布暴区,位于F島的核電站闯团,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏仙粱。R本人自食惡果不足惜房交,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,094評(píng)論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望伐割。 院中可真熱鬧候味,春花似錦、人聲如沸隔心。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,572評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)硬霍。三九已至帜慢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間唯卖,已是汗流浹背粱玲。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,671評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留拜轨,地道東北人密幔。 一個(gè)月前我還...
    沈念sama閱讀 49,159評(píng)論 3 378
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像撩轰,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,747評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • > 新鮮文章堪嫂,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的偎箫,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái),花了半個(gè)小時(shí)皆串,性能還是穩(wěn)穩(wěn)的淹办,好了不吹牛皮了...
    kikiki5閱讀 728評(píng)論 0 1
  • 新鮮文章,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的恶复,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)怜森,花了半個(gè)小時(shí),性能還是穩(wěn)穩(wěn)的谤牡,好了不吹牛皮了副硅,直...
    kikiki1閱讀 217評(píng)論 0 2
  • 新鮮文章,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的翅萤,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)恐疲,花了半個(gè)小時(shí),性能還是穩(wěn)穩(wěn)的套么,好了不吹牛皮了培己,直...
    kikiki1閱讀 120評(píng)論 0 2
  • 新鮮文章,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的胚泌,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)省咨,花了半個(gè)小時(shí),性能還是穩(wěn)穩(wěn)的玷室,好了不吹牛皮了零蓉,直...
    kikiki1閱讀 123評(píng)論 0 2
  • 新鮮文章,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的阵苇,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)壁公,花了半個(gè)小時(shí),性能還是穩(wěn)穩(wěn)的绅项,好了不吹牛皮了紊册,直...
    kikiki1閱讀 123評(píng)論 0 2