【hive-部署】解決COMMENT中文亂碼問題

1、查看及修改hive 元數(shù)據(jù)庫字符集

#若元數(shù)據(jù)庫的數(shù)據(jù)集不為latin1骇窍,執(zhí)行下面語句修改修改
alter database hive character set latin1;

2民宿、切換使用hive元數(shù)據(jù)庫,修改以下表級別的字符集像鸡。
修改前:



修改:

#修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
#修改分區(qū)字段注解
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
#修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

修改后:


image.png

3活鹰、修改 metastore 的連接 URL

<property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://hdc-data2:3306/hive_remote?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property>

重啟hive和客戶端

注意:做完此步發(fā)現(xiàn)原來創(chuàng)建表的comment還是中文不能正常顯示,但新創(chuàng)建的表能正常顯示只估。

4志群、解決原表的comment中文亂碼(待續(xù))

### Eclipse Workspace Patch 1.0
#P hive-0.12.0-jd-svn
Index: ql/src/java/org/apache/hadoop/hive/ql/metadata/formatting/MetaDataFormatUtils.java
===================================================================
--- ql/src/java/org/apache/hadoop/hive/ql/metadata/formatting/MetaDataFormatUtils.java  (revision 29)
+++ ql/src/java/org/apache/hadoop/hive/ql/metadata/formatting/MetaDataFormatUtils.java  (working copy)
@@ -28,6 +28,8 @@
 import java.util.Set;
 
 import org.apache.commons.lang.StringEscapeUtils;
+import org.apache.commons.logging.Log;
+import org.apache.commons.logging.LogFactory;
 import org.apache.hadoop.hive.conf.HiveConf;
 import org.apache.hadoop.hive.metastore.TableType;
 import org.apache.hadoop.hive.metastore.api.FieldSchema;
@@ -47,7 +49,7 @@
  *
  */
 public final class MetaDataFormatUtils {
-
+  private static final Log LOG = LogFactory.getLog("org.apache.hadoop.hive.ql.metadata.formatting.MetaDataFormatUtils");
   public static final String FIELD_DELIM = "\t";
   public static final String LINE_DELIM = "\n";
 
@@ -262,10 +264,20 @@
 
   private static void displayAllParameters(Map<String, String> params, StringBuilder tableInfo) {
     List<String> keys = new ArrayList<String>(params.keySet());
+    String value = null;
     Collections.sort(keys);
     for (String key : keys) {
       tableInfo.append(FIELD_DELIM); // Ensures all params are indented.
-      formatOutput(key, StringEscapeUtils.escapeJava(params.get(key)), tableInfo);
+      value = params.get(key);
+      LOG.info(">>lvxin displayAllParameters:key="+key+";params.get(key)="+params.get(key));
+      if("comment".equals(key)&& null!=value && value.getBytes().length!=key.length())
+      {
+         formatOutput(key, value, tableInfo);
+      }
+      else
+      {
+         formatOutput(key, StringEscapeUtils.escapeJava(value), tableInfo);
+      }
     }
   }
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蛔钙,隨后出現(xiàn)的幾起案子锌云,更是在濱河造成了極大的恐慌,老刑警劉巖吁脱,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件桑涎,死亡現(xiàn)場離奇詭異,居然都是意外死亡兼贡,警方通過查閱死者的電腦和手機(jī)攻冷,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來遍希,“玉大人等曼,你說我怎么就攤上這事≡渌猓” “怎么了禁谦?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長废封。 經(jīng)常有香客問我州泊,道長,這世上最難降的妖魔是什么漂洋? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任遥皂,我火速辦了婚禮力喷,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘渴肉。我一直安慰自己冗懦,他們只是感情好爽冕,可當(dāng)我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布仇祭。 她就那樣靜靜地躺著,像睡著了一般颈畸。 火紅的嫁衣襯著肌膚如雪乌奇。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天眯娱,我揣著相機(jī)與錄音礁苗,去河邊找鬼。 笑死徙缴,一個胖子當(dāng)著我的面吹牛试伙,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播于样,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼疏叨,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了穿剖?” 一聲冷哼從身側(cè)響起蚤蔓,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎糊余,沒想到半個月后秀又,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡贬芥,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年吐辙,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蘸劈。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡袱讹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出昵时,到底是詐尸還是另有隱情捷雕,我是刑警寧澤,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布壹甥,位于F島的核電站救巷,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏句柠。R本人自食惡果不足惜浦译,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一棒假、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧精盅,春花似錦帽哑、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至粘驰,卻和暖如春屡谐,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蝌数。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工愕掏, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人顶伞。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓饵撑,卻偏偏與公主長得像,于是被迫代替她去往敵國和親唆貌。 傳聞我的和親對象是個殘疾皇子滑潘,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容