自建集群要遷移到EMR集群溶弟，往往需要遷移已有數(shù)據(jù)沙廉。本文主要介紹hdfs數(shù)據(jù)和hive meta數(shù)據(jù)如何遷移扶叉。
前置
已按需求創(chuàng)建好EMR集群嗓节。
遷移hdfs數(shù)據(jù)
主要依靠distcp,核心是打通網(wǎng)絡(luò)荧缘，確定hdfs參數(shù)和要遷移內(nèi)容，測速拦宣，遷移截粗。
網(wǎng)絡(luò)
需要自建集群和EMR各個節(jié)點網(wǎng)絡(luò)互通。同為VPC網(wǎng)絡(luò)只需要同一個安全組鸵隧，不同的安全組需要設(shè)置安全組互通绸罗。
如果自建集群是經(jīng)典網(wǎng)絡(luò)，EMR集群是vpc掰派，網(wǎng)絡(luò)訪問需要設(shè)置CLASSICLINK.參見文檔,詳情可以咨詢ECS客服从诲。
設(shè)置后可以在新集群節(jié)點上ssh 老集群節(jié)點確定網(wǎng)絡(luò)連通情況，distcp操作如果有xx 節(jié)點無法連接xx節(jié)點的異常靡羡，說明沒有連通，需要繼續(xù)設(shè)置俊性。
hdfs權(quán)限配置確認(rèn)
hdfs有權(quán)限設(shè)置略步，確定老集群是否有acl規(guī)則，是否要同步定页，檢查dfs.permissions.enabled 和dfs.namenode.acls.enabled的配置新老集群是否一致趟薄，按照實際需要修改。
如果有acl規(guī)則要同步典徊，distcp參數(shù)要加-p同步權(quán)限參數(shù)杭煎。如果distcp操作提示xx集群不支持acl，說明對應(yīng)集群沒配置卒落。新集群沒配置可以修改配置并重啟NM羡铲。舊集群不支持，說明舊集群根本就沒有acl方面的設(shè)置儡毕，也不需要同步也切。
同步參數(shù)
一般在新集群上運行同步，這樣同步的作業(yè)可以在新集群上運行，對老集群影響較小雷恃。
distcp參數(shù)細(xì)節(jié)疆股，一般命令格式如下：
hadoop distcp -Ddfs.replication=3 -pbugpcax -m 1000 -bandwidth 30 hdfs://oldclusterip:8020 /user/hive/warehouse /user/hive/
注意事項：
hdfs://oldclusterip:8020寫老集群nameode ip，多個namenode寫當(dāng)前active的倒槐。
指定了副本數(shù)3旬痹，如想保留原有副本數(shù)-p后加r如-prbugpcax。如果不同步權(quán)限和acl讨越，-p后去掉p和a两残。
-m指定map數(shù)，和集群規(guī)模谎痢，數(shù)據(jù)量有關(guān)磕昼。比如集群有2000核cpu，就可以指定2000個map节猿。 -bandwidth指定單個map的同步速度票从，是靠控制副本復(fù)制速度實現(xiàn)的，是大概值滨嘱。
4.遷移整體速度受集群間帶寬峰鄙，集群規(guī)模影響。同時文件越多太雨，checksum需要的時間越長吟榴。如果遷移數(shù)據(jù)量大，可以先試著同步幾個目錄評估一下整體時間囊扳。如果只能在指定時間段內(nèi)同步吩翻，可以將目錄切為幾個小目錄，依次同步锥咸。
5.如果遷移過程中老集群還有寫入狭瞎，可以用-udpate再將變化同步過來。
6.一般完全同步搏予，需要有個短暫的業(yè)務(wù)停寫熊锭，以啟用雙寫雙算或直接將業(yè)務(wù)切換到新集群上。
hive meta數(shù)據(jù)同步
hive meta數(shù)據(jù)同步雪侥，本質(zhì)是hive meta db碗殷，一般是mysql db的數(shù)據(jù)同步。和一般的mysql數(shù)據(jù)同步相比速缨，要注意location改變锌妻，和hive版本對齊。
meta db設(shè)置
meta數(shù)據(jù)較多時鸟廓，一般推薦用rds作為meta db从祝。自建集群可能已有一個rds db襟己，由于location不同，一般需要新建一個數(shù)據(jù)庫牍陌。最佳實踐是跟EMR集群在一個可用區(qū)擎浴，一個vpc 安全組下新建一個rds 數(shù)據(jù)庫。
登錄新集群master節(jié)點(如果是ha集群兩個master都需要)毒涧，修改/usr/local/emr/emr-agent/run/meta_db_info.json贮预，把里面的use_local_meta_db設(shè)置為false，meta數(shù)據(jù)庫信息的鏈接地址契讲、用戶名和密碼換成新建rds的信息仿吞。然后重啟hive組件的metaserver。
初始化meta的表信息：
···
cd /usr/lib/hive-current/bin
./schematool - initSchema -dbType mysql
···
location
hive的表捡偏，分區(qū)等信息是有l(wèi)ocation信息的唤冈，帶dfs nameservices前綴，如hdfs://mycluster:8020/银伟，而EMR集群的nameservices前綴是統(tǒng)一的emr-cluster,所以需要訂正你虹。訂正的最佳方式是先導(dǎo)出數(shù)據(jù)mysqldump --databases hivemeta --single-transaction -u root –p > hive_databases.sql,用sed替換hdfs://oldcluster:8020/為hdfs://emr-cluster/ ,再導(dǎo)入新db中。
mysql hivemeta -p < hive_databases.sql
版本對齊
EMR的hive版本一般是當(dāng)前社區(qū)最新的穩(wěn)定版彤避，自建集群hive版本可能會更老傅物，所以導(dǎo)入的舊版本數(shù)據(jù)可能不能直接使用。需要執(zhí)行hive的升級腳本琉预，地址董饰。例如hive從1.2升級到2.3.0，需要依次執(zhí)行upgrade-1.2.0-to-2.0.0.mysql.sql圆米，upgrade-2.0.0-to-2.1.0.mysql.sql卒暂，upgrade-2.1.0-to-2.2.0.mysql.sql，upgrade-2.2.0-to-2.3.0.mysql.sql娄帖。腳本主要是建表介却，加字段，改內(nèi)容块茁，如有表已存在，字段已存在的異彻鸺。可以忽略数焊。
驗證
meta數(shù)據(jù)全部訂正后，就可以重啟metaserver了崎场。命令行hive佩耳，查詢庫和表，查詢數(shù)據(jù)谭跨，驗證正確性干厚。
結(jié)語
感謝您的觀看李滴，如有不足之處，歡迎批評指正蛮瞄。
如果有對大數(shù)據(jù)感興趣的小伙伴或者是從事大數(shù)據(jù)的老司機可以加群：
658558542? ??
歡迎大家交流分享所坯，學(xué)習(xí)交流，共同進(jìn)步挂捅。（里面還有大量的免費資料芹助，幫助大家在成為大數(shù)據(jù)工程師，乃至架構(gòu)師的路上披荊斬棘Ｏ邢取）
最后祝福所有遇到瓶頸的大數(shù)據(jù)程序員們突破自己状土，祝福大家在往后的工作與面試中一切順利。
