Crontab定時(shí)Sqoop腳本問(wèn)題
問(wèn)題描述：如果上圖我們的任務(wù)定時(shí)2小時(shí)一次怀愧，正常情況下任務(wù)在2小時(shí)可以執(zhí)行完成，但是出現(xiàn)未知異常任務(wù)執(zhí)行超過(guò)了2小時(shí)哈垢，所以第二個(gè)任務(wù)沒(méi)有在第一個(gè)任務(wù)執(zhí)行完后執(zhí)行，這樣可能導(dǎo)致執(zhí)行錯(cuò)誤耘分。
解決方法
使用flock命令給腳本加鎖
-
命令格式：
flock [-sxon] [-w timeout] lockfile [-c] command... flock [-sxun] [-w timeout] fd 常用選項(xiàng)：
-s, --shared ：獲得一個(gè)共享的鎖绑警。
-x, --exclusive ：獲得一個(gè)獨(dú)占的鎖。
-u, --unlock ：移除一個(gè)鎖待秃，通常是不需要的，腳本執(zhí)行完后會(huì)自動(dòng)丟棄鎖枉氮。
-n, --nonblock ：如果沒(méi)有立即獲得鎖直接失敗而不是等待。
-w, --timeout ：如果沒(méi)有立即獲得鎖就等待指定的時(shí)間聊替。
-o, --close ：在運(yùn)行命令前關(guān)閉文件的描述符培廓。用于如果命令產(chǎn)生子進(jìn)程時(shí)會(huì)不受鎖的管控。
-c, --command ：在shell中運(yùn)行一個(gè)單獨(dú)的命令肩钠。
-h, --help ：顯示幫助。
-V, --version ：顯示版本当纱。-
測(cè)試
//編寫test.sh 腳本 vim test.sh echo "測(cè)試~~~~~~~~~~~~:"" `date '+%Y-%m-%d %H:%M:%S'`" >> test.log sleep 70 //賦予可執(zhí)行權(quán)限 chmod 777 test.sh //定時(shí)設(shè)置(1分鐘執(zhí)行一次) crontab -e */1 * * * * /usr/bin/flock -xn /home/hadoop/test.lock -c '/home/hadoop/test.sh' //觀察日志 //加鎖的日志踩窖，10:30:01這個(gè)執(zhí)行點(diǎn)沒(méi)有執(zhí)行 測(cè)試~~~~~~~~~~~~: 2017-07-06 10:29:01 測(cè)試~~~~~~~~~~~~: 2017-07-06 10:31:01 //沒(méi)有加鎖的日志（每分鐘一次） 測(cè)試~~~~~~~~~~~~: 2017-07-06 10:33:01 測(cè)試~~~~~~~~~~~~: 2017-07-06 10:34:01
Crontab定時(shí)執(zhí)行腳本和手動(dòng)執(zhí)行腳本結(jié)果不一致
問(wèn)題描述：因?yàn)镃DH5.7.6的Sqoop1.4.6的bug導(dǎo)致使用--incremental lastmodified增量導(dǎo)入數(shù)據(jù)保存，所以安裝了官網(wǎng)的Sqoop1.4.6，因?yàn)镃DH中已經(jīng)安裝了Sqoop手形，所以我使用軟連接來(lái)處理sqoop命令的沖突悯恍，官網(wǎng)的sqoop用sqoop1來(lái)替代，但是發(fā)現(xiàn)Crontab定時(shí)執(zhí)行腳本和手動(dòng)執(zhí)行腳本結(jié)果不一致坪稽，表現(xiàn)在無(wú)法創(chuàng)建Sqoop job鳞骤。
解決方法
在腳本頭添加 source /etc/profile（配置完環(huán)境變量后我也執(zhí)行過(guò)source /etc/profile，但是不知為啥還要在腳本中執(zhí)行一次）
//創(chuàng)建軟連接豫尽，配置環(huán)境變量
Sqoop的安裝位置:/opt/sqoop
//創(chuàng)建軟連接
ln -s /opt/sqoop/bin/sqoop /opt/sqoop/bin/sqoop1
//配置環(huán)境變量
export PATH=$PATH:/opt/sqoop/bin/sqoop1
//使環(huán)境變量生效
source /etc/profile
Sqoop每次執(zhí)行需要輸入數(shù)據(jù)庫(kù)密碼
解決方法
修改sqoop安裝目錄conf下的sqoop-site.xml文件，添加下面配置項(xiàng)（其實(shí)配置項(xiàng)存在渤滞，只要去掉注釋就行）
<property>
<name>sqoop.metastore.client.record.password</name>
<value>true</value>
<description>If true, allow saved passwords in the metastore.
</description>
</property>
Sqoop Job如何中如何避免明文輸入密碼
-
首先我們使用hadoop credential create [alias_name] -provider [hdfs_location]命令（該命令在hadoop 2.6.0之后才有）在keystore中創(chuàng)建密碼以及密碼別名
hadoop credential create mysql.pwd.alias -provider jceks://hdfs/user/password/mysql.pwd.jceks -
在Enter alias password后面輸入我們數(shù)據(jù)庫(kù)的密碼榴嗅。執(zhí)行完后，程序在hdfs的/user/password/下創(chuàng)建了一個(gè)mysql.pwd.jceks文件嗽测，而且mysql.pwd.alias就是我們的密碼別名。我們可以使用mysql.pwd.alias來(lái)代替我們真實(shí)的數(shù)據(jù)庫(kù)密碼疏魏。在執(zhí)行sqoop命令時(shí)，我們可以使用--password-alias參數(shù)大莫，參數(shù)的值就是我們剛才自己指定的密碼別名
sqoop list-databases -Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/mysql.pwd.jceks --connect jdbc:mysql://hadoop01 --username root --password-alias mysql.pwd.alias
sqoop提供數(shù)據(jù)庫(kù)密碼的4種方式
MySQL到Hive數(shù)據(jù)類轉(zhuǎn)換
Hive表結(jié)構(gòu)中的數(shù)據(jù)類型與MySQL對(duì)應(yīng)列有如下關(guān)系
MySQL(bigint) --> Hive(bigint)
MySQL(tinyint) --> Hive(tinyint)
MySQL(int) --> Hive(int)
MySQL(double) --> Hive(double)
MySQL(bit) --> Hive(boolean)
MySQL(varchar) --> Hive(string)
MySQL(decimal) --> Hive(double)
MySQL(date/timestamp) --> Hive(string)
可以看出MySQL的decimal類型變成了Hive中的double類型官份。此時(shí)需要在導(dǎo)入時(shí)通過(guò)--map-column-hive 作出映射關(guān)系指定，如下所示：
sqoop import --connect jdbc:mysql://hadoop01/test --username root --password 123 --query "SELECT * FROM xi WHERE date>='2015-09-16' AND date<='2015-10-01' AND $CONDITIONS" --split-by date --hive-import -m 5 --map-column-hive cost="DECIMAL",date="DATE" --delete-target-dir -m 1 --hive-table student
Sqoop增量導(dǎo)入數(shù)據(jù)數(shù)據(jù)重復(fù)問(wèn)題
問(wèn)題描述：線上使用Sqoop增量抽取MySQL數(shù)據(jù)到Hive羔味，但是發(fā)現(xiàn)40W條完全一樣的數(shù)據(jù)悄谐，通過(guò)時(shí)間排查那個(gè)時(shí)間端集群很不穩(wěn)地，最終查找資料得到原因。
原因
Map Task 執(zhí)行失敗寒瓦， 那么該 Map 任務(wù)會(huì)轉(zhuǎn)移到另外一個(gè)節(jié)點(diǎn)執(zhí)行重新運(yùn)行，這時(shí)候之前導(dǎo)入的數(shù)據(jù)又要重新導(dǎo)入一份杂腰，造成數(shù)據(jù)重復(fù)導(dǎo)入椅文。 因?yàn)?Map Task 沒(méi)有回滾策略，一旦運(yùn)行失敗皆刺，已經(jīng)導(dǎo)入數(shù)據(jù)庫(kù)中的數(shù)據(jù)就無(wú)法恢復(fù)。
