最近也是想在StreamSets上去操作一個簡單的demo盏筐，也是遇到一些小的問題畔派。記錄匯總一下姥饰，也算是重新溫故一下爷绘。
環(huán)境：
? ? ? ? CDH-5.13.3
? ? ? ? StreamSets 3.3.1
demo主要是基于網(wǎng)上一篇介紹如何增量同步mysql的數(shù)據(jù)到hive庫中。
上面大概就是整個過程的工作流老充。
問題匯總：
1:連接mysql 的時候因為沒有mysql的jdbc連接包葡盗，因此需要手動上傳jdbc連接包。操作如下：
本以為會很正常上傳jdbc的包啡浊，結(jié)果出現(xiàn)了一個在StreamSets下無法創(chuàng)建lib的錯誤信息(具體信息沒有截圖),查看官網(wǎng)的操作才知道觅够，解決辦法如下：
官網(wǎng)地址：https://streamsets.com/documentation/datacollector/latest/help/index.html#datacollector/UserGuide/Configuration/ExternalLibs.htm
1:在安裝streamSets的目錄下創(chuàng)建sdc-extras
mkdir?/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras
2:對目錄進(jìn)行授權(quán)給sdc用戶
chown -R sdc:sdc??/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras
3:配置相關(guān)環(huán)境配置，可以只在cm中進(jìn)行操作巷嚣。
? ? 3.1:修改export STREAMSETS_LIBRARIES_EXTRA_DIR="/……/sdc-extras/"
? ? 3.2:修改sdc-security.policy(測試的時候沒添加也成功過喘先，建議還是添加一下。畢竟也很簡單一點)
grant codebase "file:///opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras/-" {? permission java.security.AllPermission;};
4:執(zhí)行完后廷粒，上傳jar包窘拯。(測試的時候突然重啟了一下，master節(jié)點啟動不了坝茎，后來停止了整個服務(wù)重啟了streamsets這個組件就好了)
5:執(zhí)行整個流程涤姊。
