Nifi流程配置: CSV >> Hive

1. 通過Ambari QuickLink打開Nifi UI

2. 創(chuàng)建ProcessorGroup

a. 拖動頁面上方工具條中的ProcessorGroup圖標至繪圖區(qū)

b. 命名Group并雙擊打開

3.創(chuàng)建Overall flow

1)添加GetFile Processor

a.拖動頁面上方工具條中的Processor圖標至繪圖區(qū)可以開始創(chuàng)建數(shù)據(jù)流荷辕,成功后如圖


b.在搜索框處輸入想要添加的Processor芹敌。此處輸入GetFile颖侄,然后點擊Add绸狐,GetFile Processor 添加成功。

c.雙擊GetFile處理器或者右擊選擇Configure進行配置,根據(jù)自身環(huán)境和需求灾锯,填寫相關(guān)配置。然后點擊APPLY嗅榕。

GetFile關(guān)鍵配置

2)添加PutHive Processor

a.同理添加PutHive顺饮,并做相應(yīng)的配置。與GutFile不同的是凌那,此處要創(chuàng)建Reader/Writer兼雄。

PutHive關(guān)鍵配置


b)Reader/Writer等相關(guān)配置如下

CSVReader
AvroSchemaRegistry

insurance_schema


insurance_schema
AvroReader
AvroRecordSetWriter
CSVReaderSetWriter

c)如圖,點擊右邊的設(shè)置按鈕可以進入配置帽蝶,點擊閃電樣式的按鈕可以啟動赦肋。

d)至此,PutHive Processor創(chuàng)建添加成功。

3)連接兩個Processor

a.每個處理器都有一組定義的“關(guān)系”佃乘,最基本的是success和failure囱井。把鼠標停在GetFile Processor,會看到一個箭頭趣避,拖動箭頭到PutHive 庞呕,顯示success即可。

整體流程

b.此時程帕,PutHive上仍顯示警告住练,提示為success、retry和failure關(guān)系未連接到其他組件和自動終止愁拭∨煨撸可以右擊configure,在setting中勾選中success敛苇、retry和failure即可實現(xiàn)自動終止。

4.啟動Processor

a.依次啟動Processor顺呕,一般按從后往前的順序右擊選擇start枫攀。

b.運行成功后,可以看到數(shù)據(jù)再不同位置的轉(zhuǎn)移以及數(shù)據(jù)流的大小株茶、時間等来涨。NiFi為back?pressure提供了兩個配置元件。分別對應(yīng)的是對象數(shù)量和數(shù)據(jù)大小启盛。并且進度條基于隊列百分比改變顏色:綠色(0-60%)蹦掐,黃色(61-85%)和紅色(86-100%)。鼠標懸停在上面可以顯示精確的百分比僵闯。

c.當運行出現(xiàn)問題時卧抗,右上角會出現(xiàn)紅色方框,放到上面會出現(xiàn)提示信息鳖粟。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末社裆,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子向图,更是在濱河造成了極大的恐慌泳秀,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,311評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件榄攀,死亡現(xiàn)場離奇詭異嗜傅,居然都是意外死亡,警方通過查閱死者的電腦和手機檩赢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評論 2 382
  • 文/潘曉璐 我一進店門吕嘀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事币他∥氚校” “怎么了?”我有些...
    開封第一講書人閱讀 152,671評論 0 342
  • 文/不壞的土叔 我叫張陵蝴悉,是天一觀的道長彰阴。 經(jīng)常有香客問我,道長拍冠,這世上最難降的妖魔是什么尿这? 我笑而不...
    開封第一講書人閱讀 55,252評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮庆杜,結(jié)果婚禮上射众,老公的妹妹穿的比我還像新娘。我一直安慰自己晃财,他們只是感情好叨橱,可當我...
    茶點故事閱讀 64,253評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著断盛,像睡著了一般罗洗。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上钢猛,一...
    開封第一講書人閱讀 49,031評論 1 285
  • 那天伙菜,我揣著相機與錄音,去河邊找鬼命迈。 笑死贩绕,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的壶愤。 我是一名探鬼主播淑倾,決...
    沈念sama閱讀 38,340評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼征椒!你這毒婦竟也來了踊淳?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,973評論 0 259
  • 序言:老撾萬榮一對情侶失蹤陕靠,失蹤者是張志新(化名)和其女友劉穎迂尝,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體剪芥,經(jīng)...
    沈念sama閱讀 43,466評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡垄开,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,937評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了税肪。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片溉躲。...
    茶點故事閱讀 38,039評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡榜田,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出锻梳,到底是詐尸還是另有隱情箭券,我是刑警寧澤,帶...
    沈念sama閱讀 33,701評論 4 323
  • 正文 年R本政府宣布疑枯,位于F島的核電站辩块,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏荆永。R本人自食惡果不足惜废亭,卻給世界環(huán)境...
    茶點故事閱讀 39,254評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望具钥。 院中可真熱鬧豆村,春花似錦、人聲如沸骂删。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,259評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽宁玫。三九已至粗恢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間撬统,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評論 1 262
  • 我被黑心中介騙來泰國打工敦迄, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留恋追,地道東北人。 一個月前我還...
    沈念sama閱讀 45,497評論 2 354
  • 正文 我出身青樓罚屋,卻偏偏與公主長得像苦囱,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子脾猛,可洞房花燭夜當晚...
    茶點故事閱讀 42,786評論 2 345

推薦閱讀更多精彩內(nèi)容