Kettle組件學(xué)習(xí)

Add sequence

增加新的一列腾它,類(lèi)似于DB的ID,可按要求自增。屬性中Counter name來(lái)區(qū)分計(jì)數(shù)器姻报,同一個(gè)transformation中的相同計(jì)數(shù)器的計(jì)數(shù)是唯一的。若統(tǒng)一數(shù)據(jù)源分別交由多個(gè)Add sequence組件间螟,則這些組件均分?jǐn)?shù)據(jù)源中的數(shù)據(jù)處理吴旋。

Add value fields changing sequence

根據(jù)指定的列來(lái)進(jìn)行add sequence操作损肛,類(lèi)似于Sql Server中row_number()函數(shù),根據(jù)partition by的值來(lái)分組荣瑟。

Generate random value

在源數(shù)據(jù)基礎(chǔ)上增加一列治拿,按照要求生成隨機(jī)的值,值的類(lèi)型多樣褂傀,不僅限于數(shù)字忍啤。

圖1

Join rows

根據(jù)條件join數(shù)據(jù)源。

Analytic query

可以查找數(shù)據(jù)流中的前面行或后面行仙辟,并且取值到當(dāng)前行同波。兩種方法:
LEAD "N" rows FORWARD and get Subject ---去后第N行的數(shù)據(jù)
LAG "N" rows BACKWARD in get Subject ---取前第N行的數(shù)據(jù)

Append streams

類(lèi)似DB中union操作,要求數(shù)據(jù)源的列相同叠国,包括各列的類(lèi)型未檩。
數(shù)據(jù)源只能是2個(gè)。

Value mapper

進(jìn)行值的映射粟焊,例如根據(jù)文件的擴(kuò)展名來(lái)決定文件的類(lèi)型冤狡,所得結(jié)果會(huì)以所命名新字段的形式輸出。若圖中Target field name留空项棠,則會(huì)覆寫(xiě)Fieldname to use所輸入字段中的值悲雳。

圖2

Select/Rename values

對(duì)input的值進(jìn)行篩選,重命名等操作香追。

Delay row

等待一定時(shí)間后繼續(xù)執(zhí)行合瓢。

Block this step until steps finish

等待制定step完成后繼續(xù)執(zhí)行。

Group by/Memory Group by (區(qū)別透典?)

聚合函數(shù)晴楔,可生成聚合結(jié)果,例如中位數(shù)峭咒,平均數(shù)税弃,百分?jǐn)?shù)等

圖3

Calculator

數(shù)學(xué)計(jì)算。

CSV file import

csv文件的導(dǎo)入凑队,可能存在錯(cuò)誤情況则果,可用error handler進(jìn)行處理。

Filter rows

根據(jù)預(yù)設(shè)條件對(duì)input進(jìn)行篩選顽决。

Data Validator

根據(jù)條件對(duì)input的值進(jìn)行驗(yàn)證短条。擁有多種預(yù)設(shè)驗(yàn)證規(guī)則


圖4

也可以引入其他step的輸出進(jìn)行值匹配驗(yàn)證

圖5

Row denormaliser

將行數(shù)據(jù)轉(zhuǎn)換為列數(shù)據(jù),選定分組的列名才菠,設(shè)定轉(zhuǎn)換后的列名茸时。例如:

圖6-1 源數(shù)據(jù)


圖6-2 轉(zhuǎn)換結(jié)果


圖6-3 Row denormaliser設(shè)置

The key field作為新列的關(guān)鍵字段,以其中的值作為轉(zhuǎn)換后新列的列名赋访。根據(jù)選定的列進(jìn)行分組可都,圖中所示為code和year兩列缓待。另需選定新字段的值,一般為剩下的源數(shù)據(jù)列渠牲⌒矗可根據(jù)需要選擇聚合函數(shù)進(jìn)行聚合操作分析。

Unique rows

進(jìn)行distinct rows的統(tǒng)計(jì)签杈。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末瘫镇,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子答姥,更是在濱河造成了極大的恐慌铣除,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,695評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鹦付,死亡現(xiàn)場(chǎng)離奇詭異尚粘,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)敲长,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,569評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)郎嫁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人祈噪,你說(shuō)我怎么就攤上這事泽铛。” “怎么了辑鲤?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,130評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵厚宰,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我遂填,道長(zhǎng),這世上最難降的妖魔是什么澈蝙? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,648評(píng)論 1 297
  • 正文 為了忘掉前任吓坚,我火速辦了婚禮,結(jié)果婚禮上灯荧,老公的妹妹穿的比我還像新娘礁击。我一直安慰自己,他們只是感情好逗载,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,655評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布哆窿。 她就那樣靜靜地躺著,像睡著了一般厉斟。 火紅的嫁衣襯著肌膚如雪挚躯。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,268評(píng)論 1 309
  • 那天擦秽,我揣著相機(jī)與錄音码荔,去河邊找鬼漩勤。 笑死,一個(gè)胖子當(dāng)著我的面吹牛缩搅,可吹牛的內(nèi)容都是我干的越败。 我是一名探鬼主播,決...
    沈念sama閱讀 40,835評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼硼瓣,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼究飞!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起堂鲤,我...
    開(kāi)封第一講書(shū)人閱讀 39,740評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤亿傅,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后筑累,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體袱蜡,經(jīng)...
    沈念sama閱讀 46,286評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,375評(píng)論 3 340
  • 正文 我和宋清朗相戀三年慢宗,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了坪蚁。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,505評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡镜沽,死狀恐怖敏晤,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情缅茉,我是刑警寧澤嘴脾,帶...
    沈念sama閱讀 36,185評(píng)論 5 350
  • 正文 年R本政府宣布,位于F島的核電站蔬墩,受9級(jí)特大地震影響译打,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜拇颅,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,873評(píng)論 3 333
  • 文/蒙蒙 一奏司、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧樟插,春花似錦韵洋、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,357評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至鸵熟,卻和暖如春副编,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背流强。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,466評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工齿桃, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留惑惶,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,921評(píng)論 3 376
  • 正文 我出身青樓短纵,卻偏偏與公主長(zhǎng)得像带污,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子香到,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,515評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容