? ? ?性能調(diào)優(yōu)在整個工程中是非常重要的，也是非常有必要的卧波。但有的時候我們往往都不知道如何對性能進(jìn)行調(diào)優(yōu)时肿。其實性能調(diào)優(yōu)主要分兩個方面：一方面是硬件調(diào)優(yōu)，一方面是軟件調(diào)優(yōu)港粱。本章主要是介紹Kettle的性能優(yōu)化及效率提升螃成。
一、Kettle調(diào)優(yōu)
1查坪、??調(diào)整JVM大小進(jìn)行性能優(yōu)化寸宏，修改Kettle定時任務(wù)中的Kitchen與Pan腳本中。
?2偿曙、??調(diào)整提交（Commit）記錄數(shù)大小進(jìn)行優(yōu)化
如修改RotKang_Test01中的“表輸出”組件中的“提交記錄數(shù)量”參數(shù)進(jìn)行優(yōu)化氮凝，Kettle默認(rèn)Commit數(shù)量為：1000，可以根據(jù)數(shù)據(jù)量大小來設(shè)置Commitsize：1000~50000遥昧。
3覆醇、??調(diào)整記錄集合里的記錄數(shù)
4朵纷、盡量使用數(shù)據(jù)庫連接池炭臭；
5、盡量提高批處理的commit size袍辞；
6鞋仍、盡量使用緩存，緩存盡量大一些（主要是文本文件和數(shù)據(jù)流）搅吁；
7威创、Kettle是Java做的落午，盡量用大一點的內(nèi)存參數(shù)啟動Kettle；
8肚豺、可以使用sql來做的一些操作盡量用sql溃斋；
? ? ? Group , merge , stream lookup,split field這些操作都是比較慢的，想辦法避免他們.吸申，能用sql就用sql梗劫；
9、插入大量數(shù)據(jù)的時候盡量把索引刪掉截碴；
10梳侨、盡量避免使用update , delete操作，尤其是update,如果可以把update變成先delete, ?后insert日丹；
11走哺、能使用truncate table的時候，就不要使用deleteall row這種類似sql合理的分區(qū)哲虾，如果刪除操作是基于某一個分區(qū)的丙躏，就不要使用delete row這種方式（不管是deletesql還是delete步驟）,直接把分區(qū)drop掉，再重新創(chuàng)建束凑；
12彼哼、盡量縮小輸入的數(shù)據(jù)集的大小（增量更新也是為了這個目的）湘今；
13敢朱、盡量使用數(shù)據(jù)庫原生的方式裝載文本文件(Oracle的sqlloader, mysql的bulk loader步驟)；
14摩瞎、盡量不要用kettle的calculate計算步驟拴签，能用數(shù)據(jù)庫本身的sql就用sql ,不能用sql就盡量想辦法用procedure,實在不行才是calculate步驟；
15旗们、要知道你的性能瓶頸在哪蚓哩，可能有時候你使用了不恰當(dāng)?shù)姆绞剑瑢?dǎo)致整個操作都變慢上渴，觀察kettle log生成的方式來了解你的ETL操作最慢的地方岸梨；
16、遠(yuǎn)程數(shù)據(jù)庫用文件+FTP的方式來傳數(shù)據(jù)稠氮，文件要壓縮曹阔。（只要不是局域網(wǎng)都可以認(rèn)為是遠(yuǎn)程連接）。
二隔披、索引的正確使用
在ETL過程中的索引需要遵循以下使用原則：
1赃份、當(dāng)插入的數(shù)據(jù)為數(shù)據(jù)表中的記錄數(shù)量10%以上時，首先需要刪除該表的索引來提高數(shù)據(jù)的插入效率，當(dāng)數(shù)據(jù)全部插入后再建立索引抓韩。
2纠永、避免在索引列上使用函數(shù)或計算，在where子句中谒拴，如果索引列是函數(shù)的一部分尝江，優(yōu)化器將不使用索引而使用全表掃描。
3英上、避免在索引列上使用?NOT和?“!=”茂装，索引只能告訴什么存在于表中，而不能告訴什么不存在于表中善延，當(dāng)數(shù)據(jù)庫遇到NOT和?“!=”時少态，就會停止使用索引轉(zhuǎn)而執(zhí)行全表掃描。
4易遣、索引列上用?>=替代?>
? ? ? 高效：select * from temp where deptno>=4
? ? ? 低效：select * from temp where deptno>3
? ? ? 兩者的區(qū)別在于彼妻，前者DBMS將直接跳到第一個DEPT等于4的記錄而后者將首先定位到DEPTNO=3的記錄并且向前掃描到第一個DEPT大于3的記錄。
三豆茫、數(shù)據(jù)抽取的SQL優(yōu)化
1侨歉、Where子句中的連接順序。
2揩魂、刪除全表是用TRUNCATE替代DELETE幽邓。
3、盡量多使用COMMIT火脉。
4牵舵、用EXISTS替代IN。
5倦挂、用NOT EXISTS替代NOT IN畸颅。
6、優(yōu)化GROUP BY方援。
7没炒、有條件的使用UNION-ALL替換UNION。
8犯戏、分離表和索引送火。
