一、根目錄：需要配置四項疼约，其中context可選
{"type":"index_hadoop",
"spec"{},
"context":{},}
（1）type：表示上傳的方式溺拱，本地文件上傳使用index逃贝，hdfs文件上傳使用index_hadoop。
（2）context（可選）：用于配置一些運行參數(shù)迫摔，比如可以設(shè)置上傳csv時候是否包含表頭行
（3）dataSource：數(shù)據(jù)源名稱沐扳，用于設(shè)置上傳數(shù)據(jù)之后的表名稱。
（4）spec：用于設(shè)置數(shù)據(jù)的具體配置以及轉(zhuǎn)換方式句占，重點介紹
二沪摄、spec目錄
包含了三個字段：
1、dataSchema：用于指定上傳數(shù)據(jù)的格式
2纱烘、ioConfig：用于指定數(shù)據(jù)的來源以及存儲位置
3杨拐、tuningConfig（可選）：用于指定如何協(xié)調(diào)各種不同的參數(shù)
1、dataSchema
（1）dataSource： 數(shù)據(jù)源名稱擂啥，用于設(shè)置上傳數(shù)據(jù)之后的表名稱哄陶。
（2）parser：用于指定數(shù)據(jù)怎么被轉(zhuǎn)化，轉(zhuǎn)化為什么格式
（3）granularitySpec：指定如何劃分segment以及數(shù)據(jù)的時間范圍
（4）metricsSpec：包含了一系列的aggregators轉(zhuǎn)換
（1）“dataSource”=“tableName”
（2）parser
（2.1）type:指定常規(guī)數(shù)據(jù)的格式哺壶，默認(rèn)為string屋吨，如果保存hdfs上那么指定為hadoopyString，注意hadoop后邊有個y山宾；
（2.2）parseSpec：用于指定數(shù)據(jù)轉(zhuǎn)換格式
（2.1）type:默認(rèn)為string至扰，如果保存hdfs上那么指定為hadoopString；
（2.2）parseSpec包含以下格式
（2.2.1）format：指定上傳文件格式
（2.2.2）timestampSpec：指定時間戳序列
（2.2.3）columns（可選）：csv格式特有塌碌，用于指定源數(shù)據(jù)中的列名
（2.2.4）dimensionsSpec：配置維度數(shù)據(jù)渊胸，也就是將要在druid數(shù)據(jù)表中展現(xiàn)的列
（2.2.1）format：可以為csv，json台妆，tsv翎猛，javascript、timeAndDims等
（2.2.2）timestampSpec:包含column以及format兩個參數(shù)接剩，column必選切厘，用于指定時間戳對應(yīng)的列。format用于指定時間格式懊缺，可以使用iso疫稿、millis培他、posix、zuto遗座，默認(rèn)為auto舀凛。
"timestampSpec":{"format":"auto","column":"start_time"}
（2.2.3）columns：用于配置源文件中應(yīng)該包含的所有列的列名
"columns":["columns","column2","column3"]
（2.2.4）dimensionsSpec用于指定維度列。dimensions用于指定所有的列途蒋；dimensionExclusion可選猛遍，用于指定不需要的數(shù)據(jù)，默認(rèn)為空号坡；spatialDimensions可選懊烤，用于指定列的空間限制，默認(rèn)為空宽堆。
"dimensionsSpec":{
"dimensions":["page","language",
{"type":"long","name":"countryNum" } ? ] ? }
如果字段為String腌紧，那么直接列出，如果為其他類型如long/double等畜隶，需要使用{"type":"long","name":"字段名稱" }單獨列出壁肋，注意：配置時間戳的列不需要在dimensions中列出。
（3）granularitySpec包含如下五個維度：
（3.1）type：用來指定粒度類型的使用代箭，默認(rèn)為type=uniform墩划，建議設(shè)置為uniform或arbitrary（嘗試創(chuàng)建大小相等的字段）
（3.2）segmentGranularity（可選）：指定每個segment包含的時間戳的范圍
（3.3）queryGranularity（可選）：允許查詢的時間粒度
（3.4）rollup（可選）：是否使用預(yù)計算算法
（3.5）intervals：用于指定上傳時間限制時間段
（3.1）type：默認(rèn)為type=uniform涕刚，建議設(shè)置為uniform或arbitrary（嘗試創(chuàng)建大小相等的字段）
（3.2）segmentGranularity：默認(rèn)為day嗡综，用來確定每個segment包含的時間戳的范圍，可以為 "SECOND" ... "MINUTE" ... "HOUR" ... "DAY" ... "DOW" ... "DOY" ... "WEEK" ... "MONTH" ... "QUARTER" ... "YEAR" ... "EPOCH" ... "DECADE" ... "CENTURY" ... "MILLENNIUM" ... 等杜漠。
（3.3）queryGranularity：默認(rèn)為None极景，允許查詢的時間粒度，單位與segmentGranularity相同驾茴，如果為None那么允許以任意時間粒度進(jìn)行查詢盼樟。
（3.4）rollup：是否使用預(yù)計算算法，默認(rèn)為true锈至，推薦true晨缴，比較快。
（3.5）intervals：使用時間段來將數(shù)據(jù)源進(jìn)行限制峡捡。只有時間段內(nèi)的數(shù)據(jù)可以上傳击碗。
"granularitySpec" : {
????"type" : "uniform",
????"segmentGranularity" : "DAY",
????"queryGranularity" : { ?"type" : "none"},
????"rollup" : "true",
????"intervals" : [ "2017-11-15T00:00:00.000Z/2017-11-18T00:00:00.000Z" ]}}
（4）metricsSpec：包含了一系列的aggregators轉(zhuǎn)換
"metricsSpec":[{"type":"count","name":"count"},{"type":"doubleSum","name":"added","fieldName":"added"},{"type":"doubleSum","name":"deleted","fieldName":"deleted"},{"type":"doubleSum","name":"delta","fieldName":"delta"}]
type可以為：count、longSum们拙、doubleSum稍途、doubleMin\doubleMax、longMin\longMax砚婆、doubleFirst\doubleLast械拍、longFirst\longLast
除count外其他都需要指定name和fieldName兩個參數(shù)，name表示最后輸出的，也就是在表中體現(xiàn)的名稱坷虑，而fieldName則代表源數(shù)據(jù)中的列名甲馋。
詳細(xì)用法：metricsSpec-Aggregations官網(wǎng)詳細(xì)解釋
3、ioConfig：用于指定數(shù)據(jù)的來源以及存儲位置
（1）type:用于指定源數(shù)據(jù)獲取方式
（2）inputSpec：指定源數(shù)據(jù)路徑
（1）type:保存為本地使用“l(fā)ocal”迄损，保存為hdfs使用“hadoop”
（2）inputSpec：包含type摔刁，以及paths路徑
（2.1）
"ioConfig" : {"type" : "hadoop",
"inputSpec" : {"type" : "static",
"paths" : "hdfs://master:9000/user/root/.."}
支持批量上傳數(shù)據(jù)，路徑指定到文件夾即可海蔽。
（2.2）當(dāng)設(shè)置type為“granularity”時候共屈，則需要根據(jù)時間戳使用路徑格式將數(shù)據(jù)導(dǎo)入目錄中。
"ioConfig" : {"type" : "hadoop",
"inputSpec" : {"type" : "granularity",
.."}
4党窜、tuningConfig（可選）：用于指定如何協(xié)調(diào)各種不同的參數(shù)
（1）type：指定數(shù)據(jù)存放方式
（2）paritionSpec：用于指定數(shù)據(jù)的segment的分區(qū)方式以及大小,默認(rèn)為hashed
（3）jobProperties:在添加mapreduce作業(yè)時候的一些配置拗引，key:value表示
（4）workingPath：用于指示數(shù)據(jù)中間落地的路徑（mapreduce中間結(jié)果），默認(rèn)為'/tmp/druid-indexing'
（5）version：創(chuàng)建更加詳細(xì)的版本幌衣，這將忽略hadoopindextask矾削，除非將useExplicitVersion設(shè)置為true，默認(rèn)為日期時間的索引為開始
（6）maxRowsInMemory：指定聚合之后的數(shù)據(jù)行數(shù)豁护，默認(rèn)75000
（7）leaveInermediate：作業(yè)完成后是否留下workingPath的中間文件哼凯，默認(rèn)false。
（8）cleanupOnFailure：作業(yè)失敗時是否清除中間文件楚里，只有在leavelnermediate為true時候生效默認(rèn)true断部。
（9）overwriteFiles：在執(zhí)行index導(dǎo)入數(shù)據(jù)時候是否覆蓋已經(jīng)存在的文件。默認(rèn)false
（10）ignoreInvalidRows：忽略發(fā)現(xiàn)有問題的行班缎，默認(rèn)false
（11）combineText：是否在CombineTextInputFormat階段將多個文件合并到一個文件split中蝴光，這可以在處理大量小文件時候加速hadoop作業(yè)。
（12）useCombiner：如果可能的話达址，是否在mapper階段中合并行蔑祟，默認(rèn)false
（13）indexSpec：調(diào)整數(shù)據(jù)的索引方式
（14）buildV9Directly：是否直接構(gòu)建V9索引，而不是先構(gòu)建V8 index再轉(zhuǎn)換為V9 index沉唠。
（15）numBackgroundPersistThreads：是否增加后臺持久化線程的數(shù)量疆虚，這會導(dǎo)致內(nèi)存以及cpu的負(fù)荷增加，提高效率满葛，默認(rèn)為0（使用當(dāng)前的持久化線程）径簿，建議用1
（16）forceExtendableShardSpecs：強(qiáng)制使用可擴(kuò)展的ShardSpecs，該功能可以與kafka index擴(kuò)展服務(wù)一起使用纱扭，默認(rèn)false
（17）useExplicitVersion：是否強(qiáng)制使用HasoopIndexTask版本牍帚，默認(rèn)false
（1）type：hadoop
（2）partitionSpec
Segment會給予時間戳進(jìn)行分區(qū)，并根據(jù)其他類型進(jìn)一步分區(qū)乳蛾，druid支持hashed（基于每行所有維度的哈希值）和dimension（基于單個維度的范圍）來進(jìn)行分區(qū)暗赶。為了讓druid在重查詢負(fù)載下運行良好鄙币，對于段文件大小的推薦在300Mb到700mb之間，可以使用partitionsSpec來調(diào)整大小蹂随。
（2.1）hashed分區(qū)
hashed分區(qū)首先會選擇多個Segment十嘿，然后根據(jù)每行數(shù)據(jù)所有列的哈希值對這些Segment進(jìn)行分區(qū)，Segment的數(shù)量是輸入數(shù)據(jù)集的基數(shù)以及目標(biāo)分區(qū)大小自動確定的岳锁。
type:要分區(qū)的類型绩衷，hashed
targetPartitionSize：包含在分區(qū)中的目標(biāo)行數(shù)，應(yīng)該在500M-1G
maxPartitionSize：分區(qū)中包括的最大行數(shù)激率，默認(rèn)為比targetPartitionSize大50%咳燕。
numShards：直接指定分區(qū)的數(shù)量而不是分區(qū)的大小，可以跳過自動選擇多個分區(qū)的必要步驟乒躺，錄入數(shù)據(jù)將會更快招盲。此項與targetPartitionSize只需要填入一項即可。
partitionDemensions（可選）嘉冒，只能配合numShards一起使用曹货，指定需要分區(qū)的維度，為空則選擇所有維度列讳推，當(dāng)targetPartitionSize設(shè)置時候?qū)⒆詣雍雎浴?/p>
"partitionsSpec": {"type":"hashed","targetPartitionSize":5000000,"maxPartitionSize":7500000,"assumeGrouped":false,"numShards": -1,"partitionDimensions": [ ]}
（2.2）Only-dimension單維度分區(qū)
選擇作為分區(qū)指標(biāo)的維度列顶籽，然后將該維度分隔成連續(xù)的不同的分區(qū)，每個分區(qū)都會包含該維度值在該范圍內(nèi)的所有行银觅。默認(rèn)情況下使用的維度都是自動指定的礼饱。
type:要分區(qū)的類型，dimension
targetPartitionSize（必須）：包含在分區(qū)中的目標(biāo)行數(shù)设拟，應(yīng)該在500M-1G
maxPartitionSize（可選）：分區(qū)中包括的最大行數(shù)慨仿，默認(rèn)為比targetPartitionSize大50%久脯。
partitionDemension（可選）纳胧，要分區(qū)的維度，為空時自動選擇
assumeGrouped（可選）：如果數(shù)據(jù)源已經(jīng)按照時間和維度分組了帘撰，該選項將會提高加載數(shù)據(jù)的速度跑慕，但是如果沒有那么會選擇次優(yōu)分區(qū)。
（3）jobProperties：我們的集群因為一些問題需要對虛擬機(jī)進(jìn)行一些調(diào)參
"tuningConfig" : {"type" : "hadoop",
"partitionsSpec" : {"type" : "hashed","targetPartitionSize" : 5000000},
"jobProperties" : {"mapreduce.map.log.level" : "DEBUG","mapreduce.reduce.log.level" : "DEBUG","mapreduce.reduce.java.opts" : "-Xmx1024m","mapreduce.map.java.opts" : "-Xmx1024m"}}}
（13）IndexSpec：
三摧找、示例
curl -X 'POST' -H 'Content-Type:application/json' -d @index.json localhost:8090/druid/indexer/v1/task
其中的index.json便是需要配置的index文件
本地導(dǎo)入csv格式數(shù)據(jù)的 task文件示例
看不明白的稍微加工一下：使用json在線解析層次更加清晰
{"type":"index","spec":{"dataSchema":{"dataSource":"wikipedia","parser":{"type":"string","parseSpec":{"format":"csv","timestampSpec":{"column":"timestamp"},"columns":["timestamp","page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city","added","deleted","delta"],"dimensionsSpec":{"dimensions":["page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city"]}}},"metricsSpec":[{"type":"count","name":"count"},{"type":"doubleSum","name":"added","fieldName":"added"},{"type":"doubleSum","name":"deleted","fieldName":"deleted"},{"type":"doubleSum","name":"delta","fieldName":"delta"}],"granularitySpec":{"type":"uniform","segmentGranularity":"DAY","queryGranularity":"NONE","intervals":["2013-08-31/2013-09-01"]}},"ioConfig":{"type":"index","firehose":{"type":"local","baseDir":"./","filter":"wikipedia_data.csv"}},"tuningConfig":{"type":"index","targetPartitionSize":0,"rowFlushBoundary":0}}}
導(dǎo)入hdfs中的csv格式文件
{"type":"index","spec":{"dataSchema":{"dataSource":"wikipedia","parser":{"type":"string","parseSpec":{"format":"csv","timestampSpec":{"column":"timestamp"},"columns":["timestamp","page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city","added","deleted","delta"],"dimensionsSpec":{"dimensions":["page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city"]}}},"metricsSpec":[{"type":"count","name":"count"},{"type":"doubleSum","name":"added","fieldName":"added"},{"type":"doubleSum","name":"deleted","fieldName":"deleted"},{"type":"doubleSum","name":"delta","fieldName":"delta"}],"granularitySpec":{"type":"uniform","segmentGranularity":"DAY","queryGranularity":"NONE","intervals":["2013-08-31/2013-09-01"]}},"ioConfig":{"type":"hadoop","inputSpec":{"type":"static","paths":"hdfs://vm1.cci/tmp/druid/datasource/wikipedia_data.csv"}},"tuningConfig":{"type":"hadoop"}}}
官網(wǎng)傳送門：
