使用ElasticSearch作為大數(shù)據(jù)平臺的實時OLAP框架 – lxw的大數(shù)據(jù)田地
http://lxw1234.com/archives/2015/12/588.htm
一直想找一個用于大數(shù)據(jù)平臺實時OLAP（甚至是實時計算）的框架白指，之前調(diào)研的Druid（druid.io）太過復(fù)雜，整個Druid由5酵紫、6個服務(wù)組成告嘲，而且加載數(shù)據(jù)也不太方便，性能一般奖地，亦或是我還不太會用它橄唬。后來發(fā)現(xiàn)使用ElasticSearch就可以滿足海量數(shù)據(jù)實時OLAP的需求。
ElasticSearch相信大家都很熟悉了参歹，它在搜索領(lǐng)域已經(jīng)有了舉足輕重的地位仰楚，而且也支持越來越多的聚合統(tǒng)計功能，還和YARN犬庇、Hadoop僧界、Hive、Spark臭挽、Pig捂襟、Flume等大數(shù)據(jù)框架兼容的越來越好，比如：可以將ElasticSearch跑在YARN上埋哟，還可以在Hive中建立外部表映射到ElasticSearch的Index中笆豁，直接在Hive中執(zhí)行INSERT語句，將數(shù)據(jù)加載進ElasticSearch赤赊。
所謂OLAP闯狱，其實就是從事實表中統(tǒng)計任意組合維度的指標(biāo)，也就是過濾抛计、分組哄孤、聚合，其中吹截，聚合除了一般的SUM瘦陈、COUNT、AVG波俄、MAX晨逝、MIN等，還有一個重要的COUNT(DISTINCT)懦铺，看上去這些操作在SQL中是非常簡單的統(tǒng)計捉貌，但在海量數(shù)據(jù)、低延遲的要求下，并不是那么容易做的趁窃。
ElasticSearch本來就是做實時搜索的牧挣，過濾自然不是問題，現(xiàn)在也支持各種聚合以及Pipeline aggregations（相當(dāng)于SQL子查詢的功能）醒陆，而且ElasticSearch的安裝部署也非常簡單瀑构，一個節(jié)點只有一個服務(wù)進程，關(guān)于安裝配置可參考：http://lxw1234.com/archives/2015/12/582.htm
本文以兩個業(yè)務(wù)場景的例子刨摩，看一下ElasticSearch是如何滿足我們的需求的寺晌。
例子1：網(wǎng)站流量報告
在我們的報表平臺有這樣一張報表，用于查看每個網(wǎng)站每天的流量指標(biāo)：
其中澡刹，維度有：天折剃、小時、網(wǎng)站像屋，指標(biāo)有：PV****、UV****边篮、訪問次數(shù)己莺、跳出率、平均停留時間戈轿、回訪率等凌受。另外，還有一張報表是地域報告思杯，維度多了省份和城市胜蛉，指標(biāo)一樣。目前的做法是將可選的維度組合及對應(yīng)的指標(biāo)先在Hive中分析好色乾，再將結(jié)果同步至MySQL誊册，供報表展現(xiàn)。
真正意義上的OLAP做法暖璧，我是這樣做的：在Hive分析好一張最細粒度為visit_id（session_id）的事實表案怯，字段及數(shù)據(jù)如下：
然后將這張事實表的數(shù)據(jù)加載到ElasticSearch中的logs2/sitelog1211中。查看數(shù)據(jù)：
從目前的調(diào)研結(jié)果來看澎办，ElasticSearch沒有讓人失望嘲碱，部署簡單，數(shù)據(jù)加載方便局蚀，聚合功能完備麦锯，查詢速度快，目前完全可以滿足我們的實時搜索琅绅、統(tǒng)計和OLAP需求扶欣，甚至可以作為NOSQL來使用，接下來再做更深入的測試。另外宵蛀，還有一個開源的SQL for ElasticSearch的框架Crate（crate.io）昆著，是在ElasticSearch之上封裝了SQL接口，使得查詢統(tǒng)計更加方便术陶，不過SQL支持的功能有限凑懂，使用的ElasticSearch版本較低，后面試用一下再看梧宫。
使用Hive讀寫ElasticSearch中的數(shù)據(jù) – lxw的大數(shù)據(jù)田地
http://lxw1234.com/archives/2015/12/585.htm
總結(jié)
使用Hive將數(shù)據(jù)添加到ElasticSearch中還是非常實用的接谨，因為我們的數(shù)據(jù)都是在HDFS上，通過Hive可以查詢的塘匣。
另外脓豪，通過Hive可以查詢ES數(shù)據(jù)，并在其上做復(fù)雜的統(tǒng)計與分析忌卤，但性能一般扫夜，比不上使用ES原生API，亦或是還沒有掌握使用技巧驰徊，后面繼續(xù)研究笤闯。
Elasticsearch as Database - taowen - SegmentFault
https://segmentfault.com/a/1190000003502849
推銷Elasticsearch
時間序列數(shù)據(jù)庫的秘密（1）—— 介紹時間序列數(shù)據(jù)庫的秘密（2）——索引時間序列數(shù)據(jù)庫的秘密（3）——加載和分布式計算
用SQL查詢Elasticsearch
https://github.com/taowen/es-monitor
【01】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：表結(jié)構(gòu)定義【02】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：過濾和排序【03】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：簡單指標(biāo)【04】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：按字段聚合【05】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：HISTOGRAM聚合【06】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：CASE WHEN 聚合【07】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：聚合后排序【08】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：計算后再聚合【09】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：HAVING與Pipeline Aggregation【10】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：Drill Down 下鉆【11】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：Filter 下鉆【12】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：聚合后再計算【13】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：Join
//es-monitor【用SQL查詢Elasticsearch】
GitHub - taowen/es-monitor: query metric from elasticsearch using sql
https://github.com/taowen/es-monitor
As Console Command
For example
cat << EOF | python -m es_sql http://es_hosts SELECT "user", "oid", max("@timestamp") as value FROM gs_api_track_ GROUP BY "user", "oid" WHERE "@timestamp" > 1454239084000EOF
python -m es_sql
can be es-sql
if pip install es-sql
[
](https://github.com/taowen/es-monitor#as-python-library)As Python Library
pip install es-sql
import es_sqles_sql.execute_sql( 'http://127.0.0.1:9200', 'SELECT COUNT(*) FROM your_index WHERE field=%(param)s', arguments={'param': 'value'})
