ElasticSearch java API - 聚合查詢-聚合多字段聚合demo

以球員信息為例,player索引的player type包含5個字段镰烧,姓名拢军,年齡,薪水怔鳖,球隊茉唉,場上位置。
index的mapping為:

"mappings": {
    "player": {
        "properties": {
            "name": {
                "index": "not_analyzed",
                "type": "string"
            },
            "age": {
                "type": "integer"
            },
            "salary": {
                "type": "integer"
            },
            "team": {
                "index": "not_analyzed",
                "type": "string"
            },
            "position": {
                "index": "not_analyzed",
                "type": "string"
            }
        },
        "_all": {
            "enabled": false
        }
    }
}

索引中的全部數(shù)據(jù):



首先结执,初始化Builder:

SearchRequestBuilder sbuilder = client.prepareSearch("player").setTypes("player");

接下來舉例說明各種聚合操作的實現(xiàn)方法度陆,因為在es的api中,多字段上的聚合操作需要用到子聚合(subAggregation)献幔,初學者可能找不到方法(網(wǎng)上資料比較少懂傀,筆者在這個問題上折騰了兩天,最后度了源碼才徹底搞清楚T_T)蜡感,后邊會特意說明多字段聚合的實現(xiàn)方法鸿竖。另外,聚合后的排序也會單獨說明铸敏。

group by/count
例如要計算每個球隊的球員數(shù)缚忧,如果使用SQL語句,應(yīng)表達如下:

select team, count(*) as player_count from player group by team;

ES的java api:

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
sbuilder.addAggregation(teamAgg);
SearchResponse response = sbuilder.execute().actionGet();

group by多個field
例如要計算每個球隊每個位置的球員數(shù)杈笔,如果使用SQL語句闪水,應(yīng)表達如下:

select team, position, count(*) as pos_count from player group by team, position;

ES的java api:

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
TermsBuilder posAgg= AggregationBuilders.terms("pos_count").field("position");
sbuilder.addAggregation(teamAgg.subAggregation(posAgg));
SearchResponse response = sbuilder.execute().actionGet();

max/min/sum/avg
例如要計算每個球隊年齡最大/最小/總/平均的球員年齡,如果使用SQL語句蒙具,應(yīng)表達如下:

select team, max(age) as max_age from player group by team;

ES的java api:

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
MaxBuilder ageAgg= AggregationBuilders.max("max_age").field("age");
sbuilder.addAggregation(teamAgg.subAggregation(ageAgg));
SearchResponse response = sbuilder.execute().actionGet();

對多個field求max/min/sum/avg
例如要計算每個球隊球員的平均年齡球榆,同時又要計算總年薪,如果使用SQL語句禁筏,應(yīng)表達如下:

select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;

ES的java api:

TermsBuilder teamAgg= AggregationBuilders.terms("team");
AvgBuilder ageAgg= AggregationBuilders.avg("avg_age").field("age");
SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");
sbuilder.addAggregation(teamAgg.subAggregation(ageAgg).subAggregation(salaryAgg));
SearchResponse response = sbuilder.execute().actionGet();

聚合后對Aggregation結(jié)果排序
例如要計算每個球隊總年薪持钉,并按照總年薪倒序排列,如果使用SQL語句篱昔,應(yīng)表達如下:

select team, sum(salary) as total_salary from player group by team order by total_salary desc;

ES的java api:

TermsBuilder teamAgg= AggregationBuilders.terms("team").order(Order.aggregation("total_salary ", false);
SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");
sbuilder.addAggregation(teamAgg.subAggregation(salaryAgg));
SearchResponse response = sbuilder.execute().actionGet();

需要特別注意的是每强,排序是在TermAggregation處執(zhí)行的始腾,Order.aggregation函數(shù)的第一個參數(shù)是aggregation的名字,第二個參數(shù)是boolean型空执,true表示正序浪箭,false表示倒序。

Aggregation結(jié)果條數(shù)的問題
默認情況下辨绊,search執(zhí)行后奶栖,僅返回10條聚合結(jié)果,如果想反悔更多的結(jié)果门坷,需要在構(gòu)建TermsBuilder 時指定size:

TermsBuilder teamAgg= AggregationBuilders.terms("team").size(15);

Aggregation結(jié)果的解析/輸出
得到response后:

Map<String, Aggregation> aggMap = response.getAggregations().asMap();
StringTerms teamAgg= (StringTerms) aggMap.get("keywordAgg");
Iterator<Bucket> teamBucketIt = teamAgg.getBuckets().iterator();
while (teamBucketIt .hasNext()) {
Bucket buck = teamBucketIt .next();
//球隊名
String team = buck.getKey();
//記錄數(shù)
long count = buck.getDocCount();
//得到所有子聚合
Map subaggmap = buck.getAggregations().asMap();
//avg值獲取方法
double avg_age= ((InternalAvg) subaggmap.get("avg_age")).getValue();
//sum值獲取方法
double total_salary = ((InternalSum) subaggmap.get("total_salary")).getValue();
//...
//max/min以此類推
}

總結(jié)
綜上宣鄙,聚合操作主要是調(diào)用了SearchRequestBuilder的addAggregation方法,通常是傳入一個TermsBuilder默蚌,子聚合調(diào)用TermsBuilder的subAggregation方法冻晤,可以添加的子聚合有TermsBuilder、SumBuilder敏簿、AvgBuilder、MaxBuilder宣虾、MinBuilder等常見的聚合操作惯裕。

從實現(xiàn)上來講,SearchRequestBuilder在內(nèi)部保持了一個私有的 SearchSourceBuilder實例绣硝, SearchSourceBuilder內(nèi)部包含一個List<AbstractAggregationBuilder>蜻势,每次調(diào)用addAggregation時會調(diào)用 SearchSourceBuilder實例,添加一個AggregationBuilder鹉胖。
同樣的握玛,TermsBuilder也在內(nèi)部保持了一個List<AbstractAggregationBuilder>,調(diào)用addAggregation方法(來自父類addAggregation)時會添加一個AggregationBuilder甫菠。有興趣的讀者也可以閱讀源碼的實現(xiàn)挠铲。

如果有什么問題,歡迎一起討論寂诱,如果文中有什么錯誤拂苹,歡迎批評指正。

注:文中使用的Elastic Search API版本為2.3.2

 public List<Map<String, Object>> queryAggregationsByAttr(BoolQueryBuilder boolQueryBld){
         List<Map<String, Object>> result = new ArrayList<>();     
        NestedBuilder nestedBuilder= AggregationBuilders.nested("negstedAttr").path("spuAttrList");  
        //屬性名稱分組
        TermsBuilder tbName=  AggregationBuilders.terms("attrNameAgg").field("spuAttrList.name");  
        
        //嵌套查詢的子查詢中分組count  
        TermsBuilder tb=  AggregationBuilders.terms("attrvIdAgg").field("spuAttrList.attrvId");  
        //屬性值字段
        TermsBuilder tbVal=  AggregationBuilders.terms("attrValAgg").field("spuAttrList.value");  
        
        
        NestedBuilder all = nestedBuilder.subAggregation(tbName.subAggregation(tb.subAggregation(tbVal)));
        
        
        NativeSearchQueryBuilder nativeQueryBuilderAgg = new NativeSearchQueryBuilder()
                 .withQuery(boolQueryBld)
                 .withIndices("skus").withTypes("skus")
                 .addAggregation(all);
                    
        SearchQuery searchQueryAgg = nativeQueryBuilderAgg.build();
        
        
        Aggregations aggregations = elasticsearchTemplate.query(searchQueryAgg, new ResultsExtractor<Aggregations>() {  
            @Override  
            public Aggregations extract(SearchResponse response) {  
                return response.getAggregations();  
            }  
        }); 
        
        Map<String, Aggregation> map=aggregations.asMap();  
      
        for(String s:map.keySet()){  
         if("negstedAttr".equals(s)) {
             InternalNested internalNested  = (InternalNested)map.get(s);
             //屬性名稱
             StringTerms nameTerms=(StringTerms) internalNested.getAggregations().get("attrNameAgg");
             
        
             //屬性子表id
             for(org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket tbket:nameTerms.getBuckets()){
                 
                         //對應(yīng)一組屬性值
                         Map<String, Object> categoryIdsMapTerms = new HashMap<String, Object>();
                         categoryIdsMapTerms.put("typeId", "attrValueIds");
                         categoryIdsMapTerms.put("typeName", tbket.getKeyAsString());
                
                         LongTerms attrvIdTerms=(LongTerms)tbket.getAggregations().asMap().get("attrvIdAgg");
                         if(attrvIdTerms == null || CollectionUtils.isEmpty(attrvIdTerms.getBuckets())) {
                             continue;
                          }
                         
                        List<Map<String, Object>> dataList = new ArrayList<>();
                        
                        //屬性子表val
                        for(org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket attrIdB : attrvIdTerms.getBuckets()) {
                             //dataListMap
                             Map<String, Object> dataListMap = new HashMap<String, Object>();
                         
                         
                             Long attrvId = (Long) attrIdB.getKeyAsNumber();
                                
                             StringTerms valTerms=(StringTerms)  attrIdB.getAggregations().asMap().get("attrValAgg");
                             if(valTerms == null || CollectionUtils.isEmpty(valTerms.getBuckets())) {
                                 continue;
                              }
                            String attrValStr = valTerms.getBuckets().get(0).getKeyAsString();
                            dataListMap.put("id", attrvId);
                            dataListMap.put("name", attrValStr);
                            dataList.add(dataListMap);
                            
                        }
                        if(!CollectionUtils.isEmpty(dataList)) {
                            categoryIdsMapTerms.put("dataList", dataList);
                         }
                         result.add(categoryIdsMapTerms);
             }
         }
       }  
        return result;      
    }

轉(zhuǎn)載于:https://my.oschina.net/xiaominmin/blog/1845353

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末痰洒,一起剝皮案震驚了整個濱河市瓢棒,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌丘喻,老刑警劉巖脯宿,帶你破解...
    沈念sama閱讀 217,907評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異泉粉,居然都是意外死亡连霉,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來窘面,“玉大人翠语,你說我怎么就攤上這事〔票撸” “怎么了肌括?”我有些...
    開封第一講書人閱讀 164,298評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長酣难。 經(jīng)常有香客問我谍夭,道長,這世上最難降的妖魔是什么憨募? 我笑而不...
    開封第一講書人閱讀 58,586評論 1 293
  • 正文 為了忘掉前任紧索,我火速辦了婚禮,結(jié)果婚禮上菜谣,老公的妹妹穿的比我還像新娘珠漂。我一直安慰自己,他們只是感情好尾膊,可當我...
    茶點故事閱讀 67,633評論 6 392
  • 文/花漫 我一把揭開白布媳危。 她就那樣靜靜地躺著,像睡著了一般冈敛。 火紅的嫁衣襯著肌膚如雪待笑。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,488評論 1 302
  • 那天抓谴,我揣著相機與錄音暮蹂,去河邊找鬼。 笑死癌压,一個胖子當著我的面吹牛仰泻,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播滩届,決...
    沈念sama閱讀 40,275評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼我纪,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了丐吓?” 一聲冷哼從身側(cè)響起浅悉,我...
    開封第一講書人閱讀 39,176評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎券犁,沒想到半個月后术健,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,619評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡粘衬,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,819評論 3 336
  • 正文 我和宋清朗相戀三年荞估,在試婚紗的時候發(fā)現(xiàn)自己被綠了咳促。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,932評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡勘伺,死狀恐怖跪腹,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情飞醉,我是刑警寧澤冲茸,帶...
    沈念sama閱讀 35,655評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站缅帘,受9級特大地震影響轴术,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜钦无,卻給世界環(huán)境...
    茶點故事閱讀 41,265評論 3 329
  • 文/蒙蒙 一逗栽、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧失暂,春花似錦彼宠、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至宣肚,卻和暖如春想罕,著一層夾襖步出監(jiān)牢的瞬間悠栓,已是汗流浹背霉涨。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留惭适,地道東北人笙瑟。 一個月前我還...
    沈念sama閱讀 48,095評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像癞志,于是被迫代替她去往敵國和親往枷。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,884評論 2 354

推薦閱讀更多精彩內(nèi)容