elasticsearch v6.3.0 sql group-order

0. Overview
1. 測(cè)試數(shù)據(jù)集
2. 簡(jiǎn)單語(yǔ)句
3. 稍復(fù)雜語(yǔ)句
   - mysql
   - es-sql
      - only group by
      - group by with order by
4. Others

Overview

es v6.3.0之后,推出了es-SQL的支持士聪。今天來試試這個(gè)功能。


測(cè)試數(shù)據(jù)集

geonames

簡(jiǎn)單語(yǔ)句

在簡(jiǎn)單語(yǔ)句的情況下猛蔽,這個(gè)功能ok剥悟,具體表現(xiàn)如下,

simple es-sql
# execute
curl -X POST "$HOST/_xpack/sql?format=txt" -H 'Content-Type: application/json' -d'
{
    "query": "SELECT * FROM bm ORDER BY longitude DESC limit 3",
    "fetch_size": 3
}'

# translate to es DSL
curl -X POST "$HOST/_xpack/sql/translate?pretty" -H 'Content-Type: application/json' -d'
{
    "query": "SELECT * FROM bm ORDER BY longitude DESC limit 3",
    "fetch_size": 3
}'

# execute2(雙引號(hào)里面的字符串)
curl -X POST "$HOST/_xpack/sql?format=txt" -H 'Content-Type: application/json' -d"
{
    \"query\": \"SELECT country_code, population AS sum_pop FROM bm WHERE population > 1 AND country_code = 'CN' ORDER BY population DESC\",
    \"fetch_size\": 11
}"

translate from es DSL

稍復(fù)雜語(yǔ)句

mysql

我們先看在mysql數(shù)據(jù)庫(kù)下面曼库,這些復(fù)雜語(yǔ)句的語(yǔ)法準(zhǔn)確性懦胞。

mysql-process

es-sql

only group by

only group by
translate from es DSL與execute的返回結(jié)果一致

group by with order by

當(dāng)在group by之后添加order by,es-sql就不能正常解析了凉泄。而在es-DSL里面是可以實(shí)現(xiàn)這個(gè)agg-sort功能的。

es-sql fail with group-order

根據(jù)上一節(jié)的without order by解析出來的DSL蚯根,再配合agg-sort這個(gè)功能后众,來實(shí)現(xiàn)group-order。


without order
with order
# without order
curl -X POST "$HOST/bm/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size" : 0,
  "query" : {
    "range" : {
      "population" : {
        "from" : 0,
        "to" : null,
        "include_lower" : true,
        "include_upper" : false,
        "boost" : 1.0
      }
    }
  },
  "_source" : false,
  "stored_fields" : "_none_",
  "aggregations" : {
    "groupby" : {
      "composite" : {
        "size" : 11,
        "sources" : [
          {
            "1674" : {
              "terms" : {
                "field" : "country_code",
                "order" : "asc"
              }
            }
          }
        ]
      },
      "aggregations" : {
        "1683" : {
          "sum" : {
            "field" : "population"
          }
        }
      }
    }
  }
}
'

# with order
curl -X POST "$HOST/bm/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size" : 0,
  "query" : {
    "range" : {
      "population" : {
        "from" : 0,
        "to" : null,
        "include_lower" : true,
        "include_upper" : false,
        "boost" : 1.0
      }
    }
  },
  "_source" : false,
  "stored_fields" : "_none_",
  "aggregations" : {
    "groupby" : {
      "composite" : {
        "size" : 11,
        "sources" : [
          {
            "1674" : {
              "terms" : {
                "field" : "country_code",
                "order" : "asc"
              }
            }
          }
        ]
      },
      "aggregations" : {
        "1683" : {
          "sum" : {
            "field" : "population"
          }
        }
        ,"population_bucket_sort": {
            "bucket_sort": {
                "sort": [
                  {"1683": {"order": "desc"}}
                ]
            }
        }
      }
    }
  }
}
'

Others

es-sql source code

不知道這個(gè)fix/enhancement是否可以在es-string通過antlr義成AST的es-DSL颅拦。有時(shí)間再回頭看這個(gè)issue蒂誉。

costin回復(fù)說Bucket Sort Aggregation只是局部排序,非全局排序距帅。但是至于如何實(shí)現(xiàn)全局排序右锨,我仍然沒有弄明白。

costin reply
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末碌秸,一起剝皮案震驚了整個(gè)濱河市绍移,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌讥电,老刑警劉巖蹂窖,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異恩敌,居然都是意外死亡瞬测,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來月趟,“玉大人灯蝴,你說我怎么就攤上這事⌒⒆冢” “怎么了穷躁?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)碳褒。 經(jīng)常有香客問我折砸,道長(zhǎng),這世上最難降的妖魔是什么沙峻? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任睦授,我火速辦了婚禮,結(jié)果婚禮上摔寨,老公的妹妹穿的比我還像新娘去枷。我一直安慰自己,他們只是感情好是复,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布删顶。 她就那樣靜靜地躺著,像睡著了一般淑廊。 火紅的嫁衣襯著肌膚如雪逗余。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天季惩,我揣著相機(jī)與錄音录粱,去河邊找鬼。 笑死画拾,一個(gè)胖子當(dāng)著我的面吹牛啥繁,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播青抛,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼旗闽,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了蜜另?” 一聲冷哼從身側(cè)響起适室,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蚕钦,沒想到半個(gè)月后亭病,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡嘶居,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年罪帖,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了促煮。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡整袁,死狀恐怖菠齿,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情坐昙,我是刑警寧澤绳匀,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布,位于F島的核電站炸客,受9級(jí)特大地震影響疾棵,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜痹仙,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一是尔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧开仰,春花似錦拟枚、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至谓娃,卻和暖如春脚乡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背滨达。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工每窖, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人弦悉。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像蟆炊,于是被迫代替她去往敵國(guó)和親稽莉。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容