MongoDB Mapreduce詳細(xì)操作總結(jié)

在做聚合運(yùn)算的時(shí)候,Map-reduce是個(gè)不錯(cuò)的選擇;
顧名思義:Map-reduce主要通過(guò)實(shí)現(xiàn)Map函數(shù)與reduce函數(shù)來(lái)完成聚合操作,函數(shù)通過(guò)javascript代碼來(lái)定義仰楚;

  • 命令方式
db.collection.mapReduce(
    map,    //map函數(shù)(生成鍵值對(duì)序列,作為 reduce 函數(shù)參數(shù))
    reduce, //reduce函數(shù)
    {
        <out>,    //存放輸出結(jié)果的集合,不寫(xiě)使用臨時(shí)集合
        <query>, //篩選條件,符合條件才會(huì)進(jìn)入map
        <sort>,   //排序
        <limit>,  //限制條數(shù)
        <finalize>, 
        <scope>, 
        <jsMode>, 
        <verbose>
    }
)

下面通過(guò)一個(gè)具體的例子月劈,來(lái)分析Map-reduce的運(yùn)行機(jī)制

consume集合中記錄著用戶(hù)每天的消費(fèi)金額,其中字段分別為:
<user_id>用戶(hù)標(biāo)示藤乙,<price>用戶(hù)消費(fèi)金額猜揪,<date>消費(fèi)日期

consume集合信息
  • 計(jì)算每個(gè)用戶(hù)2016-06-01這天的消費(fèi)金額
db.consume.mapReduce(
    function(){ emit( this.user_id,this.price ) },
    function(key,values){ 
      var total = 0 ;
      for(var i=0;i<values.length;i++){
        total += values[i];
      }
       return total;
    },//end reduce function
    {
        query:{"date":"2016-06-01"}
    }
)

上文中的例子主要邏輯是,將集合中的文檔按user_id分組坛梁,得到以u(píng)ser_id為key的數(shù)組而姐,形成key-values的映射關(guān)系,再將key-values的映射關(guān)系做為參數(shù)划咐,放入reduce函數(shù)拴念,reduce函數(shù),迭代values數(shù)組褐缠,將values數(shù)據(jù)內(nèi)的消費(fèi)金額疊加政鼠,返回total總值;

文字描述太繞队魏,請(qǐng)看下圖:

Map-reduce原理圖

理解原理后缔俄,咱們就可以隨意組合聚合啦~

  • 將consume集合內(nèi)的數(shù)據(jù)按照每天每個(gè)客戶(hù)匯總金額
var mapfunction = function(){
    emit( {this.date, this.user_id},this.price} )
}

var reducefunction = function(key,values){ 
      var total = 0 ;
      for(var i=0;i<values.length;i++){
        total += values[i];
      }
      return total;
 }

db.consume.mapReduce(
    mapfunction,
    reducefunction
)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市俐载,隨后出現(xiàn)的幾起案子蟹略,更是在濱河造成了極大的恐慌,老刑警劉巖遏佣,帶你破解...
    沈念sama閱讀 206,482評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件挖炬,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡状婶,警方通過(guò)查閱死者的電腦和手機(jī)意敛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)膛虫,“玉大人草姻,你說(shuō)我怎么就攤上這事∩缘叮” “怎么了撩独?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,762評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀(guān)的道長(zhǎng)账月。 經(jīng)常有香客問(wèn)我综膀,道長(zhǎng),這世上最難降的妖魔是什么局齿? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,273評(píng)論 1 279
  • 正文 為了忘掉前任剧劝,我火速辦了婚禮,結(jié)果婚禮上抓歼,老公的妹妹穿的比我還像新娘讥此。我一直安慰自己,他們只是感情好谣妻,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,289評(píng)論 5 373
  • 文/花漫 我一把揭開(kāi)白布暂论。 她就那樣靜靜地躺著,像睡著了一般拌禾。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上展哭,一...
    開(kāi)封第一講書(shū)人閱讀 49,046評(píng)論 1 285
  • 那天湃窍,我揣著相機(jī)與錄音,去河邊找鬼匪傍。 笑死您市,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的役衡。 我是一名探鬼主播茵休,決...
    沈念sama閱讀 38,351評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了榕莺?” 一聲冷哼從身側(cè)響起俐芯,我...
    開(kāi)封第一講書(shū)人閱讀 36,988評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎钉鸯,沒(méi)想到半個(gè)月后吧史,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,476評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡唠雕,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,948評(píng)論 2 324
  • 正文 我和宋清朗相戀三年贸营,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片岩睁。...
    茶點(diǎn)故事閱讀 38,064評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡钞脂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出捕儒,到底是詐尸還是另有隱情冰啃,我是刑警寧澤,帶...
    沈念sama閱讀 33,712評(píng)論 4 323
  • 正文 年R本政府宣布肋层,位于F島的核電站亿笤,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏栋猖。R本人自食惡果不足惜净薛,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,261評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蒲拉。 院中可真熱鬧肃拜,春花似錦、人聲如沸雌团。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,264評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)锦援。三九已至猛蔽,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間灵寺,已是汗流浹背曼库。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,486評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留略板,地道東北人毁枯。 一個(gè)月前我還...
    沈念sama閱讀 45,511評(píng)論 2 354
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像叮称,于是被迫代替她去往敵國(guó)和親种玛。 傳聞我的和親對(duì)象是個(gè)殘疾皇子藐鹤,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,802評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容