MongoDB:count結(jié)果不準(zhǔn)確的原因與解決方法

本人博客同步發(fā)表礁蔗,排版更佳
教訓(xùn):MongoDB在分片后的集合上進(jìn)行db.collection.count()操作時(shí),出現(xiàn)結(jié)果不準(zhǔn)確的現(xiàn)象,需要采用聚合的方法獲取集合的count結(jié)果
在使用MongoDB-Java客戶端做簡單的插入操作(10W條)以后,使用Studio 3T查看插入結(jié)果時(shí)炫七,發(fā)現(xiàn)顯示的count結(jié)果與插入的數(shù)據(jù)不一致,偶然會(huì)多出幾條或十幾條钾唬,插入操作很簡單万哪,其中table3被分片

//創(chuàng)建客戶端連接
MongoClient mongoClient = new MongoClient( "xxx.xxx.xxx.xxx" , 20000 );
MongoDatabase database = mongoClient.getDatabase("testdb");
MongoCollection<Document> collection = database.getCollection("table3");

//插入文檔
long start = System.currentTimeMillis();
Random r = new Random();
for (int i=0;i<100000;i++){
    Document doc = new Document("id", i)
            .append("type", "database"+i)
            .append("test","testval"+i)
            .append("name", "name"+i);

    System.out.println("insertOne = " + i);
    collection.insertOne(doc);
}
System.out.println("use time = " + (System.currentTimeMillis()- start));
System.out.println("count = " + collection.count());

發(fā)現(xiàn)問題后,通過在shell里面查詢count抡秆,命令如下

db.table3.count()

使用該命令依然會(huì)出現(xiàn)統(tǒng)計(jì)信息不準(zhǔn)確的現(xiàn)象奕巍,通過谷歌發(fā)現(xiàn),官方文檔——(https://docs.mongodb.com/manual/reference/method/db.collection.count/)中有解釋這種現(xiàn)象:

db.collection.aggregate(
   [
      { $group: { _id: null, count: { $sum: 1 } } }
   ]
)

官方文檔解釋了這種現(xiàn)象的原因以及解決方法:
不準(zhǔn)確的原因

  • 操作的是分片的集合(前提)儒士;
  • shard分片正在做塊遷移的止,導(dǎo)致有重復(fù)數(shù)據(jù)出現(xiàn)
  • 存在孤立文檔(因?yàn)椴徽jP(guān)機(jī)、塊遷移失敗等原因?qū)е拢?/li>

解決方法
使用聚合aggregate的方式查詢count數(shù)量着撩,shell命令如下:

db.collection.aggregate(
   [
      { $group: { _id: null, count: { $sum: 1 } } }
   ]
)

java代碼
所以在Java中也可以采用聚合的方式獲取count結(jié)果诅福,使用聚合aggregate的方式可以準(zhǔn)確的獲取sharding后的集合的count結(jié)果匾委。

DBObject groupFields = new BasicDBObject("_id", null);
groupFields.put("count", new BasicDBObject("$sum", 1));
BasicDBObject group = new BasicDBObject("$group", groupFields);

List<BasicDBObject> aggreList = new ArrayList<BasicDBObject>();
aggreList.add(group);
AggregateIterable<Document> output = collection.aggregate(aggreList);

for (Document dbObject : output)
{
      System.out.println("Aggregates count = "+ dbObject);
}

完整代碼

        //創(chuàng)建客戶端連接
        MongoClient mongoClient = new MongoClient( "xxx.xxx.xxx.xxx" , 20000 );
        MongoDatabase database = mongoClient.getDatabase("testdb");
        MongoCollection<Document> collection = database.getCollection("table3");

        //插入文檔
        long start = System.currentTimeMillis();
        Random r = new Random();
        for (int i=0;i<100000;i++){
            Document doc = new Document("id", i)
                    .append("type", "database"+i)
                    .append("test","testval"+i)
                    .append("name", "name"+i);

            System.out.println("insertOne = " + i);
            collection.insertOne(doc);
        }

        System.out.println("use time = " + (System.currentTimeMillis()- start));

        System.out.println("count = " + collection.count());

        DBObject groupFields = new BasicDBObject("_id", null);
        groupFields.put("count", new BasicDBObject("$sum", 1));
        BasicDBObject group = new BasicDBObject("$group", groupFields);

        List<BasicDBObject> aggreList = new ArrayList<BasicDBObject>();
        aggreList.add(group);
        AggregateIterable<Document> output = collection.aggregate(aggreList);

        for (Document dbObject : output)
        {
            System.out.println("Aggregates count = "+ dbObject);
        }
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市氓润,隨后出現(xiàn)的幾起案子赂乐,更是在濱河造成了極大的恐慌,老刑警劉巖咖气,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件挨措,死亡現(xiàn)場離奇詭異,居然都是意外死亡采章,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進(jìn)店門壶辜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來悯舟,“玉大人,你說我怎么就攤上這事砸民〉衷酰” “怎么了?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵岭参,是天一觀的道長反惕。 經(jīng)常有香客問我,道長演侯,這世上最難降的妖魔是什么姿染? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮秒际,結(jié)果婚禮上悬赏,老公的妹妹穿的比我還像新娘。我一直安慰自己娄徊,他們只是感情好闽颇,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著寄锐,像睡著了一般兵多。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上橄仆,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天剩膘,我揣著相機(jī)與錄音,去河邊找鬼盆顾。 笑死援雇,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的椎扬。 我是一名探鬼主播惫搏,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼具温,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了筐赔?” 一聲冷哼從身側(cè)響起铣猩,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎茴丰,沒想到半個(gè)月后达皿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡贿肩,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年峦椰,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片汰规。...
    茶點(diǎn)故事閱讀 38,117評論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡汤功,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出溜哮,到底是詐尸還是另有隱情滔金,我是刑警寧澤,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布茂嗓,位于F島的核電站餐茵,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏述吸。R本人自食惡果不足惜忿族,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蝌矛。 院中可真熱鬧,春花似錦朴读、人聲如沸屹徘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽噪伊。三九已至,卻和暖如春氮唯,著一層夾襖步出監(jiān)牢的瞬間鉴吹,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工惩琉, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留豆励,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像良蒸,于是被迫代替她去往敵國和親技扼。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容