本文重點(diǎn)介紹mgo使用,僅簡單介紹mongodb拷呆。

mongodb特性

mongdb簡單介紹

mgo簡介

mgo 是 mongodb 的 GO 語言驅(qū)動(dòng)包。
mgo官網(wǎng)：http://labix.org/mgo

mgo使用

mgo方案一

package mgo

import (
    "flag"
    "gopkg.in/mgo.v2"
    "log"
    "study/conf"
)

var session *mgo.Session
var database *mgo.Database

func init() {
     /*配置mongodb的josn文件,配置內(nèi)容如下: 
      {
        "hosts": "localhost",
        "database": "user"
       }*/
    filename := flag.String("config", "./conf/config.json", "Path to configuration file")
    flag.Parse()
    config := &conf.ConfigurationDatabase{}
    config.Load(*filename)
    var err error
     
    dialInfo := &mgo.DialInfo{
        Addrs:     []string{config.Hosts},
        Direct:    false,
        Timeout:   time.Second * 1,
        PoolLimit: 4096, // Session.SetPoolLimit    }
    //創(chuàng)建一個(gè)維護(hù)套接字池的session
    session, err = mgo.DialWithInfo(dialInfo)

    if err != nil {
        log.Println(err.Error())
    }
    session.SetMode(mgo.Monotonic, true)
    //使用指定數(shù)據(jù)庫
    database = session.DB(config.Database)

}

func GetMgo() *mgo.Session {
    return session
}

func GetDataBase() *mgo.Database {
    return database
}

func GetErrNotFound() error {
    return mgo.ErrNotFound
}

這里的 session 能夠和 mongodb 集群中的所有Server通訊典勇。

session設(shè)置的模式分別為:

• Strong
  session 的讀寫一直向主服務(wù)器發(fā)起并使用一個(gè)唯一的連接劫哼，因此所有的讀寫操作完全的一致。
• Monotonic
  session 的讀操作開始是向其他服務(wù)器發(fā)起（且通過一個(gè)唯一的連接）割笙，只要出現(xiàn)了一次寫操作权烧，session 的連接就會(huì)切換至主服務(wù)器。由此可見此模式下伤溉，能夠分散一些讀操作到其他服務(wù)器般码，但是讀操作不一定能夠獲得最新的數(shù)據(jù)。
• Eventual
  session 的讀操作會(huì)向任意的其他服務(wù)器發(fā)起乱顾，多次讀操作并不一定使用相同的連接板祝，也就是讀操作不一定有序。session 的寫操作總是向主服務(wù)器發(fā)起走净，但是可能使用不同的連接券时，也就是寫操作也不一定有序孤里。

//個(gè)人項(xiàng)目部分代碼
type User struct {
    ID       bson.ObjectId `bson:"_id"`
    UserName string        `bson:"username"`
    Summary  string        `bson:"summary"`
    Age      int           `bson:"age"`
    Phone    int           `bson:"phone"`
    PassWord string        `bson:"password"`
    Sex      int           `bson:"sex"`
    Name     string        `bson:"name"`
    Email    string        `bson:"email"`
}

func Register(password string, username string) (err error) {
    con := mgo.GetDataBase().C("user")
    //可以添加一個(gè)或多個(gè)文檔
    /* 對(duì)應(yīng)mongo命令行
       db.user.insert({username:"13888888888",summary:"code",
       age:20,phone:"13888888888"})*/
    err = con.Insert(&User{ID: bson.NewObjectId(), UserName: username, PassWord: password})
    return
}

func FindUser(username string) (User, error) {
    var user User
    con := mgo.GetDataBase().C("user")
    //通過bson.M(是一個(gè)map[string]interface{}類型)進(jìn)行
    //條件篩選，達(dá)到文檔查詢的目的
    /* 對(duì)應(yīng)mongo命令行
      db.user.find({username:"13888888888"})*/
    if err := con.Find(bson.M{"username": username}).One(&user); err != nil {
        if err.Error() != mgo.GetErrNotFound().Error() {
            return user, err
        }

    }
    return user, nil
}

通過find()可以進(jìn)行單個(gè)或者全部的查詢橘洞，并且可以進(jìn)行分頁處理捌袜。下面為簡單代碼展示:
con.Find(nil).Limit(5).Skip(0).All(&user)

package models

import (
    "gopkg.in/mgo.v2/bson"
    "study/library/mgo"
    "time"
)

type Diary struct {
    Uid        bson.ObjectId `bson:"uid"`
    ID         bson.ObjectId `bson:"_id"`
    CreatTime  time.Time     `bson:"creattime"`
    UpdateTime time.Time     `bson:"updatetime"`
    Title      string        `bson:"title"`
    Content    string        `bson:"content"`
    Mood       int           `bson:'Mood"`
    Pic        []string      `bson:'pic'`
}

//通過uid查找本作者文章，并且顯示文章作者名字
func FindDiary(uid string) ([]interface{}, error) {
    con := mgo.GetDataBase().C("diary")
       // 其中的lookup功能可以實(shí)現(xiàn)類似于mysql中的join操作炸枣，方便于關(guān)聯(lián)查詢虏等。
       /*對(duì)應(yīng)mongo命令行
        db.diary.aggregate([{$match:{uid: ObjectId("58e7a1b89b5099fdc585d370")}},
        {$lookup{from:"user",localField:"uid",foreignField:"_id",as:"user"}},
        {$project:{"user.name":1,title:1,content:1,mood:1}}]).pretty() 
       */
    pipeline := []bson.M{
        bson.M{"$match": bson.M{"uid": bson.ObjectIdHex(uid)}},
        bson.M{"$lookup": bson.M{"from": "user", "localField": "uid", "foreignField": "_id", "as": "user"}},
        bson.M{"$project": bson.M{"user.name": 1, "title": 1, "content": 1, "mood": 1, "creattime": 1}},
    }
    pipe := con.Pipe(pipeline)
    var data []interface{}
    err := pipe.All(&data)
    if err != nil {
        return nil, err
    }
    return data, nil

}

func ModifyDiary(id, title, content string) (err error) {
        con := mgo.GetDataBase().C("diary")
         //更新
        /*對(duì)應(yīng)mongo命令行
          db.diary.update({_id:ObjectId("58e7a1b89b5099fdc585d370")},
           {$set:{title:"modify title",content:"modify content",
           updatetime:new Date()})*/
        err = con.Update(bson.M{"_id": id}, bson.M{"$set": bson.M{"title": title, "content": content, "updatetime": time.Now().Add(8 * time.Hour)}})
        return

}

mgo更新方法很多，如批量更新con.UpdateAll(selector, update),更新或插入數(shù)據(jù)con.Upsert(selector, update) 适肠。

思路一會(huì)兒

mgo方案二

思考: session 會(huì)被全局使用博其，當(dāng)在實(shí)際的程序中，我們可以開啟goroutine 來處理每個(gè)連接迂猴，多個(gè)goroutine 可以通過 session.Clone() 來創(chuàng)建或復(fù)用連接，使用完成之后通過 session.Close() 來關(guān)閉這個(gè)連接背伴。當(dāng)并發(fā)很高時(shí)沸毁，看起來可以提高效率。

下面部分代碼修改 :

import (
    "flag"
    "gopkg.in/mgo.v2"
    "log"
    "study/conf"
)

var session *mgo.Session
var config *conf.ConfigurationDatabase

func init() {
     filename := flag.String("config", "./conf/config.json", "Path to configuration file")
    flag.Parse()
     
    config = &conf.ConfigurationDatabase{}
    config.Load(*filename)
    var err error
     
    dialInfo := &mgo.DialInfo{
        Addrs:     []string{config.Hosts},
        Direct:    false,
        Timeout:   time.Second * 1,
        PoolLimit: 4096, // Session.SetPoolLimit
    }
    session, err = mgo.DialWithInfo(dialInfo)

    if err != nil {
        log.Println(err.Error())
    }
    session.SetMode(mgo.Monotonic, true)

    

}

type SessionStore struct {
    session *mgo.Session
}

//獲取數(shù)據(jù)庫的collection
func (d * SessionStore) C(name string) *mgo.Collection {
    return d.session.DB(config.Database).C(name)
}

//為每一HTTP請(qǐng)求創(chuàng)建新的DataStore對(duì)象
func New SessionStore() * SessionStore {
    ds := & SessionStore{
        session: session.Copy(),
    }
    return ds
}

func (d * SessionStore) Close() {
    d.session.Close()
}

func GetErrNotFound() error {
    return mgo.ErrNotFound
}

對(duì)查找進(jìn)行了修改

func FindUser(username string) (User, error) {
    var user User
    ds := mgo.NewSessionStore()
    defer ds.Close()
    con := ds.C("user")
    if err := con.Find(bson.M{"username": username}).One(&user); err != nil {
        if err.Error() != mgo.GetErrNotFound().Error() {
            return user, err
        }

    }
    return user, nil
}

mgo方案一和二測(cè)試:
使用boom進(jìn)行并發(fā)測(cè)試,并在每個(gè) goroutine 里面sleep 5秒傻寂，這樣是讓連接暫時(shí)不釋放息尺，就可以看到 mgo 方案二 會(huì)不斷創(chuàng)建新連接，方案一不會(huì)創(chuàng)建新連接疾掰÷в可以使用mongo shell 的db.serverStatus().connections來查看連接數(shù)。

mgo方案一測(cè)試連接數(shù): 1000 并發(fā)：mongo 3個(gè)連接 5000 并發(fā)：mongo 3個(gè)連接静檬。

mgo方案二測(cè)試連接數(shù): 1000 并發(fā)：mongo 500多個(gè)連接 5000 并發(fā)：mongo 1400多個(gè)連接炭懊。

提示: mgo 默認(rèn)連接池是 4096，在高并發(fā)下拂檩，如果每個(gè) session都不調(diào)用 close()侮腹，會(huì)導(dǎo)致連接數(shù)會(huì)很快就達(dá)到 4096，并堵死其他請(qǐng)求稻励，所以在使用clone() 或 copy()時(shí) session 時(shí)一定要使用 defer close() 把連接關(guān)閉父阻。啟用 maxPoolLimit 參數(shù)會(huì)限制總連接大小，當(dāng)連接超過限制總數(shù)當(dāng)前協(xié)程 等待望抽，直到可以創(chuàng)建連接加矛。

測(cè)試結(jié)果:mgo方案一和方案二在并發(fā)下，效率差不多煤篙。

為什么