MongoDB Aggregation
最近在做產(chǎn)品的后臺管理時(shí)，查詢的數(shù)據(jù)量比較大時(shí)，MongoDB會報(bào)錯(cuò),由于在查詢時(shí)使用了排序功能铁追，
Sort operation used more than the maximum 33554432 bytes of RAM.
Add an index, or specify a smaller limit..
根據(jù)官方文檔的描述，Sort是在內(nèi)存中的操作茫船，使用的內(nèi)存不能超過32MB琅束，如果超過了32MB癣蟋，就會報(bào)
錯(cuò)誤。建議增加 Index索引狰闪，但是增加索引會增加存儲量疯搅，也會影響寫入的速度
可以使用 Aggregation聚合，來操作大量的數(shù)據(jù)的查詢和排序
-
Aggregation Pipeline操作的限制
MongoDB2.6之后，Aggregation Pipeline操作的最大的內(nèi)存限制是100MB润绎，如果超過100MB也會報(bào)錯(cuò)谭跨，
在使用 Aggregation時(shí)，如果要處理大量的數(shù)據(jù)時(shí)礁蔗，請使用allowDiskUse參數(shù)，這個(gè)參數(shù)可以將
要處理的數(shù)據(jù)先寫入到臨時(shí)文件中
Aggregation 操作
db.collection.aggregate( [ { <stage> }, ... ] )
$match
$sort
$limit
....
具體的stage相關(guān)的語句雁社，請參考官方支持的表達(dá)式 aggregate pipeline operation
Aggregation C# Driver
// connectionString="mongodb://127.0.0.1:27017"
var client = new MongoClient(connectionString);
IMongoDatabase _db = client.GetDatabase(dbName);
var collection = GetCollection<T>(collectionName)
IList<IPipelineStageDefinition> stages = new List<IPipelineStageDefinition>();
//查詢
string f = "{ $or: [ { _id: { $eq:" + "\"" + query + "\"} }, { sn: { $eq: " + "\"" + query + "\" } } ] }";
string idMatch = "{ $match: " + f + "}";
PipelineStageDefinition<T, T> queryPipline = new JsonPipelineStageDefinition<T, T>(idMatch);
stages.Add(queryPipline);
//排序
string sortPipeline = "{$sort:{time:-1}}";
PipelineStageDefinition<T, T> sortPipline = new JsonPipelineStageDefinition<T, T>(sortPipeline);
stages.Add(sortPipline);
//分頁
string skipPiple = "{$skip:" + page * 10 + "}";
string limitPiple = "{$limit:" + 10 + "}";
PipelineStageDefinition<T, T> skipPipline = new JsonPipelineStageDefinition<T, T>(skipPiple);
PipelineStageDefinition<T, T> limitPipline = new JsonPipelineStageDefinition<T, T>(limitPiple);
stages.Add(skipPipline);
stages.Add(limitPipline);
PipelineDefinition<T, T> pipe = new PipelineStagePipelineDefinition<T, T>(stages);
AggregateOptions options = new AggregateOptions();
options.AllowDiskUse = true;
collection.Aggregate<T>(pipeline, options).ToList();
