饿虎岗资源网

MongoDB查询性能优化验证及验证
数据库 2024/11/15 佚名
3 1
饿虎岗资源网 Design By www.oxmxm.com

结论：

1、 200w数据，合理使用索引的情况下，单个stationId下4w数据。mongodb查询和排序的性能理想，无正则时client可以在600ms+完成查询，qps300+。有正则时client可以在1300ms+完成查询，qps140+。

2、 Mongodb的count性能比较差，非并发情况下client可以在330ms完成查询，在并发情况下则需要1-3s。可以考虑估算总数的方法，http://blog.sina.com.cn/s/blog_56545fd30101442b.html

测试环境：mongodb使用 replica set，1主2从，96G内存，版本2.6.5

Mem消耗（4个200w数据的collection）：


空间消耗（测试数据最终选定的collection）：


Jvm: -Xms2G -Xmx2G

Ping延迟33ms

查询都使用ReadPreference.secondaryPreferred()

无正则

1、 创建stationId, firmId复合引查询场景（200w集合，12个字段）

查询次数：20000

查询条件：多条件查询10条记录，并逐条获取记录

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并发：200

耗时：61566

单次耗时（server）：124ms

Qps:324.85

2、 创建stationId, firmId复合引查询场景（200w集合，12个字段）

查询次数：20000

查询条件：多条件查询10条记录排序，并逐条获取记录

String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);

并发：200

耗时：63187

单次耗时（server）：119ms

Qps:316.52

3、 创建stationId, firmId复合引查询场景（200w集合，12个字段）

查询次数：2000

查询条件：多条件查询记录数

String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); 
long count = collection.count(queryObject);

并发：200

耗时：21887

单次耗时（client）：280ms

Qps:91.38

有正则

4、 创建stationId, firmId复合引查询场景（200w集合，12个字段）

查询次数：20000

查询条件：多条件查询10条记录，并逐条获取记录

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并发：200

耗时：137673

单次耗时（server）：225ms

Qps:145.27

5、 创建stationId, firmId复合引查询场景（200w集合，12个字段）

查询次数：20000

查询条件：多条件查询10条记录排序，并逐条获取记录

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);

并发：200

耗时：138673

单次耗时（server）：230ms

Qps:144.22

6、 创建stationId, firmId复合引查询场景（200w集合，12个字段）

查询次数：2000

查询条件：多条件查询记录数

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
long count = collection.count(queryObject);

并发：200

耗时：23155

单次耗时（client）：330ms

Qps:86.37

MongoDB索引特点

1、 复合索引必须命中首字段，否则无法生效。后面的字段可以不按顺序命中。

2、 复合索引字段越多占用空间越大，但对查询性能影响不大（数组索引除外）。

3、 会根据sort字段选择索引，优先级超过复合索引中的非首字段。


4、 命中复合索引的情况下，数据量<10w的情况下，过滤非索引字段，效率也比较高。


5、 全文检索性能比较差，200w数据命中50w的情况下，全文检索需要10+s，正则需要1s。

MongoDB客户端配置，可以提出来做成spring注入，设置最大连接数什么的。

MongoClientOptions options =
MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2)
.connectionsPerHost(500).build();
mongoClient = new MongoClient(Arrays.asList(new ServerAddress("10.205.68.57", 8700),
new ServerAddress("10.205.68.15", 8700),
new ServerAddress("10.205.69.13", 8700)), options);
mongoClient.setReadPreference(ReadPreference.secondaryPreferred());

mongoDB调研_结论.docx为最终场景下的测试数据，分为有正则和无正则。

mongoDB调研_remote.docx为测试验证过程中的数据，有可能存在缓存等情况，不一定准确，功参考。

关于MongoDB 查询优化原则的大家了解吗？下文给大家介绍下，具体内容如下所示：

1.在查询条件、排序条件、统计条件的字段上选择创建索引，可以显著提高查询效率。

2.用$or时把匹配最多结果的条件放在最前面，用$and时把匹配最 少 结果的条件放在最前面。

3.使用limit()限定返回结果集的大小，减少数据库服务器的资源消耗，以及网络传输的数据量。

4.尽量少用$in，而是分解成一个一个的单一查询。尤其是在分片上，$in会让你的查询去每一个分片上查一次，如果实在要用的话，先在每个分片上建索引。

5.尽量不用模糊匹配查询，用其它精确匹配查询代替，比如$in、$nin。

6.查询量大、并发大的情况，通过前端加缓存解决。

7.能不用安全模式的操作就不用安全模式，这样客户端没必要等待数据库返回查询结果以及处理异常，快了一个数量级。

8.MongoDB的智能查询优化，判断粒度为query条件，而skip和limit都不在其判断之中，当分页查询最后几页时，先用order反向排序。

9.尽量减少跨分片查询，balance均衡次数少。

10.只查询要使用的字段，而不查询所有字段。

11.更新字段的值时，使用$inc比update效率高。

12.apped collections比普通collections的读写效率高。

13.server-side processing类似于SQL查询的存储过程，可以减少网络通讯的开销。

14.必要时使用hint()强制使用某个索引查询。

15.如果有自己的主键列，则使用自己的主键列作为id，这样可以节约空间，也不需要创建额外的所以。

16.使用explain，根据exlpain plan进行优化。

17.范围查询的时候尽量用$in、$nin代替。

18.查看数据库查询日志，具体分析的效率低的操作。

19.mongodb有一个数据库优化工具database profiler，能够检测数据库操作的性能。可以发现query或者write操作中执行效率低的，从而针对这些操作进行优化。

20.尽量把更多的操作放在客户端，当然这就是mongodb设计的理念之一。

饿虎岗资源网 Design By www.oxmxm.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
饿虎岗资源网 Design By www.oxmxm.com
www.oxmxm.com 饿虎岗资源网
120,135影音资源
344,641技术资源
22,817软件资源
435,032站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
饿虎岗资源网 Design By www.oxmxm.com