海量的数据使得单台 MongoDB 存储显得吃力且难以满足提供可接受的读写吞吐量
通过将数据分割到多台服务器就变得越来越重要,使得 MongoDB 数据库系统能存储和处理更多的数据
为什么使用分片
1、 复制所有的写入操作到主节点;
2、 延迟的敏感数据会在主节点查询;
3、 单个副本集限制在12个节点;
4、 当请求量巨大时会出现内存不足;
5、 本地磁盘不足;
6、 垂直扩展价格昂贵;
MongoDB分片
下图展示了 MongoDB 分片集群结构分布
MongoDB 分片集群技术主要有三个组件
1、 ShardServer;
用于存储实际的数据块
一个 shard server 角色可由几台机器组一个负载均衡承担,防止主机单点故障
2、 ConfigServer;
mongod 实例,存储了整个 Cluster Metadata,包括 chunk 信息
3、 QueryRouters;
前端路由
客户端由此接入,且让整个集群看上去像单一数据库
MongoDB 分片技术搭建范例
假设 MongoDB 分片集群结构组件如下所示
Shard Server
Shard Server 1:localhost:27020
Shard Server 2:localhost:27021
Shard Server 3:localhost:27022
Shard Server 4:localhost:27023
Config Server
Config Server :localhost:27100
Query Routers Server
Route Process:localhost:40000
MongoDB 分片集群搭建步骤
1、 启动ShardServer;
[root@ddkk.com ~]# mkdir -p /mnt/data/www/mongodb/shared/s0
[root@ddkk.com ~]# mkdir -p /mnt/data/www/mongodb/shared/s1
[root@ddkk.com ~]# mkdir -p /mnt/data/www/mongodb/shared/s2
[root@ddkk.com ~]# mkdir -p /mnt/data/www/mongodb/shared/s3
[root@ddkk.com ~]# mkdir -p /mnt/data/www/mongodb/shared/log
[root@ddkk.com ~]#
[root@ddkk.com ~]#
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongod --port 27020 --dbpath=/mnt/data/www/mongodb/shared/s0 --logpath=/mnt/data/www/mongodb/shared/log/s0.log --logappend --fork
[root@ddkk.com ~]#
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongod --port 27021 --dbpath=/mnt/data/www/mongodb/shared/s1 --logpath=/mnt/data/www/mongodb/shared/log/s1.log --logappend --fork
[root@ddkk.com ~]#
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongod --port 27022 --dbpath=/mnt/data/www/mongodb/shared/s2 --logpath=/mnt/data/www/mongodb/shared/log/s2.log --logappend --fork
[root@ddkk.com ~]#
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongod --port 27023 --dbpath=/mnt/data/www/mongodb/shared/s3 --logpath=/mnt/data/www/mongodb/shared/log/s3.log --logappend --fork
2、 启动ConfigServer;
[root@ddkk.com ~]# mkdir -p /mnt/data/www/mongodb/shared/config
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongod --port 27100 --dbpath=/mnt/data/www/mongodb/shared/config --logpath=/mnt/data/www/mongodb/shared/log/config.log --logappend --fork
**注意:** 我们可以像启动普通 mongodb 服务一样启动,不需要添加 —shardsvr 和 configsvr 参数,因为这两个参数的作用就是改变启动端口的,只要我们自行指定了端口就可以
3、 启动QueryRoutersServer;
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongos --port 40000 --configdb localhost:27100 --fork --logpath=/mnt/data/www/mongodb/shared/log/route.log --chunkSize 500
mongos 启动参数中,chunkSize 这一项是用来指定 chunk 的大小的,单位是 MB,默认大小为 200MB
4、 配置Sharding;
我们使用 MongoDB Shell 登录到 mongos ,添加 Shard 节点
[root@ddkk.com ~]# /usr/local/mongodb/bin/mongo admin --port 40000
MongoDB shell version v3.4.9
connecting to: mongodb://127.0.0.1:40000/admin
MongoDB server version: 3.4.9
mongos> db.runCommand({ addshard:"localhost:27020" })
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> db.runCommand({ addshard:"localhost:27021" })
{ "shardAdded" : "shard0001", "ok" : 1 }
mongos> db.runCommand({ addshard:"localhost:27022" })
{ "shardAdded" : "shard0002", "ok" : 1 }
mongos> db.runCommand({ addshard:"localhost:27023" })
{ "shardAdded" : "shard0003", "ok" : 1 }
--------------------
mongos> db.runCommand({ enablesharding:"test" })设置分片存储的数据库
{ "ok" : 1 }
mongos> db.runCommand({ shardcollection: "test.log", key: { id:1,time:1}})
{ "collectionsharded" : "test.log", "ok" : 1 }
5、 程序代码内无需太大更改,直接按照连接普通的mongo数据库,但需要将数据库连接接入端口改为40000;