2019-12-26 / Docker mongodb

docker 搭建 mongo 集群

本文摘自：https://www.jianshu.com/p/4d86e9c33e0d

一、准备工作

注意

1.docker 通过 unix socket 通信，需要sudo权限, 每次操作 docker 都需要在命令行前添加 sudo，比较烦，官方给出了方法。安装 docker 是会创建docker用户组，也拥有unix socker读写权限，将当前用户添加至docker用户组，即可免除命令行前添加sudo。参考

2.容器间默认通过网桥连接内外部网络，主机需要允许网卡转发

3.docker 网桥默认网段为 172.17.42.1/16 ，公司vpn默认对网段
172.17.0.0/20 路由，会覆盖docker网段，导致容器无法与外部网络通信，修改/etc/default/docker，添加 DOCKER_OPTS="--bip=192.168.1.0/20"，这里网段是容器间的内部网络，可以自行修改，改到满意。

4.国内使用官方镜像比较慢，建议使用国内第三方镜像加速。如：DaoCloud，阿里云

二、实验

（一）主从模式

准备工作
1.创建db目录 mkdir -p /data/mongodbtest/master /data/mongodbtest/slaver
2.docker-compose.yml内容如下：

 version: '2'
 services:
   master:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/master:/data/db
     command: mongod --dbpath /data/db  --master
   slaver:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/slaver:/data/db
     command: mongod --dbpath /data/db --slave --source master:27017
     links:
      - master

启动容器docker-compose up -d

注: docker-compose会默认将文件夹名字作为容器名的前缀, 我的文件夹为masterslave，容器明分别为 masterslave_master_1 和 masterslave_slave_1

验证
在master中插入一条记录：

$ docker-compose exec master mongo
$ use test
$ db.test.insert({msg: "from master", ts: new Date()})

查看slave中的数据，执行

$ docker-compose exec slaver mongo
$ rs.slaveOk()
$ use test
$ db.test.find()
$ db.test.insert({msg: 'from slaver', ts: new Date()})  // 报错, slaver只有读权限
$ db.printReplicationInfo()  // 查看slave服务信息

测试故障转移：首先，关闭master，docker-compose stop master；其次，重新连接 slave，查看服务信息，插入数据。如下：

$ docker-compose exec slaver mongo
$ db.printReplicationInfo() //依然是slave, 没有自动切换为master
$ use test
$ db.testData.insert({msg: "from slave", ts: new Date()}) //插入失败

总结
简单的 master-slave 模型仅仅做了一个数据复制，而且并不可靠，master 挂了整体将无法进行写操作

(二) 副本集(Relica set)

介绍

三实例

1主 + 2次要

null

准备工作
1.创建db文件夹

 mkdir -p /data/mongodbtest/replset/rs1 /data/mongodbtest/replset/rs2 /data/mongodbtest/replset/rs3

2.docker-compose.yml

 version: '3'
 services:
   rs1:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/replset/rs1:/data/db
     command: mongod --dbpath /data/db --replSet myset
   rs2:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/replset/rs2:/data/db
     command: mongod --dbpath /data/db --replSet myset
   rs3:
     image: mongo:2.7.8
     volumes:
       - /data/mongodbtest/replset/rs3:/data/db
     command: mongod --dbpath /data/db --replSet myset

初始化副本级

docker-compose exec rs1 mongo
rs.initiate()
rs.add('rs2:27017')
rs.add('rs3:27017')
rs.conf() //查看配置
rs.status() //查看副本级状态

验证
- 数据复制功能
```
docker-compose exec rs1 mongo
use test
db.test.insert({msg: 'from primary', ts: new Date()})
quit()
docker-compose exec rs2 mongo
rs.slaveOk() //副本集默认仅primary可读写
use test
db.test.find()
quit()
docker-compose exec rs3 mongo
rs.slaveOk() //副本集默认仅primary可读写
use test
db.test.find()
quit()
```
- 故障转移功能
  副本集在 primary 挂掉以后，可以在 secondary 中选取出新的 primary
```
docker-compose stop rs1
```
登录 rs2/rs3 中查看可以看到，选出了新的 primary ，这时候我们重新启动 rs1，它成为了 secondary
```
docker-compose start rs1
docker-compose exec rs1 mongo
```
-总结
通过客户端的设置, 可以进行主副节点读写分离:
a). primary:默认参数, 只从主节点上进行读取操作;
b). primaryPreferred:大部分从主节点上读取数据, 只有主节点不可用时从secondary节点读取数据;
c). secondary:只从secondary节点上进行读取操作, 存在的问题是secondary节点的数据会比primary节点数据"旧";
d). secondaryPreferred:优先从secondary节点进行读取操作, secondary节点不可用时从主节点读取数据;
e). nearest:不管是主节点,secondary节点, 从网络延迟最低的节点上读取数据.
副节点不是越多越好, 因为引主节点做写操作, 其他副节点从主节点复制数据, 副节点越多, 主节点压力越大.

1主 + 1副 + 1仲裁

null

准备工作

1.删除 /data/mongodbtest/replset/rs[1-3]/ 下的内容

2.docker-compose.yml

version: '3'
services:
  rs1:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/replset/rs1:/data/db
    command: mongod --dbpath /data/db --replSet myset --oplogSize 128
  secondary:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/replset/rs2:/data/db
    command: mongod --dbpath /data/db --replSet myset --oplogSize 128
  arbiter:
    image: mongo:latest
    command: mongod --dbpath /data/db --replSet myset --smallfiles --oplogSize 128

启动

docker-compose up -d

初始化副本级

mongo rs1:27017  
rs.initiate()
rs.add('rs2:27017')
rs.add('rs3:27017', true) // arbiter only
rs.conf() //查看配置
rs.status() //查看副本级状态

验证(同上)

-总结
每个副本集对主节点都是全量拷贝, 数量压力增大的时候, 节点压力随之变大. 无法自动扩张.

限制

在官方文档中提到了副本集的一些限制:

副本集最多有50个成员
可以投票的成员最多7个
如果启动 mongod 的时候没有通过 --oplogSize 制定 oplog 的大小，默认 oplog 最大为 50G

分片

null

MongoDB 提供了水平扩展的功能，其 Sharding 机制使其具备了支撑大数据量和大吞吐量的能力。
在一个 Sharding 集群中，有下面三种角色：

shard: 每个 shard 存储整个 sharding 集群数据的一个子集，每一个 shard 都是一个 replset
mongos: 查询路由，客户端通过其从 shard 中查询数据，也可以理解为 proxy
config servers: 配置服务器，存储整个 sharding 集群的元数据和配置。

MongoDB 3.4 起，要求 config servers 也是 replset。
MongoDB 提供两种分片策略：hash sharding 和 range sharding，需要根据自己的业务特征和数据特征进行选择。

测试版

null

环境
config servers(csrs) + 1 mongos + 1shard(1primary + 1secondary + 1arbiter)
准备工作
1.创建文件夹

mkdir -p /data/mongodbtest/cs/rs1 /data/mongodbtest/cs/rs2 /data/mongodbtest/cs/rs3 # for config server replset
mkdir -p /data/mongodbtest/sh/rs1 /data/mongodbtest/sh/rs2 /data/mongodbtest/sh/rs3 # for sharding 1
mkdir -p /data/mongodbtest/mongos

2.keyfile

MongoDB 规定 sharding 集群内部必须有授权机制，比如mongos去访问config server的时候，我们这里通过key

3.docker-compose.yml

version: '3'
services:
  csrs1:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/cs/rs1:/data/db
    command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
  csrs2:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/cs/rs2:/data/db
    command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
  csrs3:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/cs/rs3:/data/db
    command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
  mongos:
    image: mongo:latest
    command: mongos --noauth --configdb csrs/csrs1:27019,csrs2:27019,csrs3:27019
  shrs1:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/sh/rs1:/data/db
    command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
  shrs2:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/sh/rs2:/data/db
    command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
  shrs3:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/sh/rs3:/data/db
    command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs

启动 docker-compose up -d
配置副本集
1.配置 config server

docker-compose exec csrs1 mongo --port 27019
rs.initiate()

rs.add('csrs2:27019')
rs.add('csrs3:27019')
rs.status() //查看状态
quit()

config server 默认端口为 27019

2.配置 shard server

docker-compose exec shrs1 mongo --port 27018
rs.initiate()
var cfg = rs.conf()
cfg.members[0].host = 'shrs1:27018'
rs.reconfig(cfg)
rs.add('shrs2:27018')
rs.add('shrs3:27018')
quit()

shard server' 默认端口号为 27018

配置 mongos

docker-compose exec mongos mongo
sh.addShard('shrs/shrs1:27018')
sh.status() //查看状态

参考资料：http://bazingafeng.com/2017/06/19/create-mongodb-replset-cluster-using-docker/

扩展：依据上述资料进行的微调修改：

一主二从方式补充(有错误修正)：
1.创建db文件夹

 mkdir -p /data/mongodbtest/replset/rs1 /data/mongodbtest/replset/rs2 /data/mongodbtest/replset/rs3

2.docker-compose.yml

version: '3'
services:
  rs1:
    image: mongo:4.0.14
    restart: always
    environment:
    - TZ=Asia/Shanghai
    ports:
      - 27017:27017
    container_name: "rs1"
    volumes:
      - /data/mongodbtest/replset/rs1:/data/db
    command: mongod --port 27017 --dbpath /data/db --replSet myset
  rs2:
    image: mongo:4.0.14
    restart: always
    environment:
    - TZ=Asia/Shanghai
    ports:
      - 27018:27018
    container_name: "rs2"
    volumes:
      - /data/mongodbtest/replset/rs2:/data/db
    command: mongod --port 27018 --dbpath /data/db --replSet myset
  rs3:
    image: mongo:4.0.14
    restart: always
    environment:
    - TZ=Asia/Shanghai
    ports:
      - 27019:27019
    container_name: "rs3"
    volumes:
      - /data/mongodbtest/replset/rs3:/data/db
    command: mongod --port 27019 --dbpath /data/db --replSet myset

3.初始化副本集

docker-compose exec rs1 mongo
rs.initiate()
rs.add('rs2:27018')
rs.add('rs3:27019')
rs.conf() //查看配置
rs.status() //查看副本级状态

“The first 90% of the code accounts for the first 90% of the development time. The remaining 10% of the code accounts for the other 90% of the development time.” – Tom Cargill

标　　题：docker 搭建 mongo 集群
作　　者：Leif160519
出　　处：https://github.icu/docker,mongodb
关于博主：坐标南京，运维工程师，如有问题探讨可以直接下方留言。
声援博主：如果您觉得文章对您有帮助，可以评论、订阅、收藏。您的鼓励是博主的最大动力！

Leif160519的blog

——————

docker 搭建 mongo 集群

一、准备工作

注意

二、实验

（一）主从模式

(二) 副本集(Relica set)

三实例

1主 + 2次要

1主 + 1副 + 1仲裁

限制

分片

测试版

扩展：依据上述资料进行的微调修改：