Mongodb搭建一个环境玩着

想搞个数据库嘛，存一些东西

存一些日志之类的，mongodb貌似挺适合的，做物联网设备上传的数据存储。

图片描述

官方文档

以前的是主从，但是主从的话挂了一个主，就没法工作了。

现在的架构，我们可以去看看腾讯云的购买时就可以发现：

图片描述

副本集群

图片描述

分片集群

图片描述

副本集群就是技术主节点挂了，也可以选举出新的主节点来。

而分片集群则是支持无线容量的扩展，把数据分片存储。

docker 搭建Mongodb环境

不管是哪一种架构，我们先用docker来搭建mongodb环境，当然也可以本地安装，这样子你需要多台机器。或者不同的端口号。

这里面我们采用docker来创建，生产环境也一样，只是跑在不同的机器上。

通过docker来创建的话，这里我使用docker-compose比较方便，docker-compose.yaml脚本如下：

创建一个文件夹：mongodbMaster，里面创建docker-compose.yaml

version: "3"
services:
    mongodbMaster:
        image: mongo:5 # 镜像和版本
        container_name: mongodb-master # 容器名称
        restart: always # 挂了会自己重启，开机会自动启动
        ports:
          - 27027:27017 # master的端口号，外部和内部一样
        volumes:
          - ./data:/data/db # 把内部的数据存储路径映射到宿主机上的当前目录的data文件夹下
        command: --wiredTigerCacheSizeGB 4 --auth # 限制内存大小, 需要认证
        environment:
          - MONGO_INITDB_ROOT_USERNAME=admin # 管理员账号
          - MONGO_INITDB_ROOT_PASSWORD=123456 # 管理员密码

创建一个文件夹：mongodbNode1，里面创建docker-compose.yaml

version: "3"
services:
    mongodbNode1:
        image: mongo:5 # 镜像和版本
        container_name: mongodb-node1 # 容器名称
        restart: always # 挂了会自己重启，开机会自动启动
        ports:
          - 27028:27017 # master的端口号，外部和内部一样
        volumes:
          - ./data:/data/db # 把内部的数据存储路径映射到宿主机上的当前目录的data文件夹下
        command: --wiredTigerCacheSizeGB 4 --auth # 限制内存大小, 需要认证
        environment:
          - MONGO_INITDB_ROOT_USERNAME=admin # 管理员账号
          - MONGO_INITDB_ROOT_PASSWORD=123456 # 管理员密码

创建一个文件夹：mongodbNode2，里面创建docker-compose.yaml

version: "3"
services:
    mongodbNode2:
        image: mongo:5 # 镜像和版本
        container_name: mongodb-node2 # 容器名称
        restart: always # 挂了会自己重启，开机会自动启动
        ports:
          - 27029:27017
        volumes:
          - ./data:/data/db # 把内部的数据存储路径映射到宿主机上的当前目录的data文件夹下
        command: --wiredTigerCacheSizeGB 4 --auth # 限制内存大小, 需要认证
        environment:
          - MONGO_INITDB_ROOT_USERNAME=admin # 管理员账号
          - MONGO_INITDB_ROOT_PASSWORD=123456 # 管理员密码

快速了改了一下，然后就有了3个mongodb了.

启动一下，在对应的docker-compose.yaml文件目录下：docker-compose up -d -d是守护式运行，不加-d可以直接看到日志，查看是否有错，如果要看日志可以：docker logs 容器名称

图片描述

注意端口号，另外就是网络模式，默认是桥接：bridge

图片描述

副本集群

接下来我们搭建一下副本集群架构

有了前面的通过容器的方式来快速搭建好mongodb数据库，接下来我们配置一下副本集群的方式。

前面只是独立的mongodb，还不能进行副本配置，先生成一个沟通的密码：

openssl rand -base64 10 > ./mongodb.key

10是密码长度，随机的，输出到当前目录下，名字为mongodb.key

我们需要修改docker-compose.yaml文件如下：

version: "3"
services:
    mongodbMaster:
        image: mongo:5 # 镜像和版本
        container_name: mongodb-master # 容器名称
        restart: always # 挂了会自己重启，开机会自动启动
        ports:
          - 27027:27017 # master的端口号
        volumes:
          - ./data:/data/db # 把内部的数据存储路径映射到宿主机上的当前目录的data文件夹下
          - ./mongodb.key:/data/mongodb.key
        command: --wiredTigerCacheSizeGB 4 --auth --replSet iot-mongo-set --keyFile /data/mongodb.key  # 限制内存大小, 需要认证
        environment:
          - MONGO_INITDB_ROOT_USERNAME=admin # 管理员账号
          - MONGO_INITDB_ROOT_PASSWORD=123456 # 管理员密码

以上，我们生成了mongodb.key，但是我们不能给太多的权限，否则会报权限太开放的错误。

我们修改一下文件权限为400

chmod 400 mongodb.key

再修改用户组：

chmod 999:999 mongodb.key

修改以后的权限和用户组如下：

图片描述

再启动，就有了。其他两个节点都这样修改，去掉密码的配置，要同一个Key进行通讯。

version: "3"
services:
    mongodbNode1:
        image: mongo:5 # 镜像和版本
        container_name: mongodb-node1 # 容器名称
        restart: always # 挂了会自己重启，开机会自动启动
        ports:
          - 27028:27017 # node1的端口号
        volumes:
          - ./data:/data/db # 把内部的数据存储路径映射到宿主机上的当前目录的data文件夹下
          - ./mongodb.key:/data/mongodb.key # 把通讯密码映射到容器内部
        command: --wiredTigerCacheSizeGB 4 --replSet iot-mongo-set --keyFile /data/mongodb.key # 限制内存大小

version: "3"
services:
    mongodbNode2:
        image: mongo:5 # 镜像和版本
        container_name: mongodb-node2 # 容器名称
        restart: always # 挂了会自己重启，开机会自动启动
        ports:
          - 27029:27017 # node2的端口号
        volumes:
          - ./data:/data/db # 把内部的数据存储路径映射到宿主机上的当前目录的data文件夹下
          - ./mongodb.key:/data/mongodb.key # 把通讯密码映射到容器内部
        command: --wiredTigerCacheSizeGB 4 --replSet iot-mongo-set --keyFile /data/mongodb.key # 限制内存大小

配置副本用文字表述就是在master节点上添加其他的副本。就这么简单。

首先我们在master节点上：

rs.initiate()
{ info2: 'no configuration specified. Using a default configuration for the set',
  me: 'ea95c5cb4512:27017',
  ok: 1 
}

目前是初始化，没有副本的。

查看一下状态：

re.status()

{ set: 'iot-mongo-set',
  date: 2023-04-07T06:49:47.646Z,
  myState: 1,
  term: 1,
  syncSourceHost: '',
  syncSourceId: -1,
  heartbeatIntervalMillis: 2000,
  majorityVoteCount: 1,
  writeMajorityCount: 1,
  votingMembersCount: 1,
  writableVotingMembersCount: 1,
  optimes: 
   { lastCommittedOpTime: { ts: Timestamp(1, 1680850179), t: 1 },
     lastCommittedWallTime: 2023-04-07T06:49:39.752Z,
     readConcernMajorityOpTime: { ts: Timestamp(1, 1680850179), t: 1 },
     appliedOpTime: { ts: Timestamp(1, 1680850179), t: 1 },
     durableOpTime: { ts: Timestamp(1, 1680850179), t: 1 },
     lastAppliedWallTime: 2023-04-07T06:49:39.752Z,
     lastDurableWallTime: 2023-04-07T06:49:39.752Z },
  lastStableRecoveryTimestamp: Timestamp(1, 1680850129),
  electionCandidateMetrics: 
   { lastElectionReason: 'electionTimeout',
     lastElectionDate: 2023-04-07T06:41:49.578Z,
     electionTerm: 1,
     lastCommittedOpTimeAtElection: { ts: Timestamp(1, 1680849709), t: -1 },
     lastSeenOpTimeAtElection: { ts: Timestamp(1, 1680849709), t: -1 },
     numVotesNeeded: 1,
     priorityAtElection: 1,
     electionTimeoutMillis: 10000,
     newTermStartDate: 2023-04-07T06:41:49.673Z,
     wMajorityWriteAvailabilityDate: 2023-04-07T06:41:49.730Z },
  members: 
   [ { _id: 0,
       name: 'ea95c5cb4512:27017',
       health: 1,
       state: 1,
       stateStr: 'PRIMARY',
       uptime: 611,
       optime: { ts: Timestamp(1, 1680850179), t: 1 },
       optimeDate: 2023-04-07T06:49:39.000Z,
       lastAppliedWallTime: 2023-04-07T06:49:39.752Z,
       lastDurableWallTime: 2023-04-07T06:49:39.752Z,
       syncSourceHost: '',
       syncSourceId: -1,
       infoMessage: '',
       electionTime: Timestamp(2, 1680849709),
       electionDate: 2023-04-07T06:41:49.000Z,
       configVersion: 1,
       configTerm: 1,
       self: true,
       lastHeartbeatMessage: '' } ],
  ok: 1,
  '$clusterTime': 
   { clusterTime: Timestamp(1, 1680850179),
     signature: 
      { hash: BinData(0, "1cR652DQwAV6mPau1mNAZFy4aeU="),
        keyId: NumberLong("7219194529646116869") } },
  operationTime: Timestamp(1, 1680850179) }

添加副本：

rs.add("172.17.0.1:27028")
{ ok: 1,
  '$clusterTime': 
   { clusterTime: Timestamp(1, 1680850999),
     signature: 
      { hash: BinData(0, "BMvv1dqUXz7EDHQYqUfdYIJotLY="),
        keyId: NumberLong("7219194529646116869") } },
  operationTime: Timestamp(1, 1680850999) }

再次查看状态：

rs.add("172.17.0.1:27028")
{ ok: 1,
  '$clusterTime': 
   { clusterTime: Timestamp(1, 1680850999),
     signature: 
      { hash: BinData(0, "BMvv1dqUXz7EDHQYqUfdYIJotLY="),
        keyId: NumberLong("7219194529646116869") } },
  operationTime: Timestamp(1, 1680850999) }
rs.status()
{ set: 'iot-mongo-set',
  date: 2023-04-07T07:03:36.247Z,
  myState: 1,
  term: 1,
  syncSourceHost: '',
  syncSourceId: -1,
  heartbeatIntervalMillis: 2000,
  majorityVoteCount: 1,
  writeMajorityCount: 1,
  votingMembersCount: 1,
  writableVotingMembersCount: 1,
  optimes: 
   { lastCommittedOpTime: { ts: Timestamp(1, 1680851009), t: 1 },
     lastCommittedWallTime: 2023-04-07T07:03:29.806Z,
     readConcernMajorityOpTime: { ts: Timestamp(1, 1680851009), t: 1 },
     appliedOpTime: { ts: Timestamp(1, 1680851009), t: 1 },
     durableOpTime: { ts: Timestamp(1, 1680851009), t: 1 },
     lastAppliedWallTime: 2023-04-07T07:03:29.806Z,
     lastDurableWallTime: 2023-04-07T07:03:29.806Z },
  lastStableRecoveryTimestamp: Timestamp(1, 1680850969),
  electionCandidateMetrics: 
   { lastElectionReason: 'electionTimeout',
     lastElectionDate: 2023-04-07T06:41:49.578Z,
     electionTerm: 1,
     lastCommittedOpTimeAtElection: { ts: Timestamp(1, 1680849709), t: -1 },
     lastSeenOpTimeAtElection: { ts: Timestamp(1, 1680849709), t: -1 },
     numVotesNeeded: 1,
     priorityAtElection: 1,
     electionTimeoutMillis: 10000,
     newTermStartDate: 2023-04-07T06:41:49.673Z,
     wMajorityWriteAvailabilityDate: 2023-04-07T06:41:49.730Z },
  members: 
   [ { _id: 0,
       name: 'ea95c5cb4512:27017',
       health: 1,
       state: 1,
       stateStr: 'PRIMARY',
       uptime: 1440,
       optime: { ts: Timestamp(1, 1680851009), t: 1 },
       optimeDate: 2023-04-07T07:03:29.000Z,
       lastAppliedWallTime: 2023-04-07T07:03:29.806Z,
       lastDurableWallTime: 2023-04-07T07:03:29.806Z,
       syncSourceHost: '',
       syncSourceId: -1,
       infoMessage: '',
       electionTime: Timestamp(2, 1680849709),
       electionDate: 2023-04-07T06:41:49.000Z,
       configVersion: 2,
       configTerm: 1,
       self: true,
       lastHeartbeatMessage: '' },
     { _id: 1,
       name: '172.17.0.1:27028',
       health: 1,
       state: 0,
       stateStr: 'STARTUP',
       uptime: 16,
       optime: { ts: Timestamp(0, 0), t: -1 },
       optimeDurable: { ts: Timestamp(0, 0), t: -1 },
       optimeDate: 1970-01-01T00:00:00.000Z,
       optimeDurableDate: 1970-01-01T00:00:00.000Z,
       lastAppliedWallTime: 1970-01-01T00:00:00.000Z,
       lastDurableWallTime: 1970-01-01T00:00:00.000Z,
       lastHeartbeat: 2023-04-07T07:03:35.580Z,
       lastHeartbeatRecv: 1970-01-01T00:00:00.000Z,
       pingMs: 0,
       lastHeartbeatMessage: '',
       syncSourceHost: '',
       syncSourceId: -1,
       infoMessage: '',
       configVersion: -2,
       configTerm: -1 } ],
  ok: 1,
  '$clusterTime': 
   { clusterTime: Timestamp(1, 1680851009),
     signature: 
      { hash: BinData(0, "J1TFrFf+ErD/LVhICCTXagfdUfI="),
        keyId: NumberLong("7219194529646116869") } },
  operationTime: Timestamp(1, 1680851009) }

就会发现多了一个成员了。

但是这里会有个问题：

主设备的name是name: ea95c5cb4512:27017，副本会通过这个地址来同步主本的数据，访问的时候会报错

得需要修改此

cfg = rs.conf()
{ _id: 'iot-mongo-set',
  version: 4,
  term: 1,
  members: 
   [ { _id: 0,
       host: 'ea95c5cb4512:27027',
       arbiterOnly: false,
       buildIndexes: true,
       hidden: false,
       priority: 1,
       tags: {},
       secondaryDelaySecs: 0,
       votes: 1 },
     { _id: 1,
       host: '192.168.220.128:27028',
       arbiterOnly: false,
       buildIndexes: true,
       hidden: false,
       priority: 1,
       tags: {},
       secondaryDelaySecs: 0,
       votes: 1 } ],
  protocolVersion: 1,
  writeConcernMajorityJournalDefault: true,
  settings: 
   { chainingAllowed: true,
     heartbeatIntervalMillis: 2000,
     heartbeatTimeoutSecs: 10,
     electionTimeoutMillis: 10000,
     catchUpTimeoutMillis: -1,
     catchUpTakeoverDelayMillis: 30000,
     getLastErrorModes: {},
     getLastErrorDefaults: { w: 1, wtimeout: 0 },
     replicaSetId: ObjectId("642fcba05e17e46d5feeac74") } }

修改一下host

cfg.members[0].host="192.168.220.128:27027"

重置一下配置

rs.reconfig(cfg)

这样子就可以相互链接上了。

接着用mongodb compass连接上，创建一些内容：

图片描述

另外，登录一下27028的mongodb

图片描述

原因：not master and slaveOk=false

我的是5.0的版本：

rs.secondaryOk()

如果是低版本的

rs.slaveOk()

图片描述

这样子就可以了，分片集群的下次再写吧，先到这里。

项目连接的就不说了，很简单的。

相关问题

权限太大的问题

permissions on /data/mongodb.key are too open"

修改一下权限为600

chmod 600 mongodb.key

文件坏的

error opening file: /data/mongodb.key: bad file"