分布式存储部署架构前情提要

某分布式存储系统部署架构

延展集群

延展集群即将分布式存储系统跨同城数据中心部署，两数据中心通过裸光纤或者专线连接（保证带宽和时延即可），再单独部署仲裁节点连接到两数据中心，每个数据中心有一个以上的副本；仲裁节点默认带监控角色、管理角色和块存储网关角色，无需OSD和cluster网络。

软件支持

■■■■■4.1以上所有版本均可通过购买license的方式支持延展集群；推荐使用最新版本。

方案特点

1.RPO=0，RTO≈0

2.低成本实现双活，管理与维护成本低。

3.应用支持双活，则业务双活，即应用侧双活需要应用支持，如Oracle RAC。

方案要求

1.数据中心间建议小于100公里。

2.站点间网络延时或者往返时间小于RTT≤5msec，即单向小于2.5ms，站点与仲裁间不超过200ms，大集群不超过100ms。

3.站点间至少10Gbps，建议20Gbps以上，站点与仲裁间推荐带宽大于2Gbps。

4.站点间MTU设置要保持一致，可设置为MTU=9000（交换机和存储节点网卡均需配置）。

方案优势

1.两个数据中心平分MON节点，第三站点部署MON仲裁。（MON最小为1+1+1，实际部署时管理服务节点一般也会分开如1+1+1）
2.数据中心级故障域，强制分配副本数量。（支持4/5/6副本，推荐四副本即2+2，不支持EC）

3.适用块、文件、对象，无缝切换，业务无感知。

4.仲裁节点支持虚拟机、物理机、公有云主机。

实现原理

当出现数据中心故障（如地域性灾害）时，仍将有超过50%的MON组件可用，ceph的paxos算法才能正常运行。从而保障分布式存储集群的持续可用。

仲裁节点

延展集群模式下需要一个独立的仲裁节点，仲裁节点可以是一个虚拟机，物理机，或者一个公有云主机，部署在独立的第三站点上，安装好后的仲裁节点，默认设置监控角色、管理角色和块存储网关角色。

※：为什么需要块存储网关角色：因为管理服务xmsd需要使用rbd命令，rbd又被打包在块存储网关角色中，所以在当前版本中块存储网关角色是必须要选择安装的。

仲裁节点建议最低要求：4C-32G-400GSSD*2

业务逻辑

前提：本存储系统的读写特性为所有副本均可读，但只有主副本可写；其他系统如果可以定义2个主副本等功能，那下面业务逻辑就会发生变化。

说明用例：两数据中心，采用2+2四副本部署，设置两个存储池，现有三个业务系统APP1/2/3，如下图：

实际的双活容灾设计仍需结合实际进行，网络延时尤为重要，推荐使用业务单机房部署，尽量保证更少的跨机房读写。