部署环境

本次部署使用环境：

三台云主机，8C/16G/60G/200G，网络只使用了系统带内网络。

3节点-各8C16G

6块100G数据盘-单节点各挂2块

生产环境配置：

生产环境一般根据实际情况配置，一般3节点起步，需要配置带内管理网络、存储业务网络、集群同步网络等，且块存储、文件存储、对象存储节点均需单独部署，即如果三种存储都要，那至少需要9台服务器，3-3-3部署。

部署过程

详细部署过程忽略

本次部署过程：

三节点均按要求安装OS、进行基础配置，包括网络配置、互相免密登录、hostname、NTP等

生产环境配置：

生产环境还需要根据实际情况配置网络Bond、硬盘RAID模式等。

Ceph系统配置

licence配置

忽略

网络配置

本次网络配置：

只使用系统带内网络承载各网络流程。

生产环境配置：

根据实际要求需要进行以下网络的配置：

①管理网络（Admin Network）：即带内管理网络，提供GUI，API等管理功能，一般对应云平台的管理网络。

②存储网关网络（Gateway Network）：表示访问iscsi等裸设备使用。

③存储集群对外网络（Storage Public Network）：表示提供RBD客户端访问的网络，提供ceph Mon IP的网络，在云平台一般使用此网络进行qemu rbd的连接。

④存储集群内部网络（Storage Cluster Network）：表示存储集群内部互通的网络，用做存储数据同步。

根据实际情况，以上多个网络可以使用同一个网络进行复用。

添加存储服务器

本次配置：

添加三台存储节点，同时复用做ceph管理节点、监控节点、块存储网关节点。

※：管理角色可管理节点的硬盘、监控角色提供集群存储数据的监控服务、块存储网关角色提供存储功能。

生产环境配置：

生产环境中，3台以内也需要这么配置，3台以上，可以根据实际情况，配置单独功能的节点。

添加缓存分区

本次配置：

本次不配置，因为没有SSD缓存盘。

生产环境配置：

生产环境中，如果使用HDD服务器，那么会配置SSD缓存做缓存加速，如果使用全闪SSD服务器，那么不用配置缓存盘。

一般缓存盘：数据盘=1:5左右，一块数据盘又被称为一块OSD。比如14个盘位，2个系统盘，2个缓存盘、10个OSD盘，缓存盘480G，一块缓存盘加速5块OSD，那么一块缓存盘需分5个区，一个区加速一块缓存盘，一个区为480/5=96G（一般为50-200G）。

拓扑管理

本次配置：

本次模拟三个节点在一个机房三个机柜中各一台：

生产环境要求：

根据实际情况进行绘制，不同的分布对应不同故障域，决定了ceph数据分布策略。详细介绍可Ceph介绍-故障域说明。

存储池及存储系统的创建

本次配置：

1.创建一个HDD块存储池，用于前端云平台的主存储的根云盘存储池、数据云盘存储池、镜像池等。

创建过程：由于没有对象存储和文件存储的授权，所以不能选择创建对象存储/文件存储类型的存储池

创建结果

2.创建OSD，即选择集群内存储节点上的硬盘作为OSD，一块硬盘作为一个OSD。

选择6块硬盘创建6个OSD

3.绘制拓扑，将OSD与存储节点、机架、机柜、机房对应起来，用于ceph确定数据分配策略。

绘制6个OSD对应节点和机柜的拓扑

4.块存储初始化完成，之后在云平台侧进行ceph存储的添加。

生产环境配置：

生产环境根据实际情况，可配置块存储、文件存储、对象存储。块存储如上，块存储可创建多个存储池pool，比如创建SSD存储池做为云平台根云盘存储池、镜像池，创建带缓存HDD存储池做为数据云盘存储池。

下文对于文件和对象存储做介绍。

文件存储

1.创建文件存储池：

选择角色为数据池、存储介质根据实际选择、业务类型选择文件存储、安全策略选择节点级的3副本

2.创建OSD、绘制拓扑与块存储一致，完成文件存储池初始化。

3.创建元数据集群。

元数据集群是用来存储分布式文件系统中的元数据信息（文件索引）；元数据集群的存储介质的类型，只支持SSD。

主页面-元数据集群

文件存储步骤第一步:创建元数据集群

选择SSD创建元数据集群

4.创建文件系统，配置用于文件存储的存储池。文件系统负责元数据信息存储、数据池资源分配、数据复制与流动。

文件存储步骤第二步:创建文件系统

之后选定上一步创建的文件存储池完成文件系统的创建。

5.初始化网关集群。

文件网关集群是分布式存储集群的一个服务端高可用组，主要对外提供文件存储接口，用户或客户端可通过不同网关分区的网关访问文件存储系统。

根据实际情况填写存储节点信息、文件存储协议、认证信息等

6.创建客户端用户

即为了控制文件系统 SMB/CIFS 共享、FTP 共享访问权限而创建的认证信息，本节忽略。

7.配置文件共享

根据实际配置文件共享方式如NFS/SMB/CIFS/FTP及共享目录路径。

8.客户端挂载。

Windos系统CIFS挂载：

选择驱动器，配置文件夹，文件夹的路径为CIFS共享路径；例如：\\172.18.120.71\CIFS；点击完成会输入创建CIFS时用户名及密码，然后点击确定进行挂载。

windows挂载CIFS共享文件系统

Linux 系统CIFS挂载：

# mount -t cifs -o username=XXX,password=XXXX,vers=2.1 //172.18.120.71/CIFS  /CIFS

Linux 系统NFS挂载：

# mount -t nfs 172.18.120.71:/NFS /NFS/

对象存储

2.创建OSD、绘制拓扑与块存储一致，完成文件存储池初始化。

3.初始化对象存储池

4.创建用户，为使用者创建的对象存储服务账户，包括名称、密钥和授权信息。

省略

5.创建对象存储策略

其中：

索引池：存放所有对象的索引信息的存储池，推荐使用SSD存储池(只能是副本池，不能是EC池)；

缓存池：存放1M以下数据，完成数据归并之后存入到数据池，建议使用SSD存储池，可复用索引池；

数据池：存放1M及1M以上数据的存储池(可以是副本池，也可以是EC池)，定义持久化存储对象数据的资源池，一个存储类别中可以添加多个资源池。

6.创建存储桶

存储桶是分配给用户使用的一个逻辑存储空间，用户数据以对象形式存储到桶中，一个存储桶必须且只能归属于一个用户，但是可以允许其他用户访问。

根据实际设置存储桶参数

7.添加对象存储网关、对象路由。

添加每个对象存储节点的网关和对象路由信息。

对象存储网关角色是分布式存储集群的一个客户端，提供对象存储服务接口，用户通过这个网关访问对象存储集群。

对象路由是指分布式存储集群中对象存储网关的高可用服务，同时为对象存储提供负载均衡的功能

添加对象存储网关

添加对象路由

之后客户端便可以访问对象存储服务，如通过S3 browser访问S3协议对象存储：