CentOS7 Ceph RBD CephFS 存储
Ceph RBDCephFS 存储环境准备： (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台)
10.6.0.140 = ceph-manager
10.6.0.187 = ceph-mon-1
10.6.0.188 = ceph-osd-1
10.6.0.94 = node-94
注： ceph 对时间要求很严格， 一定要同步所有的服务器时间
一、在 manager 上面修改 /etc/hosts :
10.6.0.187 ceph-mon-1
10.6.0.188 ceph-osd-1
10.6.0.94 node-94
二、并修改各服务器上面的 hostname (说明：ceph-deploy工具都是通过主机名与其他节点通信)
hostnamectl --static set-hostname ceph-manager
hostnamectl --static set-hostname ceph-mon-1
hostnamectl --static set-hostname ceph-osd-1
hostnamectl --static set-hostname node-94
三、配置manager节点与其他节点ssh key 访问
# ssh-keygen
将key 发送到各节点中
#ssh-copy-id ceph-mon-1
#ssh-copy-id ceph-osd-1
四、在manager节点安装 ceph-deploy
#yum -y install centos-release-ceph
#yum makecache
#yum -y install ceph-deploy ntpdate
在其他各节点安装 ceph 的yum源
# yum -y install centos-release-ceph
# yum makecache
# yum -y install centos-release-ceph
# yum makecache
五、配置ceph集群
创建ceph 目录
#mkdir -p /etc/ceph
#cd /etc/ceph
创建监控节点：
#ceph-deploy new ceph-mon-1
执行完毕会生成 ceph.conf ceph.log ceph.mon.keyring 三个文件
编辑 ceph.conf 增加 osd 节点数量
在最后增加：
osd pool default size = 1
使用ceph-deploy在所有机器安装ceph
# ceph-deploy install ceph-manager ceph-mon-1 ceph-osd-1
如果出现错误，也可以到各节点中直接 yum -y install ceph ceph-radosgw 进行安装
初始化监控节点
# ceph-deploy mon create-initial
osd 节点创建存储空间
# mkdir -p /opt/osd1
在管理节点上启动 并 激活 osd 进程
# ceph-deploy osd prepare ceph-osd-1:/opt/osd1
# ceph-deploy osd activate ceph-osd-1:/opt/osd1
把管理节点的配置文件与keyring同步至其它节点
# ceph-deploy admin ceph-mon-1 ceph-osd-1
查看集群健康状态 (HEALTH_OK 表示OK)
# ceph health
HEALTH_OK
客户端 挂载: ceph 有多种挂载方式, rbd 块设备映射， cephfs 挂载 等
注:
在生产环境中，客户端应该对应pool的权限，而不是admin 权限
# ssh-copy-id node-94
客户端安装ceph
# ceph-deploy install node-94
或者 登陆 node-94 执行 yum -y install ceph ceph-radosgw
如果ssh 非22端口，会报错 可使用 scp 传
scp -P端口 ceph.conf node-94:/etc/ceph/
scp -P端口 ceph.client.admin.keyring node-94:/etc/ceph/
创建一个pool
# ceph osd pool create press 100
pool 'press' created
设置pool 的pgp_num
# ceph osd pool set press pgp_num 100
查看创建的pool
# ceph osd lspools
0 rbd,1 press,
设置副本数为2 (osd 必须要大于或者等于副本数，否则报错, 千万注意)
# ceph osd pool set press size 2
创建一个100G 名为 image 镜像
# rbd create -p press --size 100000 image
查看一下镜像:
# rbd -p press info image
rbd image 'image':
size 100000 MB in 25000 objects
order 22 (4096 kB objects)
block_name_prefix: rb.0.104b.74b0dc51
format: 1
客户端块存储挂载：
在node-94 上面 map 镜像
# rbd -p press map image
/dev/rbd0
格式化 image
# mkfs.xfs /dev/rbd0
创建挂载目录
# mkdir /opt/rbd
挂载 rbd
# mount /dev/rbd0 /opt/rbd
# time dd if=/dev/zero of=haha bs=1M count=1000
取消 map 镜像
# umount /opt/rbd
# rbd unmap /dev/rbd0
客户端 cephFS 文件系统 (cephFS 必须要有2个osd 才能运行，请注意)：
使用 cephFS 集群中必须有 mds 服务
创建 mds 服务 (由于机器有限就在 mon 的服务器上面 创建 mds 服务)
# ceph-deploy mds create ceph-mon-1
创建2个pool 做为文件系统的data 与 metadata
# ceph osd pool create cephfs_data 99
pool 'cephfs_data' created
# ceph osd pool create cephfs_metadata 99
pool 'cephfs_metadata' created
创建 文件系统：
# ceph fs new jicki cephfs_metadata cephfs_data
new fs with metadata pool 6 and data pool 5
查看所有文件系统：
# ceph fs ls
name: jicki, metadata pool: cephfs_metadata, data pools:
删除一个文件系统
# ceph fs rm jicki --yes-i-really-mean-it
客户端挂载 cephFS
安装 ceph-fuse：
# yum install ceph-fuse -y
创建挂载目录:
# mkdir -p /opt/jicki
# ceph-fuse /opt/jicki
# df -h|grep ceph
ceph-fuse 1.6T 25G 1.6T 2% /opt/jicki
页:
[1]