kubernetes多节点的pod挂载同一个cephfs目录
一、安装cephfs方法一：
直接进入deploy目录，执行：
ceph-deploy --overwrite-conf mds create ceph01:mds-daemon-1
上面的ceph01是机器的hostname
方法二：
1、在需要安装的目标机器上创建mds目录
mkdir -p /var/lib/ceph/mds/ceph-0
2、生成mds的keyring，并将其写入/var/lib/ceph/mds/ceph-0/keyring文件中
ceph auth get-or-create mds.0 mon 'allow rwx' osd 'allow *' mds 'allow' -o /var/lib/ceph/mds/ceph-0/keyring
上面红色部分不能写成allow *，要不然会报错。
3、
apt-get install ceph-mds ceph-mds--cluster ceph -i 0 -m 10.111.131.125:6789
二，创建cephfs文件系统
ceph osd pool create cephfs_data 512 ceph osd pool create cephfs_metadata 512
ceph fs new cephfs cephfs_metadata cephfs_data
三，创建cephfs子目录（不是必选的）
为了别的地方能挂载cephfs，先创建一个secretfile
cat /etc/ceph/ceph.client.admin.keyring |grep key|awk -F" " '{print $3}' > /etc/ceph/admin.secret
挂载cephfs的根目录到集群的mon节点下的一个目录，比如mir2_data，因为挂载后，我们就可以直接在mir2_data下面用Linux命令创建子目录了。
（注意：要挂载的机器上要安装ceph客户端：ubuntu上：apt-get install ceph-fs-common或ceph-fuse(apt-get install ceph-fuse)）
mkdir mir2_data
mount
-t ceph 10.111.131.125:6789:/ /root/mir2_data -o name=admin,secretfile=/etc/ceph/admin.secret
如果要挂载的目录在ceph的mon节点下，直接：
mkdir mir2_data
mount
-t ceph 10.111.131.125:6789:/ /root/mir2_data
ceph-fuse挂载方法如下：
通过ceph-fuse挂载，还可以限制对挂载路径的访问权限，我们来创建用户cfuse，让其仅仅拥有对/hzb路径具有只读访问权限：
ceph auth get-or-create client.cfuse mon 'allow *' mds 'allow r path=/cfuse' osd 'allow *'
然后客户端挂载：
ceph-fuse -n client.cfuse -m 10.111.131.125:6789 /mnt -r /cfuse
方法一：直接用Linux命令创建
cd /root/mir2_data
mkdir mongoDB
chmod 0777 mongoDB
以上相当于在cephfs的根目录里面创建了一个子目录mongoDB，k8s以后就可以挂载这个目录，后续会介绍。
方法二：用java程序去创建子目录
1）必须在java程序所在客户端安装libcephfs
ubuntu下用：
apt-get install libcephfs1
安装完后，可以在/usr/lib/jni里面看到libcephfs_jni.so，libcephfs_jni.so.1两个文件，但是这样java程序还是可能找不到这两个库（我实测过程中找不到），所以，我要把这2个库建立软链接到/usr/lib里面，这样java程序就可以找到了。
ln -s /usr/lib/jni/libcephfs_jni.so /usr/lib/libcephfs_jni.so
ln
-s /usr/lib/jni/libcephfs_jni.so.1 /usr/lib/libcephfs_jni.so.1
centos7 64位下面：
wget http://mirrors.sohu.com/centos/7/storage/x86_64/ceph-hammer/libcephfs1-0.94.9-0.el7.x86_64.rpm
wget http://mirrors.sohu.com/centos/7/storage/x86_64/ceph-hammer/libcephfs_jni1-0.94.9-0.el7.x86_64.rpm &&\
yum install -y libcephfs1-0.94.9-0.el7.x86_64.rpm libcephfs_jni1-0.94.9-0.el7.x86_64.rpm
ln -s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib/libcephfs_jni.so.1
ln
-s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib/libcephfs_jni.so
2）新建maven工程，然后在pom.xml里面加入如下依赖，目录只找到以下版本
<dependency> <groupId>com.ceph</groupId>
<artifactId>libcephfs</artifactId>
<version>0.80.5</version>
</dependency>
3）编写程序
package cn.com.chinacloud.paas.mir2.storage.service.impl;
import com.ceph.fs.CephMount;
import java.io.FileNotFoundException;
import
static com.ceph.fs.CephMount.O_RDWR;
/** * Created by root on 17-7-17.
*/
public> public static void main(String[] args){
testCreateMount();
}
public static void testCreateMount(){
//admin是ceph的admin用户
CephMount mount = new CephMount("admin");
//10.111.131.125是ceph集群的mon节点，有多少个写多少个
mount.conf_set("mon_host", "10.111.131.125");
//以下的key来自于ceph环境的/etc/ceph/ceph.client.admin.keyring里面的key
mount.conf_set("key","AQBngfhYpHvLKhAAtmVZTyR3NJxx1WOVeLo5pQ==");
//在创建目录之前必须先mount到根目录
mount.mount("/");
//在根目录下面创建子目录 mysqlDB,0777是对目录的权限控制，这个可以改成别的，不过最好要让目录具有读写权限
mount.mkdir("/mongoDB",0777);
//创建完后断掉mount
mount.unmount();
}
}
四，用k8s的pod挂载cephfs
1)创建k8s连接ceph使用的secret
将/etc/ceph/ceph.client.admin.keyring里面的key的值转换为base64，实测，不转的话，pod启动的时候看到secret会是乱码
root@ceph01:~/mir2_data/mysqlDB# echo "AQBngfhYpHvLKhAAtmVZTyR3NJxx1WOVeLo5pQ=="|base64
QVFCbmdmaFlwSHZMS2hBQXRtVlpUeVIzTkp4eDFXT1ZlTG81cFE9PQo
=
创建ceph-secret.yaml
apiVersion: v1
kind: Secret
metadata:
name: ceph
-secret
data:
key: QVFCbmdmaFlwSHZMS2hBQXRtVlpUeVIzTkp4eDFXT1ZlTG81cFE9PQo
=
在k8s执行：kubectl create -f ceph-secret.yaml。
2)创建twotest-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: twotest
-pv
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany cephfs:
monitors:
- 10.111.131.125:6789 path:
/mongoDB user: admin
readOnly:
false secretRef:
name: ceph
-secret persistentVolumeReclaimPolicy: Recycle
在k8s执行：kubectl create -f twotest-pv.yaml。然后用kubectl get pv如看到status为Available则pv创建成功，可以继续下一步。
3)创建twotest-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: twotest
-pvc
spec:
accessModes:
- ReadWriteMany volumeName: twotest
-pv resources:
requests:
storage: 1Gi
在k8s执行：kubectl create -f twotest-pvc.yaml。然后用kubectl get pvc如看到status由Pending转到Bound的时候则pvc创建成功
4)创建第一个pod，hzb-mongo1-ceph.yaml
将该pod的/data/configdb目录挂载到cephfs的/mongoDB
apiVersion: v1
kind: Pod
metadata:
name: hzb
-mongo1-ceph
spec:
containers:
- name: hzb-mongo1-c image:
172.16.71.199/common/mongo:3.0.9 imagePullPolicy: IfNotPresent
env:
- name: PATH value:
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin- name: GOSU_VERSION value:
"1.7" - name: MONGO_MAJOR
value: "3.0"
- name: MONGO_VERSION
value: 3.0.9
volumeMounts:
- name: twotest-vl
mountPath: /data/configdb
readOnly: false
volumes:
- name: twotest-vl
persistentVolumeClaim:
claimName: twotest-pvc
在k8s执行：kubectl create -f hzb-mongo1-ceph.yaml
5)创建第二个pod，hzb-mongo2-ceph.yaml
将该pod的/data/db目录挂载到cephfs的/mongoDB
apiVersion: v1
kind: Pod
metadata:
name: hzb
-mongo2-ceph
spec:
containers:
- name: hzb-mongo2-c image:
172.16.71.199/common/mongo:3.0.9 imagePullPolicy: IfNotPresent
env:
- name: PATH value:
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin- name: GOSU_VERSION value:
"1.7" - name: MONGO_MAJOR
value: "3.0"
- name: MONGO_VERSION
value: 3.0.9
volumeMounts:
- name: twotest-vl2
mountPath: /data/db
readOnly: false
volumes:
- name: twotest-vl2
persistentVolumeClaim:
claimName: twotest-pvc
在k8s执行：kubectl create -f hzb-mongo2-ceph.yaml
6）验证是否挂载成功
执行kubectl get pod
# kubectl get pod
NAME READY STATUS RESTARTS AGE
hzb
-mongo1-ceph 1/1 Running 0 1m
hzb
-mongo2-ceph 1/1 Running 0 1m
发现两个都起来了
执行 kubectl exec -it hzb-mongo1-ceph bash，进入容器内部
cd /data/configdb/
touch
001.txt
执行 kubectl exec -it hzb-mongo2-ceph bash，进入容器内部
cd /data/db/
touch 002.txt
然后我们到cephfs里面去看
root@ceph01:~# cd /root/mir2_data/mongonDB/
root@ceph01:
~/mir2_data/mongonDB# ll
总用量
81921
drwxr
-xr-x 1999 root 8 7月20 17:32 ./
drwxr
-xr-x 1999999 12 7月21 09:03 ../
-rw-r--r-- 1 root root 0 7月20 17:32 001.txt
-rw-r--r-- 1 root root 0 7月20 17:32 002.txt
drwxr-xr-x 1999999 0 7月21 08:52 journal/
-rw------- 1999999 67108864 7月20 17:30 local.0
-rw------- 1999999 16777216 7月20 17:30 local.ns
-rw-r--r-- 1999999 0 7月21 08:52 mongod.lock
-rw-r--r-- 1999999 69 7月20 17:30 storage.bson
drwxr-xr-x 1999999 0 7月20 17:30 _tmp/
root@ceph01:~/mir2_data/mongonDB#
发现数据已经挂载到mongoDB这个目录里面了。
注意：pv和pvc设置的容量大小并不能限制cephfs某一个目录的大小，也就是说容器可以向cephfs目录写入超出1G的文件。
除了用pv和pvc挂载，pod也可以直接挂载cephfs,例如：
apiVersion: v1
kind: Pod
metadata:
name: cephfs2
spec:
containers:
- name: cephfs-rw image:
172.16.71.199/common/mongo:3.0.9 volumeMounts:
- mountPath: "/data/configdb" name: cephfs
volumes:
- name: cephfs cephfs:
monitors:
- 10.16.154.78:6789 - 10.16.154.82:6789
- 10.16.154.83:6789
user: admin
secretRef:
name: ceph-secret
readOnly: true
页:
[1]