Centos kvm+ceph

marty001

• Centos kvm+ceph
  
• 一. centos6.5 安装kvm
  
• 1. disable selinux
  
• 2. 确认支持intel虚拟化
  
• 3. 安装需要的包
  
• 4.设置桥接网络
  
• 5.运行kvm instance（此步骤仅用于测试环境是否安装成功）
  
• 6.连接到kvm
  
• 二. centos安装ceph(firefly版本)
  
• 准备机器
  
• 管理机安装
  
• 安装其他节点
  
• 三. kvm使用ceph
  
• 创建osd pool(块设备的容器)
  
• 设置账号对该pool的读写权限
  
• 用qemu-img在pool中创建img
  
• 验证img创建成功
  
• 用kvm创建一个虚拟机
  

Centos kvm+ceph
　　centos 7无法用公用源安装ceph, 包依赖不满足
centos 6可以安装，但内核不支持rbd,需要更新内核
rpm --importhttp://elrepo.org/RPM-GPG-KEY-elrepo.org
　　rpm -Uvhhttp://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
　　yum --enablerepo=elrepo-kernel install kernel-lt-y ）
一. centos6.5 安装kvm
1. disable selinux
　　vi /etc/selinux/config
reboot
2. 确认支持intel虚拟化
　　egrep '(vmx|svm)' --color=always /proc/cpuinfo
空代表不支持
3. 安装需要的包
　　rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*
yum install virt-manager libvirt qemu-kvm openssh-askpass kvm python-virtinst
　　service libvirtd start
chkconfig libvirtd on
　　emulator 一般是qemu-kvm,也可能是其他。
/usr/libexec/qemu-kvm -M ? 查看支持的host系统类型 (我碰到的情况，启动虚拟机时提示host类型rhel6.5不支持，virsh edit ...将host中的rhel6.5改为pc通过)
/usr/libexec/qemu-kvm-drive format=? 查看支持的设备类型 (必须支持rbd,如果没有显示，需要安装支持的版本。源码安装git clone git://git.qemu.org/qemu.git;./configure --enable-rbd。 可能未必产生qemu-kvm，也许是qemu-system-x86_64之类的，那就需要在配置文件里将emulator换成编译好的可执行文件)
4.设置桥接网络
　　yum install bridge-utils
vi /etc/sysconfig/network-scripts/ifcfg-br0
　　DEVICE="br0"
NM_CONTROLLED="no"
ONBOOT=yes
TYPE=Bridge
BOOTPROTO=none
IPADDR=192.168.0.100
PREFIX=24
GATEWAY=192.168.0.1
DNS1=8.8.8.8
DNS2=8.8.4.4
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System br0"
　　vi /etc/sysconfig/network-scripts/ifcfg-eth0
　　DEVICE="eth0"
NM_CONTROLLED="no"
ONBOOT=yes
TYPE="Ethernet"
UUID="73cb0b12-1f42-49b0-ad69-731e888276ff"
HWADDR=00:1E:90:F3:F0:02
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
BRIDGE=br0
　　/etc/init.d/network restart
5.运行kvm instance（此步骤仅用于测试环境是否安装成功）
　　virt-install --connect qemu:///system -n vm10 -r 512 --vcpus=2 --disk path=/var/lib/libvirt/images/vm10.img,size=12 -c /dev/cdrom --vnc--noautoconsole --os-type linux --os-variant debiansqueeze --accelerate--network=bridge:br0 --hvm
6.连接到kvm
　　如果需要安装gui
yum -y groupinstall "Desktop" "Desktop Platform" "X Window System" "Fonts"
二. centos安装ceph(firefly版本)
准备机器
　　一台安装管理机:admin
一台monitor:node1
两台数据机osd: node2, node3
一台使用ceph rbd的客户端: ceph-client
　　所有机器上都创建ceph用户，给予sudo权限，所以后续命令以ceph用户执行。
所有机器关闭 selinux
所有机器关闭Defaults requiretty（sudo visudo）
所有机器检查iptables等防火墙设置，节点间通讯使用22,6789,6800等端口，防止被拒绝
管理机安装
　　添加repo
sudo vim /etc/yum.repos.d/ceph.repo
　　[ceph-noarch]
name=Ceph noarch packages
baseurl=http://ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc
　　我将baseurl替换为baseurl=http://ceph.com/rpm-firefly/el6/noarch
　　执行sudo yum update && sudo yum install ceph-deploy
　　使得admin用ssh key登陆其他机器
ssh-keygen
ssh-copy-id  ceph@node1
ssh-copy-id  ceph@node2
ssh-copy-id  ceph@node3
安装其他节点
　　admin机器上
mkdir my-cluster
cd my-cluster
　　初始化配置：
ceph-deploy new node1
此时会在当前目录下创建配置文件ceph.conf，编辑ceph.conf,
添加osd pool default size = 2， 这是因为我们只有2个osd
添加rbd default format = 2, 将默认的rbd image格式设置为2，支持image的clone功能
添加journal dio = false，
　　在所有节点上安装ceph
ceph-deploy install admin node1 node2 node3
　　初始化监控节点
ceph-deploy mon create-initial node1
　　初始化osd节点
ssh node2
sudo mkdir /var/local/osd0
exit
ssh node3
sudo mkdir /var/local/osd1
exit
　　ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1
ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1
（此处两个命令应该在数秒内结束，若长时间不响应直至300秒超时，考虑是否有防火墙因素。）
　　将配置拷贝到各个节点
ceph-deploy admin admin-node node1 node2 node3
　　sudo chmod +r /etc/ceph/ceph.client.admin.keyring
ceph health
ceph status
希望得到active_clean状态
三. kvm使用ceph
创建osd pool(块设备的容器)
　　ceph osd pool create libvirt-pool 128 128
设置账号对该pool的读写权限
　　假设我们使用的账号是libvirt(如果使用admin账号默认拥有所有权限，无需设置)
ceph auth get-or-create client.libvirt mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=libvirt-pool'
用qemu-img在pool中创建img
　　qemu-img create -f rbd rbd:libvirt-pool/new-libvirt-image 10G
这一步我遇到了Unknown file format 'rbd', 这是因为低版本的qemu-img不支持rbd.
但是我的qemu-img版本号已经够了，猜测是我的包在编译时没有加rbd的选项。无奈强制安装了版本号更低的 http://ceph.com/packages/qemu-kvm/centos/x86_64/qemu-img-0.12.1.2-2.355.el6.2.cuttlefish.x86_64.rpm 才支持)
验证img创建成功
　　rbd -p libvirt-pool ls
用kvm创建一个虚拟机
　　1. 用virsh命令或virt-manager创建一个虚拟机
   需要一个iso或img 在/var/lib/libvirt/images/下
   我将它命名为test。 cd rom中选择一个iso,比如debian.iso.不选硬盘。
　　2. virsh edit test
　　将该vm的配置修改为使用rbd存储
找到

　　在其后添加如下：

        
               
        
        

　　3. 创建访问ceph的账号
cat > secret.xml