设为首页 收藏本站

运维网

查看: 614|回复: 0

[经验分享] cinder连接ceph超时的故障分析与解决

[复制链接]
累计签到:1060 天
连续签到:1 天
发表于 2018-4-16 13:58:28 | 显示全部楼层 |阅读模式
目录
背景情况:... 1
排查过程:... 2
大牛求助:... 3
同事的解读:... 4
时间的查看... 5
数据库的排查... 6
大牛的回答:... 8
1天后解决:... 11


背景情况:
OpenStack版本是O版,已经使用了一段时间,期间使用脚本清理云硬盘,清楚完成后发现创建不了云硬盘,查看错误日志,没有发现问题,查看volume服务状态是down的。尝试重新启动,过60秒左右服务又是down的,如下图所示。
1.jpg

cinder volume的debug log如下图所示。
2.png

排查过程:
1、查看cinder的配置
对比确认cinder的配置,没有发现问题
2、查看ceph的用户和uuid
确认ceph的用户和uuid,没有发现问题
3、ceph的状态不正常
通过设置ceph的状态是ok的了,但故障依旧。
4、权限查看

3.jpg
4.jpg

有些不同,根据现象描述应该也没有影响。
大牛求助:
1、查看rados是否正常
rados lspools#查看ceph集群中有多少个pool (只是查看pool)
rados df #查看ceph集群中有多少个pool,并且每个pool容量及利用情况
rados mkpool test#创建一个pool
rados create test-object -p test#创建一个对象object
rados rm test-object-1 -p test#删除一个对象object
rados -p test ls
5.png
6.png


同事的解读: 7.png
时间的查看 8.png
数据库的排查
9.png

10.png
11.png

https://bugs.launchpad.net/cinder/+bug/1649956
不知道有没有关系。

大牛的回答:
12.png
13.png

最后报了个bug
https://bugs.launchpad.net/cinder/+bug/1759541
14.png

1天后解决:
经过对比发现是后台脚本删除了磁盘与实际的ceph数据不匹配,导致一值在查询数据库。把不匹配记录删除,恢复正常。

作者介绍:
    张伟,从事过多年的软件开发工作,精通Linux系统管理,曾经做过RHCE培训讲师、熟悉公有云、私有云(OpenStack)的体系架构、熟悉OpenStack安装部署、系统运维、系统开发,拥有多年的私有云安装部署运维经验,主编了《深度实践OpenStack》系列教材(18年3月出版)。目前是OpenStack私有云的资深培训讲师、COA认证讲师、架构师、解决方案总监,曾经为腾讯、中国移动通信有限公司、中国移动(南方基地)、中国移动苏州科技有限公司、中国电信(政企事业部)、四川电信、国家电网(银川)、锐捷、北京市计算中心、中铁信息工程集团、惠普、临沂大学等开展过相关培训。目前在从事云计算人才的就业培训工作,欢迎有需求的企业及个人沟通洽谈,个人QQ:123640869,微信同号。



运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2018

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表