MONGODB大数据运维管理

ftsr

　　数据库管理
　　备份MONGODB服务器
　　执行mongodump    //默认使用本地连接127及端口连接本地数据库
　　数据库恢复到备份之前的状态:
　　mongorestore --drop
　　##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复
　　备份单个数据库
　　mongodump -d  database_name  -c  post ##备份指定库下集合
　　--help
　　恢复单个数据库
　　mongorestore -d blog --drop
　　恢复单个集合
　　mongorestore -d blog -c posts --drop
　　备份大数据库
　　数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短
　　在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直
　　1使用日志文件系统创建快照
　　2使用隐藏的辅助服务器备份数据
　　MONGODB上执行fysnc和lock，可以保证磁盘上数据库的镜像处于一致状态，并保证在完成快照之前他们仍然保持一致状态
　　use admin
　　db.fsyncLock()    //进入fsync和lock状态
　　查看当前锁的状态
　　use admin
　　db.currentOp()
　　释放锁
　　db.fsyncUnlock()     //锁释放之前可能有短暂的延迟
　　数据导入mongoDB使用mongoimport
　　mongoimport 工具可加载3种文件格式的数据
　　1、CSV：此种文件格式，每行代表一个文档，字段之间由逗号分隔
　　2、TSV：该文件类似CSV，它使用TAB作为分隔符
　　3、JSON：该文件格式每行都办好一块JSON，代表一个文档，与其他格式不同，JSON可以支持可变模式的文档
　　mongoimport --help
　　MONGODB支持简单的基于角色的身份验证系统，通过系统可以控制用户对数据库的访问以及他们被授予的访问级别
　　添加admin
　　use admin
　　db.createUser({
　　user:"admin",
　　pwd:"root123",
　　roles:[{
　　role:"readWrite",
　　db:"admin"},
　　{role:"userAdminAnyDatabase",db:"admin"}
　　]
　　})
　　db.auth("admin","root123")
　　db.getllsers() //用户权限相关信息
　　db.serverStatus()
　　验证和修复数据
　　修复服务器
　　使用repair命令是一个代价高昂的操作，会消耗很长世间，并且要求使用两倍于MONGODB数据文件大小，因为所有的数据都被克隆岛新的文件并重建，本质上是对所有数据文件的重建
　　mongod --dbpath /data/db  --repair
　　在大型数据修复过程中，可以指定一个大的空间的驱动器，用于保存修复过程中创建的临时文件
　　mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/
　　通过validata选项可以验证数据库中集合的内容是否存在问题
　　use dblog
　　db.posts.ensureIndex({Author:1})
　　db.posts.validate()
　　修复集合的索引
　　db.posts.reIndex()   //在线修复会柱塞对系统的访问
　　修复集合的数据文件
　　use blog
　　db.repairDatabase()  //不适合在线运行，因为它会重建数据文件时会组赛对数据的所有请求，修复过程中所有读写请求都被阻塞
　　MONGODB的优化
　　启用和禁用MONGODB分析器
　　use blog
　　db.setProfilingLevel(1)  //0关闭
　　db.setProfilingLevel(1，500)   //启动毫秒级别
　　db.setProfilingLevel(2)   //所有查询启动分析器
　　查找慢查询
　　db.system.profile.find()
　　增加分析器集合的大小
　　1、关闭分析器
　　use blog
　　db.setProfilingLevel(0)
　　2、删除system.profile集合
　　db.system.profile.drop()
　　3、创建新的集合分析器
　　db.createCollection("system.profile",{capped:true,size:50*1024*1024})
　　4、重新启用分析器
　　db.setProfilingLevel(2)
　　使用explain()分析特定的查询
　　use blog
　　db.posts.find().explain(true)