MongoDB集群插入数据测试
上一篇建好的MongoDB集群中插入数据，看看性能如何。向test数据库的test集合插入五百万数据
用时约11分钟
查看集合状态
[*]mongos> db.test.stats(1024)
[*]{
[*] "sharded" : true,
[*] "ns" : "test.test",
[*] "count" : 5000000,
[*] "numExtents" : 61,
[*] "size" : 273436,
[*] "storageSize" : 839500,
[*] "totalIndexSize" : 158685,
[*] "indexSizes" : {
[*] "_id_" : 158685
[*] },
[*] "avgObjSize" : 0.0546872,
[*] "nindexes" : 1,
[*] "nchunks" : 29,
[*] "shards" : {
[*] "shard1" : {
[*] "ns" : "test.test",
[*] "count" : 0,
[*] "size" : 0,
[*] "storageSize" : 18460,
[*] "numExtents" : 8,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 7468,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 7,
[*] "indexSizes" : {
[*] "_id_" : 7
[*] },
[*] "ok" : 1
[*] },
[*] "shard2" : {
[*] "ns" : "test.test",
[*] "count" : 1256764,
[*] "size" : 68729,
[*] "avgObjSize" : 0.054687276210967216,
[*] "storageSize" : 121032,
[*] "numExtents" : 11,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 36744,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 39834,
[*] "indexSizes" : {
[*] "_id_" : 39834
[*] },
[*] "ok" : 1
[*] },
[*] "shard3" : {
[*] "ns" : "test.test",
[*] "count" : 3642282,
[*] "size" : 199187,
[*] "avgObjSize" : 0.05468741849203329,
[*] "storageSize" : 328024,
[*] "numExtents" : 14,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 90412,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 115621,
[*] "indexSizes" : {
[*] "_id_" : 115621
[*] },
[*] "ok" : 1
[*] },
[*] "shard4" : {
[*] "ns" : "test.test",
[*] "count" : 100954,
[*] "size" : 5520,
[*] "avgObjSize" : 0.05467836836579036,
[*] "storageSize" : 21980,
[*] "numExtents" : 7,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 11060,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 3209,
[*] "indexSizes" : {
[*] "_id_" : 3209
[*] },
[*] "ok" : 1
[*] },
[*] "shard5" : {
[*] "ns" : "test.test",
[*] "count" : 0,
[*] "size" : 0,
[*] "storageSize" : 328024,
[*] "numExtents" : 14,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 90412,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 7,
[*] "indexSizes" : {
[*] "_id_" : 7
[*] },
[*] "ok" : 1
[*] },
[*] "shard6" : {
[*] "ns" : "test.test",
[*] "count" : 0,
[*] "size" : 0,
[*] "storageSize" : 21980,
[*] "numExtents" : 7,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 11060,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 7,
[*] "indexSizes" : {
[*] "_id_" : 7
[*] },
[*] "ok" : 1
[*] }
[*] },
[*] "ok" : 1
[*]}
向test数据库的test集合插入一千万数据
用时约33分钟
查看集合状态
[*]mongos> db.test.stats(1024)
[*]{
[*] "sharded" : true,
[*] "ns" : "test.test",
[*] "count" : 10000000,
[*] "numExtents" : 81,
[*] "size" : 546873,
[*] "storageSize" : 1542568,
[*] "totalIndexSize" : 316959,
[*] "indexSizes" : {
[*] "_id_" : 316959
[*] },
[*] "avgObjSize" : 0.0546873,
[*] "nindexes" : 1,
[*] "nchunks" : 39,
[*] "shards" : {
[*] "shard1" : {
[*] "ns" : "test.test",
[*] "count" : 3231299,
[*] "size" : 176711,
[*] "avgObjSize" : 0.054687294490543895,
[*] "storageSize" : 307628,
[*] "numExtents" : 16,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 82448,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 102391,
[*] "indexSizes" : {
[*] "_id_" : 102391
[*] },
[*] "ok" : 1
[*] },
[*] "shard2" : {
[*] "ns" : "test.test",
[*] "count" : 2710175,
[*] "size" : 148212,
[*] "avgObjSize" : 0.05468724344368906,
[*] "storageSize" : 237612,
[*] "numExtents" : 13,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 66972,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 85935,
[*] "indexSizes" : {
[*] "_id_" : 85935
[*] },
[*] "ok" : 1
[*] },
[*] "shard3" : {
[*] "ns" : "test.test",
[*] "count" : 0,
[*] "size" : 0,
[*] "storageSize" : 328024,
[*] "numExtents" : 14,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 90412,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 7,
[*] "indexSizes" : {
[*] "_id_" : 7
[*] },
[*] "ok" : 1
[*] },
[*] "shard4" : {
[*] "ns" : "test.test",
[*] "count" : 1936150,
[*] "size" : 105883,
[*] "avgObjSize" : 0.05468739508819048,
[*] "storageSize" : 170640,
[*] "numExtents" : 12,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 49608,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 61359,
[*] "indexSizes" : {
[*] "_id_" : 61359
[*] },
[*] "ok" : 1
[*] },
[*] "shard5" : {
[*] "ns" : "test.test",
[*] "count" : 0,
[*] "size" : 0,
[*] "storageSize" : 328024,
[*] "numExtents" : 14,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 90412,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 7,
[*] "indexSizes" : {
[*] "_id_" : 7
[*] },
[*] "ok" : 1
[*] },
[*] "shard6" : {
[*] "ns" : "test.test",
[*] "count" : 2122376,
[*] "size" : 116067,
[*] "avgObjSize" : 0.05468729386310437,
[*] "storageSize" : 170640,
[*] "numExtents" : 12,
[*] "nindexes" : 1,
[*] "lastExtentSize" : 49608,
[*] "paddingFactor" : 1,
[*] "systemFlags" : 1,
[*] "userFlags" : 0,
[*] "totalIndexSize" : 67260,
[*] "indexSizes" : {
[*] "_id_" : 67260
[*] },
[*] "ok" : 1
[*] }
[*] },
[*] "ok" : 1
[*]}
解释一下查看集合状态的db.colletion.stats(scale)方法
db.collection.stats()返回值都是按照字节处理
你可以设定比例参数scale的值来调整，例如scale设为1024，则返回结果某些值按KB处理
返回值各字段解释：
sharded：是否可分片
ns：命名空间，按照格式.
count：该集合中的对象或文档数
numExtents：连续的数据文件区域总数。
Size：集合中数据的大小【scale值有影响】
storageSize：分配给该集合的文档存储空间，该值不会减少。【scale值有影响】
totalIndexSize：所有索引的总大小。【scale值有影响】
indexSizes：该值表示集合中所有存在的索引。【scale值有影响】
avgObjSize：集合中对象的平均大小。【scale值有影响】
nindexes：集合的索引数，所有集合至少有一个索引在_id字段。
nchunks：集合分块数。
lastExtentSize：最近分配的扩展大小。【scale值有影响】
paddingFactor：插入的时候在每个文档末尾增加的空间。这提供一个很小的额外磁盘空间让文档有些微的增长而不需要移动文档。mongod会自动计算该值
systemFlags：2.2版新特性。反映该集合内部服务选项的标志。如1代表在_id字段有索引。
userFlags：2.2版新特性。用户设置该集合的标志。在2.2版中唯一的用户标志是 usePowerOf2Sizes。如果usePowerOf2Sizes是可用的，userFlags就是1，其余都是0.
查看各复制集情况
shard1复制集
[*]{
[*] "set" : "shard1",
[*] "date" : ISODate("2013-01-13T14:27:13Z"),
[*] "myState" : 1,
[*] "members" : [
[*] {
[*] "_id" : 1,
[*] "name" : "10.50.9.12:27017",
[*] "health" : 1,
[*] "state" : 1,
[*] "stateStr" : "PRIMARY",
[*] "uptime" : 99645,
[*] "optime" : Timestamp(1358086947000, 1),
[*] "optimeDate" : ISODate("2013-01-13T14:22:27Z"),
[*] "self" : true
[*] },
[*] {
[*] "_id" : 2,
[*] "name" : "10.50.9.13:27018",
[*] "health" : 1,
[*] "state" : 2,
[*] "stateStr" : "SECONDARY",
[*] "uptime" : 99643,
[*] "optime" : Timestamp(1358086947000, 1),
[*] "optimeDate" : ISODate("2013-01-13T14:22:27Z"),
[*] "lastHeartbeat" : ISODate("2013-01-13T14:27:12Z"),
[*] "pingMs" : 0
[*] },
[*] {
[*] "_id" : 3,
[*] "name" : "10.50.9.13:27019",
[*] "health" : 1,
[*] "state" : 2,
[*] "stateStr" : "SECONDARY",
[*] "uptime" : 99643,
[*] "optime" : Timestamp(1358086947000, 1),
[*] "optimeDate" : ISODate("2013-01-13T14:22:27Z"),
[*] "lastHeartbeat" : ISODate("2013-01-13T14:27:11Z"),
[*] "pingMs" : 0
[*] }
[*] ],
[*] "ok" : 1
[*]}
【太多字符，差不多的内容就不发了哎╮(╯▽╰)╭】
各字段解释：
set：复制集名
date：当前的ISO时间
myState：表明当前复制集状态，0~10分别代表
编号状态
0启动，1 阶段（分配配置）
1主
2次要
3还原（初始同步，后回滚，停滞成员）
4严重错误
5启动，2 阶段（分叉线程）
6未知状态（副本集从未连接到成员）
7仲裁程序
8死机
9回滚
10已删除
syncingTo：只会在副节点出现，保存正在同步的实例的地址。
members：保存复制集中的每个成员信息。
name：该成员所在的地址。
health：健康状态，1表明正在运行，0表明不运行。
State：
编号状态
0启动，1 阶段（分配配置）
1主
2次要
3还原（初始同步，后回滚，停滞成员）
4严重错误
5启动，2 阶段（分叉线程）
6未知状态（副本集从未连接到成员）
7仲裁程序
8死机
9回滚
10已删除
stateStr：描述成员状态的字符串。
Uptime：启动至今的秒数。
Optime：包含最近操作日志中该成员应用了的操作信息。
optimeDate：最近该成员访问操作日志的时间。
lastHeartbeat：最近从该成员得到的心跳信息的时间。
pingMs：往返包在远程成员和本地实例的来回时间（毫秒）。
Self：该查看复制集信息文档存储在当前mongod实例，值为true。
数据插入脚本
可直接在mongo下执行下列javascript代码
插入五百万数据
for(var i=0; i
页:
[1]