设为首页 收藏本站

运维网

查看: 398|回复: 1

[经验分享] FastDFS分布式文件系统

[复制链接]

累计签到:1 天
连续签到:1 天
发表于 2017-9-7 13:37:46 | 显示全部楼层 |阅读模式
摘要: FastDFS简介 FastDFS是一个轻量级的开源分布式文件系统 FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡 FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同内容的文件只保存一份,节约磁盘空间 FastDFS只能通过ClientAPI访问,不支持POSIX访问方式 FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
FastDFS简介
FastDFS是一个轻量级的开源分布式文件系统
FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡
FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储
支持存储服务器在线扩容
支持相同内容的文件只保存一份,节约磁盘空间
FastDFS只能通过ClientAPI访问,不支持POSIX访问方式
FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
系统架构-架构图
系统架构-上传文件流程图
1. client询问tracker上传到的storage,不需要附加参数;
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件上传。
系统架构-下载文件流程图
1. client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件下载。
相关术语
Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storageserver的枢纽。
Storage Server:存储服务器,文件和meta data都保存到存储服务器上
group:组,也可称为卷。同组内服务器上的文件是完全相同的
文件标识:包括两部分:组名和文件名(包含路径)
meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768
同步机制
同一组内的storageserver之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。
通信协议
协议包由两部分组成:header和body
header共10字节,格式如下:
– 8 bytes body length
– 1 byte command
– 1 byte status
body数据包格式由取决于具体的命令,body可以为空
运行时目录结构-tracker server
  ${base_path}
|__data
|     |__storage_groups.dat:存储分组信息
|    |__storage_servers.dat:存储服务器列表
|__logs
|__trackerd.log:trackerserver日志文件
运行时目录结构-storage server
  ${base_path}
|__data
|     |__.data_init_flag:当前storageserver初始化信息
|    |__storage_stat.dat:当前storage server统计信息
|    |__sync:存放数据同步相关文件
|    |     |__binlog.index:当前的binlog文件索引号
|    |     |__binlog.###:存放更新操作记录(日志)
|    |     |__${ip_addr}_${port}.mark:存放同步的完成情况
|    |
|     |__一级目录:256个存放数据文件的目录,如:00, 1F
|           |__二级目录:256个存放数据文件的目录
|__logs
|__storaged.log:storageserver日志文件
安装和运行
#step 1. download FastDFS source package and unpack it,
# if you use HTTP to download file, please downloadlibevent 1.4.x and install it
tar xzf FastDFS_v1.x.tar.gz
#for example:
tar xzf FastDFS_v1.20.tar.gz
#step 2. enter the FastDFS dir
cd FastDFS
#step 3. if HTTP supported, modify make.sh, uncommentthe line:
# WITH_HTTPD=1, then execute:
./make.sh
#step 4. make install
./make.sh install
#step 5. edit/modify the config file of tracker andstorage
#step 6. run server programs
#start the tracker server:
/usr/local/bin/fdfs_trackerd
#start the storage server:
/usr/local/bin/fdfs_storaged
FastDFS和集中存储方式对比

1240.jpg


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:[email protected] 网址:www.iyunv.com

点击关注更多内容

累计签到:5 天
连续签到:1 天
发表于 2017-10-26 17:40:11 | 显示全部楼层
生产正在使用中。。。

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:[email protected] 网址:www.iyunv.com

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

关注运维网官方微信X

关注运维网官方微信

扫描二维码关注运维网官方微信,最新一手资源尽在官方微信!快快关注我们吧...

扫描微信二维码查看详情

客服 E-mail:[email protected]

本站由安畅网络和青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2017

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


合作伙伴: 青云cloud 安畅网络

快速回复 返回顶部 返回列表