FastDFS使用总结报告（2）——FastDFS环境搭建及测试
1 环境搭建1.1 安装FastDFS
测试环境：172.16.100.133 usr:root pwd:111111
Tracker和storage安装在同一台机器上。
FastDFS版本：v3.11
下载地址：http://code.google.com/p/fastdfs/downloads/list
Libevent版本: v2.0.21
下载地址：http://libevent.org/
JavaAPI版本: v1.24 下载地址（包含source code、doc、API）
下载地址：http://code.google.com/p/fastdfs/downloads/list
1.1.1安装libevent
FastDFS内部使用libevent作为http服务器，建议还是使用apache或Nginx。如果已经安装了 libevent，请确认安装路径是 /usr ， 因为 FastDFS 在编译源程序时，需要到此目录下查找一些依赖文件，否则编译 FastDFS 会出错 。如果不是，建议首先卸载 libevent ，然后安装到 /usr 下。Ubuntu10.4默认是安装了libevent，可以到软件中心卸载掉然后按照下面介绍的方式安装。
#Tar xvf libevent-2.0.21-stable
#cd libevent-2.0.21-stable
#./configure –prefix=/usr
#make
#make install
安装track_sever
#tar zxvf FastDFS_v3.02.tar.gz
开启http支持，需要先修改make.sh文件，修改"#WITH_HTTPD=1"为"WITH_HTTPD=1"
#./make.sh
#./make.sh install
配置文件分别存放在客户端配置文件 Client.conf,文件存储服务器配置文件Strage.conf,调度服务器配置文件Tracker.conf。其中client.conf在使用Java客户端时需要在Java程序中解析获得相关信息。
1.1.2 配置track_sever
修改tracker.conf文件，修改log、group等文件存放的目录
bast_path=/home/yuqing/fastdfs ->bast_path=/usr/FastDFS
根据需要修改http端口
http.server_port=8080
开启http支持
##include http.conf -> #includehttp.conf
启动tracker_server
/usr/local/bin/fdfs_trackred/home/yuqing/FastDFS/conf/tracker.conf
查看/usr/FastDFS/logs/tracker.log，查看是否启动成功
1.1.3 安装storage_server
配置storage
修改storage.conf配置文件,定义log、group等存储目录
base_path=/home/yuqing/fastdfs ->bast_path=/usr/FastDFS
修改文件存位置，一个storage可以指定多个目录
store_path0=/home/yuqing/fastdfs-> store_path0=/usr /FastDFS
定义组（以组名区别）
group_name=group1
修改tracker_server的地址和端口，需要将所有tracker_server加入
tracker_server 192.168.209.121:22122 -> tracker_server192.168.8.235:22122 tracker_server 192.168.8.236:22122
开启http支持
##includehttp.conf –> #include http.conf
启动storage服务器
#/usr/local/bin/fdfs_storaged/home/yuqing/FastDFS/conf/storage.conf
执行时会在data文件夹下生产256个文件夹，
打开storage.log日志，查看是否执行成功
4.1.4 配置客户端配置文件
修改/usr /FastDFS/conf/client文件
base_path=/home/yuqing/fastdfs-> bast_path=/usr/FastDFS
修改tracker_server，建议添加所有track_server
开启http支持
##includehttp.conf –> #include http.conf
执行上传文件命令#/usr/local/bin/fdfs_test /usr/FastDFS/conf/client.conf upload test.txt
根据返回信息，查找/data下相应文件夹，可以看到文件上传成功。
1.2 FastDFS与Apache整合
本节主要介绍如何使用fastdfs-apache-module模块整合fastdfs和apahce；整合完毕后，客户端访问apache，apache根据配置，使用fastdfs连接tracker查询相应组内可用的stroage服务器，最后完成http请求的重定向！因而建议在每台storage服务器上都配置fastdfs和apahce的整合，各个组间配置相应的虚拟主机，还可以在前端使用nginx做负载均衡来分配用户的请求。在开始之前，需要在storage服务器上安装好apache，本例中使用编译方式安装！
1.2.1下载fastdfs-apache-module源码
# wget http://fastdfs.googlecode.com/files/fastdfs-apache-module_v1.08.tar.gz
# tar -zxvf fastdfs-apache-module_v1.08.tar.gz
# cd fastdfs-apache-module/src/
1.2.2查看apache的编译路径和参数
# /home/web/apache/bin/apachectl -V
Server version: Apache/2.2.17 (Unix)
Server built: Apr 1 2011 06:11:57
Server's Module Magic Number: 20051115:25
Server loaded: APR 1.4.2, APR-Util 1.3.10
Compiled using: APR 1.4.2, APR-Util 1.3.10
Architecture: 32-bit
Server MPM:Prefork
threaded:no
forked:yes (variable process count)
Server compiled with....
-D APACHE_MPM_DIR="server/mpm/prefork"
-D APR_HAS_SENDFILE
-D APR_HAS_MMAP
-D APR_HAVE_IPV6 (IPv4-mapped addresses enabled)
-D APR_USE_SYSVSEM_SERIALIZE
-D APR_USE_PTHREAD_SERIALIZE
-D SINGLE_LISTEN_UNSERIALIZED_ACCEPT
-D APR_HAS_OTHER_CHILD
-D AP_HAVE_RELIABLE_PIPED_LOGS
-D DYNAMIC_MODULE_LIMIT=128
-D HTTPD_ROOT="/home/web/apache"
-D SUEXEC_BIN="/home/web/apache/bin/suexec"
-D DEFAULT_PIDLOG="logs/httpd.pid"
-D DEFAULT_SCOREBOARD="logs/apache_runtime_status"
-D DEFAULT_LOCKFILE="logs/accept.lock"
-D DEFAULT_ERRORLOG="logs/error_log"
-D AP_TYPES_CONFIG_FILE="conf/mime.types"
-D SERVER_CONFIG_FILE="conf/httpd.conf"
1.2.3 修改makefile文件
根据apache编译情况，修改makefile文件如下；在这里不要修改INCLUDES和LIBS参数，否则编译会报错，后面使用软连接实现！
# grep -v '^#' Makefile |grep -v '^$'
APACHE_BASE_PATH=/home/web/apache
builddir=.
top_srcdir=$(APACHE_BASE_PATH)
top_builddir=$(APACHE_BASE_PATH)
include $(APACHE_BASE_PATH)/build/special.mk
APXS=$(APACHE_BASE_PATH)/bin/apxs
APACHECTL=$(APACHE_BASE_PATH)/bin/apachectl
CFLAGS=-Wall
DEFS=-D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='"/etc/fdfs/mod_fastdfs.conf"'
INCLUDES=-I/usr/local/include/fastdfs -I/usr/local/include/fastcommon/
LIBS=-L/usr/local/lib -lfastcommon -lfdfsclient
SH_LIBS=-lfastcommon -lfdfsclient
all: local-shared-build
install: install-modules-yes
if [ ! -f /etc/fdfs/mod_fastdfs.conf ]; then cp mod_fastdfs.conf /etc/fdfs/; fi
clean:
-rm -f mod_fastdfs.o mod_fastdfs.lo mod_fastdfs.slo mod_fastdfs.la
test: reload
lynx -mime_header http://localhost/fastdfs
reload: install restart
start:
$(APACHECTL) start
restart:
$(APACHECTL) restart
stop:
$(APACHECTL) stop
1.2.4 对fastfds目录下的lib和include目录做软连接
# ln -s /usr/local/FastFDS/lib/libf* /usr/local/lib
# ln -s /usr/local/FastFDS/include/fastdfs /usr/local/include/
# ln -s /usr/local/FastFDS/include/fastcommon/ /usr/local/include/
1.2.5编译安装
# make
/home/web/apache/build/libtool --silent --mode=link gcc -g -O2 -pthread -Wall-lfastcommon -lfdfsclient -o
mod_fastdfs.la -rpath /home/web/apache/modules -module -avoid-version mod_fastdfs.lo
# make install
/home/web/apache/build/libtool --silent --mode=install cp mod_fastdfs.la /home/web/apache/modules/
make: Entering directory `/root/fastdfs-apache-module/src'
/home/web/apache/build/libtool --silent --mode=install cp mod_fastdfs.la /home/web/apache/modules/
make: Leaving directory `/root/fastdfs-apache-module/src'
if [ ! -f /etc/fdfs/mod_fastdfs.conf ]; then cp mod_fastdfs.conf /etc/fdfs/; fi
# ls /home/web/apache/modules/*fast*
/home/web/apache/modules/mod_fastcgi.so
/home/web/apache/modules/mod_fastdfs.so
1.2.6修改apache配置文件
让虚拟主机下的/M00所有请求都交给fastdfs模块处理
# tail /home/web/apache/conf/httpd-vhosts.conf
#test fastdfs
LoadModule fastdfs_module modules/mod_fastdfs.so
Servername img.yang.com
sethandler fastdfs
1.2.7修改mod_fastdfs.conf文件
指定tracker服务器的ip和端口
# grep -v '^#' /etc/fdfs/mod_fastdfs.conf |grep -v '^$'
connect_timeout=2
network_timeout=30
base_path=/home/data/fastdfs
tracker_server=192.168.123.110:22122
storage_server_port=23000
group_name=group1
url_have_group_name = false
store_path_count=1
store_path0=/home/data/fastdfs
log_level=debug
log_filename=
response_mode=redirect
if_alias_prefix=
http.need_find_content_type=false
备注：
当apache服务器不为storage节点时，apache接受到的用户请求将会跳转！
# tail -f /home/web/apache/logs/access_log
192.168.123.102 - - "GET/M00/00/00/wKh7FFAYiID1TnRyAAAA4VuHcSQ5892200 HTTP/1.1" 302 -
这个时候，若组内其他可用的storage服务器没有配置fastdfs同apache或者nginx的模块整合，则用户无法访问相应的资源，因而建议所有的storage服务器都进行整合，关于fastdfs同nginx的整合，可参考官方文档或自行google！
# tail -f /home/web/apache/logs/error_log
DEBUG - file: common.c, line: 622, redirect tohttp://192.168.123.20/M00/00/00/wKh7FFAYiID1TnRyAAAA4VuHcSQ5892200?redirect=1
2 Java客户端上传下载文件实例
2.1.1上传文件
package com.jncumter.fastdfs;
import java.io.File;
import java.io.FileInputStream;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.ServerInfo;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;
/***
*
* @author jncumter
* @date 2013-09-18 16:31
* Test Upload of FastDFS
*/
publicclassTestUpload {
publicstaticvoid main(String[] args) throws Exception {
//getting the config file of Java Client and initthe client global
StringclassPath = newFile(TestUpload.class.getResource("/").getFile()).getCanonicalPath();
StringconfigFilePath = classPath + File.separator + "client.conf";
System.out.println("conf file of Client"+ configFilePath);
ClientGlobal.init(configFilePath);
//getting connection of FastDFS
TrackerClienttrackerClient = newTrackerClient();
TrackerServertrackerServer = trackerClient.getConnection();
StorageServerstorageServer = null;
StorageClientstorageClient = newStorageClient(trackerServer,storageServer);
//meta data setting
NameValuePair[]meta_list = newNameValuePair;
meta_list= newNameValuePair("width","120");
meta_list= newNameValuePair("heigth","120");
meta_list= newNameValuePair("author","gary");
Filefile = newFile("F:\\1.jpg");
FileInputStreamfis = newFileInputStream(file);
byte[] file_buff = null;
if (fis != null) {
int len = fis.available();
file_buff= newbyte;
fis.read(file_buff);
}
System.out.println("file length: "+ file_buff.length);
Stringgroup_name = null;
//get store storages
StorageServer[]storageServers = trackerClient.getStoreStorages(trackerServer, group_name);
if (storageServers == null) {
System.err.println("get store storage servers fail, error code: "
+storageClient.getErrorCode());
}else{
System.err.println("store storage servers count: "
+storageServers.length);
for (int k = 0; k
页:
[1]