将本地文件目录移动（或cp）到hdfs下shell脚本
写了一下脚本，实现了以下功能：1、保证同一时间只有一个该脚本的实例在运行，避免造成操作冲突
2、移动本地文件目录到hdfs下，目录路径相同
uploadtoHadoop.sh
#!/bin/bash
#pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'`
pid=`ps -ef | grep -v grep | grep uploadtoHadoop | wc -l`
usage()
{
echo "usage: `basename $0` /data/192.168.0.1/20110313/***/"
}
URL=$1
if [ $# -ne 1 ]
then
usage
exit 1
fi
if [ "$pid" = "2" ]
then
echo start
hadoop fs -mkdir $1/
hadoop fs -moveFromLocal $1/* $1/
echo complete
else
echo program exist!
fi
使用如下 sh uploadHadoop.sh /待移动的目录名称
start
complete
如果该脚本同时执行2个实例，第二个实例会报错，退出。
页:
[1]