Hadoop的配置详解
Hadoop的配置详解大家经过搭建单节点、伪分布、完全分布模式的集群环境，基本上会用到以下几个配置，core-site.xm/hdfs-site.xml/mapred-site.xml.
相信大家已经使用了其中的一些参数，下面我们来详细介绍一下各个配置中的参数，介绍的参数是大家可能用到的，当然还有很多没介绍到(学习hadoop不久,如果哪里错了，请提出来，谢谢拉)
1.core-site.xml
常用的设置
fs.default.name hdfs://mastername:9000
hadoop.tmp.dir /tmp/hadoop-${user.name｝
优化设置
hadoop.logfile.size
hadoop.logfile.count
fs.checkpoint.dir ${hadoop.tmp.dir}/dfs/namesecondary
fs.checkpoint.size
fs.checkpoint.period
(1)hadoop.tmp.dir 参数 /tmp/hadoop-${user.name｝ 临时目录设定
hadoop.tmp.dir是hadoop文件系统依赖的基础设置，很多路径都依赖它，如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中，所以最好设置，而且设置到持久目录中。
使用默认的路径会根据不同的用户名生成不同的临时目录
(2)hadoop.native.lib true 使用本地hadoop库标识。
(3)hadoop.http.filter.initializers http服务器过滤链设置
(4)hadoop.security.group.mapping org.apache.hadoop.security.ShellBasedUnixGroupsMapping 组内用户的列表的类设定
(5)hadoop.security.authorization false 服务端认证开启
如果开启在做任何事情之前，会现验证该帐号是否有权限。如果不开启，则不经过任何验证，所有用户拥有任何权限
（6）hadoop.logfile.size 10000000 日志文件最大为10M
hadoop跑了很多任务之后，可以通过设置hadoop.logfile.size和hadoop.logfile.count来设定最大的日志大小和数量来自动清楚日志
（7）hadoop.logfile.count 10 日志文件数量为10个
(8)io.file.buffer.size 4096 流文件的缓冲区为4K
这是读写sequence file的buffer size,可以减少I/O次数，在大型的Hadoop cluster，建议使用更大的值
(9)fs.default.name 默认值是 file:/// The name of default file system
默认的文件系统的名称
默认的是设置单机配置，如果是伪分布式则设置成hdfs://localhost:9000,如果是完全分布式则设置成hdfs://mastername:9000
(10)fs.checkpoint.dir
默认值是${hadoop.tmp.dir}/dfs/namesecondary
Secondary NameNode的镜像存储目录
fs.checkpoint.period 默认是3600秒
控制secondary namenode的checkpoint的时间间隔，如果距离上次checkpoint的时间大于这个参数，就会触发checkpoint.secondary namenode会把namenode的fsimage和editlog做snapshot.如果存取hadoop的次数频繁或为了减少重启namenode的时间，可以设置的小一点。
fs.checkpoint.size
默认值：67109964b
如果hadoop非常忙碌，则editlog可能会在短时间内变的很大，fs.checkpoint.period的设定不一定会触发checkpoint。设置这个数，保证editlog超过改数也会checkpoint
(11)io.skip.checksum.errors false 校验出错后是抛出异常还是略过标识。True则略过。
(12)io.compression.codecs org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
压缩和解压的方式设置
(13)io.serializations org.apache.hadoop.io.serializer.WritableSerialization 序例化和反序列化的类设定
(14)fs.trash.interval 0 文件废弃标识设定，0为禁止此功能
清掉垃圾的时间，默认0是不清除。所以在删除文件时要自己执行。
(15)fs.file.impl org.apache.hadoop.fs.LocalFileSystem 本地文件操作类设置
(16)fs.hdfs.impl org.apache.hadoop.hdfs.DistributedFileSystem HDFS文件操作类设置
2.hdfs-site.xml
常用设置
dfs.name.dir ${hadoop.tmp.dir}/dfs/name
dfs.data.dir ${hadoop.tmp.dir}/dfs/data
dfs.permissions true
dfs.replication 3
dfs.block.size 67108864
dfs.namenode.logging.level info
优化设置
dfs.df.interval 60000
dfs.client.block.write.retries 3
dfs.heartbeat.interval 3
dfs.balance.bandwidthPerSec 1048576
dfs.datanode.failed.volumes.tolerated 0
(1)dfs.namenode.logging.level info 输出日志类型
(2)dfs.secondary.http.address 0.0.0.0:50090 备份名称节点的http协议访问地址与端口
(3)dfs.datanode.address 0.0.0.0:50010 数据节点的TCP管理服务地址和端口
(4)dfs.datanode.http.address 0.0.0.0:50075 数据节点的HTTP协议访问地址和端口
(5)dfs.datanode.ipc.address 0.0.0.0:50020 数据节点的IPC服务访问地址和端口
(6)dfs.datanode.handler.count 3 数据节点的服务连接处理线程数
(7)dfs.http.address 0.0.0.0:50070 名称节点的http协议访问地址与端口
(8)dfs.https.enable false 支持https访问方式标识
(9)dfs.https.need.client.auth false 客户端指定https访问标识
(10)dfs.default.chunk.view.size 32768 浏览时的文件块大小设置为32K
(11)dfs.datanode.du.reserved 0 每个卷预留的空闲空间数量
(12)dfs.name.dir ${hadoop.tmp.dir}/dfs/name
存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份
(13)dfs.web.ugi webuser,webgroup Web接口访问的用户名和组的帐户设定
(14)dfs.permissions true 文件操作时的权限检查标识。
控制读写权限，false不控制读写权限
(15)dfs.data.dir ${hadoop.tmp.dir}/dfs/data 数据节点的块本地存放目录
(16)dfs.datanode.data.dir.perm 755 数据节点的存贮块的目录访问权限设置
(17)dfs.replication 3 缺省的块复制数量
(18)dfs.block.size 67108864 缺省的文件块大小为64M
(19)dfs.df.interval 60000 磁盘空间统计间隔为6秒
(20)dfs.client.block.write.retries 3 块写入出错时的重试次数
(21)dfs.heartbeat.interval 3 数据节点的心跳检测间隔时间
(22)dfs.balance.bandwidthPerSec 1048576 启动负载均衡的数据节点可利用带宽最大值为1M
(23)dfs.datanode.failed.volumes.tolerated 0
决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点
3.mapred-site.xml
常用设置
mapred.job.tracker mastername:9001
优化设置
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
(1)io.sort.mb 100 排序文件的内存缓存大小为100M
(2)io.sort.record.percent 0.05 排序线程阻塞的内存缓存剩余比率
(3)io.sort.spill.percent 0.80 当缓冲占用量为该值时，线程需要将内容先备份到磁盘中。
(4)mapred.job.tracker mastername:9001 作业跟踪管理器是否和MR任务在一个进程中
The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map
and reduce task.
默认值是local，单节点。Job 运行的host和端口号
(5)mapred.job.tracker.http.address 0.0.0.0:50030 作业跟踪管理器的HTTP服务器访问端口和地址
(6)mapred.local.dir ${hadoop.tmp.dir}/mapred/local MR的中介数据文件存放目录
(7)mapred.system.dir ${hadoop.tmp.dir}/mapred/system MR的控制文件存放目录
(8)mapred.temp.dir ${hadoop.tmp.dir}/mapred/temp MR临时共享文件存放区
(9)mapred.tasktracker.expiry.interval 600000 任务管理跟踪器不发送心跳的累计时间间隔超过600秒，则任务管理跟踪器失效
(10)mapred.map.tasks 2 每个作业缺省的map任务数为2
(11)mapred.reduce.tasks 1 每个作业缺省的reduce任务数为1
(12)mapred.jobtracker.taskScheduler.maxRunningTasksPerJob 作业同时运行的任务数的最大值 32
(13)mapreduce.reduce.shuffle.read.timeout 180000 REDUCE任务等待map输出数据的总耗时是3分钟
(14)mapred.tasktracker.map.tasks.maximum 2 任管管理器可同时运行map任务数为2
(15)mapred.tasktracker.reduce.tasks.maximum 2 任管管理器可同时运行reduce任务数为2
(16)mapred.task.tracker.http.address 0.0.0.0:50060 任务管理跟踪器的http服务器的地址和端口
(17)mapred.output.compress false 作业的输出是否压缩
(18)mapred.compress.map.output false Map的输出是否压缩
(19)mapred.user.jobconf.limit 5242880 Jobconf的大小为5M
(20)mapred.heartbeats.in.second 100 作业管理跟踪器的每秒中到达的心跳数量为100
页:
[1]