设为首页 收藏本站
查看: 818|回复: 0

[经验分享] hadoop core-default hdfs-default默认配置

[复制链接]

尚未签到

发表于 2016-12-6 07:29:30 | 显示全部楼层 |阅读模式
Java代码   DSC0000.png


  • dfs.replication.interval=3,  
  • fs.hsftp.impl=org.apache.hadoop.hdfs.HsftpFileSystem,  
  • dfs.safemode.extension=30000,  
  • ipc.server.tcpnodelay=false,  
  • dfs.web.ugi=webuser,webgroup,  
  • fs.checkpoint.dir=${hadoop.tmp.dir}/dfs/namesecondary,  
  • dfs.permissions.supergroup=supergroup,  
  • dfs.datanode.http.address=0.0.0.0:50075,  
  • dfs.replication.min=1,  
  • dfs.https.address=0.0.0.0:50470,  
  • dfs.datanode.dns.nameserver=default,  
  • dfs.http.address=0.0.0.0:50070,  
  • io.bytes.per.checksum=512,  
  • dfs.blockreport.intervalMsec=3600000,  
  • hadoop.util.hash.type=murmur,  
  • dfs.data.dir=${hadoop.tmp.dir}/dfs/data,  
  • fs.hdfs.impl=org.apache.hadoop.hdfs.DistributedFileSystem,  
  • fs.ramfs.impl=org.apache.hadoop.fs.InMemoryFileSystem,  
  • dfs.block.size=512,  
  • fs.hftp.impl=org.apache.hadoop.hdfs.HftpFileSystem,  
  • fs.checkpoint.period=3600,  
  • dfs.https.client.keystore.resource=ssl-client.xml,  
  • hadoop.logfile.count=10,  
  • dfs.support.append=false,  
  • ipc.client.connection.maxidletime=10000,  
  • io.seqfile.lazydecompress=true,  
  • dfs.datanode.dns.interface=default,  
  • fs.checkpoint.size=67108864,  
  • dfs.max.objects=0,  
  • local.cache.size=10737418240,  
  • fs.s3n.impl=org.apache.hadoop.fs.s3native.NativeS3FileSystem,  
  • fs.file.impl=org.apache.hadoop.fs.LocalFileSystem,  
  • fs.kfs.impl=org.apache.hadoop.fs.kfs.KosmosFileSystem,  
  • fs.s3.buffer.dir=${hadoop.tmp.dir}/s3,  
  • dfs.client.block.write.retries=3,  
  • ipc.client.kill.max=10,  
  • dfs.datanode.du.reserved=0,  
  • hadoop.security.authorization=false,  
  • dfs.replication.max=512,  
  • dfs.balance.bandwidthPerSec=1048576,  
  • fs.s3.sleepTimeSeconds=10,  
  • fs.default.name=hdfs://10.0.18.105:54310,  
  • hadoop.rpc.socket.factory.class.default=org.apache.hadoop.net.StandardSocketFactory,  
  • topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping,  
  • dfs.datanode.address=0.0.0.0:50010,  
  • dfs.access.time.precision=3600000,  
  • dfs.heartbeat.interval=3,  
  • dfs.replication.considerLoad=true,  
  • dfs.default.chunk.view.size=32768,  
  • io.file.buffer.size=4096,  
  • dfs.https.need.client.auth=false,  
  • dfs.datanode.ipc.address=0.0.0.0:50020,  
  • dfs.blockreport.initialDelay=0,  
  • fs.har.impl.disable.cache=true,  
  • hadoop.native.lib=true,  
  • fs.s3.block.size=67108864,  
  • dfs.replication=2,  
  • io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,  
  • dfs.https.enable=false,  
  • io.seqfile.compress.blocksize=1000000,  
  • fs.har.impl=org.apache.hadoop.fs.HarFileSystem,  
  • io.mapfile.bloom.error.rate=0.005,  
  • dfs.namenode.decommission.interval=30,  
  • io.skip.checksum.errors=false,  
  • fs.s3.maxRetries=4,  
  • ipc.server.listen.queue.size=128,  
  • fs.trash.interval=0,  
  • fs.s3.impl=org.apache.hadoop.fs.s3.S3FileSystem,  
  • io.seqfile.sorter.recordlimit=1000000,  
  • io.mapfile.bloom.size=1048576,  
  • dfs.namenode.startup=FORMAT,  
  • dfs.namenode.decommission.nodes.per.interval=5,  
  • webinterface.private.actions=false,  
  • dfs.name.edits.dir=${dfs.name.dir},  
  • hadoop.tmp.dir=/home/dikar/hadoop/tmp,  
  • fs.checkpoint.edits.dir=${fs.checkpoint.dir},  
  • dfs.safemode.threshold.pct=0.999f,  
  • ipc.client.idlethreshold=4000,  
  • dfs.permissions=true,  
  • dfs.namenode.handler.count=10,  
  • hadoop.logfile.size=10000000,  
  • dfs.namenode.logging.level=info,  
  • dfs.datanode.https.address=0.0.0.0:50475,  
  • dfs.secondary.http.address=0.0.0.0:50090,  
  • topology.script.number.args=100,  
  • dfs.https.server.keystore.resource=ssl-server.xml,  
  • fs.ftp.impl=org.apache.hadoop.fs.ftp.FTPFileSystem,  
  • dfs.name.dir=${hadoop.tmp.dir}/dfs/name,  
  • io.serializations=org.apache.hadoop.io.serializer.WritableSerialization,  
  • ipc.client.connect.max.retries=10,  
  • ipc.client.tcpnodelay=false,  
  • dfs.datanode.handler.count=3,  
  • dfs.df.interval=60000  

  
 

   看这个默认的配置,大家就会发现

  

Java代码  


  • hadoop.tmp.dir   

 

    这个配置的重要性了,其实tmp 真的不是temp *_<

更多信息请查看 java进阶网 http://www.javady.com

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-310150-1-1.html 上篇帖子: hadoop core-default hdfs-default默认配置 下篇帖子: Hadoop配置项整理(core-site.xml)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表