设为首页 收藏本站
查看: 662|回复: 0

[经验分享] 【hadoop-1.0】:启动hadoop时,log中出现:java.io.IOException: NameNode is not formatted.

[复制链接]

尚未签到

发表于 2016-12-8 10:03:25 | 显示全部楼层 |阅读模式
  1、启动Hadoop
[plain] view plaincopy



  • ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./start-all.sh   
  • starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namenode-ubuntu.out  
  • localhost: starting datanode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-datanode-ubuntu.out  
  • localhost: starting secondarynamenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-secondarynamenode-ubuntu.out  
  • starting jobtracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-jobtracker-ubuntu.out  
  • localhost: starting tasktracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-tasktracker-ubuntu.out  

  2、访问localhost:50070失败,说明namenode启动失败
3、查看namenode启动日志
[plain] view plaincopy 



  • ubuntu@ubuntu:~/hadoop-1.0.4/bin$ cd ../logs  
  • ubuntu@ubuntu:~/hadoop-1.0.4/logs$ view hadoop-ubuntu-namenode-ubuntu.log  
  • /************************************************************  
  • STARTUP_MSG: Starting NameNode  
  • STARTUP_MSG:   host = ubuntu/127.0.1.1  
  • STARTUP_MSG:   args = []  
  • STARTUP_MSG:   version = 1.0.4  
  • STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  • ************************************************************/  
  • 2013-01-24 07:05:46,936 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties  
  • 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.  
  • 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).  
  • 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started  
  • 2013-01-24 07:05:47,053 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.  
  • 2013-01-24 07:05:47,058 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!  
  • 2013-01-24 07:05:47,064 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.  
  • 2013-01-24 07:05:47,064 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.  
  • 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 32-bit  
  • 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.33375 MB  
  • 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^22 = 4194304 entries  
  • 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: recommended=4194304, actual=4194304  
  • 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=ubuntu  
  • 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup  
  • 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true  
  • 2013-01-24 07:05:47,143 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  • 2013-01-24 07:05:47,143 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
  • 2013-01-24 07:05:47,154 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean  
  • 2013-01-24 07:05:47,169 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times   
  • 2013-01-24 07:05:47,174 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.  
  • java.io.IOException: NameNode is not formatted.  
  •     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)  
  •     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)  
  •     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)  
  •     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)  
  • 2013-01-24 07:05:47,175 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.  
  •     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)  
  •     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)  
  •     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)  
  •     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)  
  •     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)  

  其中"2013-01-24 07:05:47,174 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted."一行显示,namenode未初始化。
4、初始化namenode,却提示是否重新初始化namenode,于是输入Y。
[plain] view plaincopy 



  • ubuntu@ubuntu:~/hadoop-1.0.4$ bin/hadoop namenode -format  
  • 13/01/24 07:05:08 INFO namenode.NameNode: STARTUP_MSG:   
  • /************************************************************  
  • STARTUP_MSG: Starting NameNode  
  • STARTUP_MSG:   host = ubuntu/127.0.1.1  
  • STARTUP_MSG:   args = [-format]  
  • STARTUP_MSG:   version = 1.0.4  
  • STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  • ************************************************************/  
  • Re-format filesystem in /home/ubuntu/hadoop-1.0.4/tmp/dfs/name ? (Y or N) y  
  • Format aborted in /home/ubuntu/hadoop-1.0.4/tmp/dfs/name  
  • 13/01/24 07:05:12 INFO namenode.NameNode: SHUTDOWN_MSG:   
  • /************************************************************  
  • SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1  
  • ************************************************************/  

  5、初始化后,重新启动hadoop,localhost:50070仍然访问失败。查看namenode启动日志,依然报namenode没有初始化的错误。
6、于是删除core-site.xml配置文件中配置的tmp目录下的所有文件;
将hadoop所有服务停止;
再次启动hadoop,访问localhost:50070成功。
 
[plain] view plaincopy 



  • ubuntu@ubuntu:~/hadoop-1.0.4/tmp$ rm -rf *  
  • ubuntu@ubuntu:~/hadoop-1.0.4/tmp$ cd ../bin  
  • ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./stop-all.sh   
  • stopping jobtracker  
  • localhost: stopping tasktracker  
  • no namenode to stop  
  • localhost: stopping datanode  
  • localhost: stopping secondarynamenode  
  • ubuntu@ubuntu:~/hadoop-1.0.4/bin$ hadoop namenode -format  
  • 13/01/24 07:10:45 INFO namenode.NameNode: STARTUP_MSG:   
  • /************************************************************  
  • STARTUP_MSG: Starting NameNode  
  • STARTUP_MSG:   host = ubuntu/127.0.1.1  
  • STARTUP_MSG:   args = [-format]  
  • STARTUP_MSG:   version = 1.0.4  
  • STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  • ************************************************************/  
  • 13/01/24 07:10:46 INFO util.GSet: VM type       = 32-bit  
  • 13/01/24 07:10:46 INFO util.GSet: 2% max memory = 19.33375 MB  
  • 13/01/24 07:10:46 INFO util.GSet: capacity      = 2^22 = 4194304 entries  
  • 13/01/24 07:10:46 INFO util.GSet: recommended=4194304, actual=4194304  
  • 13/01/24 07:10:46 INFO namenode.FSNamesystem: fsOwner=ubuntu  
  • 13/01/24 07:10:46 INFO namenode.FSNamesystem: supergroup=supergroup  
  • 13/01/24 07:10:46 INFO namenode.FSNamesystem: isPermissionEnabled=true  
  • 13/01/24 07:10:46 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  • 13/01/24 07:10:46 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
  • 13/01/24 07:10:46 INFO namenode.NameNode: Caching file names occuring more than 10 times   
  • 13/01/24 07:10:46 INFO common.Storage: Image file of size 112 saved in 0 seconds.  
  • 13/01/24 07:10:46 INFO common.Storage: Storage directory /home/ubuntu/hadoop-1.0.4/tmp/dfs/name has been successfully formatted.  
  • 13/01/24 07:10:46 INFO namenode.NameNode: SHUTDOWN_MSG:   
  • /************************************************************  
  • SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1  
  • ************************************************************/  
  • ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./start-all.sh   
  • starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namenode-ubuntu.out  
  • localhost: starting datanode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-datanode-ubuntu.out  
  • localhost: starting secondarynamenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-secondarynamenode-ubuntu.out  
  • starting jobtracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-jobtracker-ubuntu.out  
  • localhost: starting tasktracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-tasktracker-ubuntu.out  

7、原来是修改了配置文件中的tmp目录后没有对hdfs做初始化,导致启动hadoop时报namenode没有初始化的错误。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-311351-1-1.html 上篇帖子: 如何使用Hadoop的Reduce Side Join 下篇帖子: Hadoop源代码分析(一零)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表