阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop HDFS空间满后重启不成功解决

193次阅读
没有评论

共计 10315 个字符，预计需要花费 26 分钟才能阅读完成。

服务器检查的时候，发现存在 HDFS 上的文件无法同步，再发现 Hadoop 停掉了。进行重启，重启不成功。

查看 Hadoop 日志：

2014-07-30 14:15:42,025 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.206.133
<span style=”color:#ff0000;”>2014-07-30 14:15:42,026 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Cannot roll edit log, edits.new files already exists in all healthy directories:
  /home/hadoop/hdfs/name/current/edits.new</span>

<span style=”color:#ff0000;”>2014-07-30 14:17:17,853 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Unable to sync edit log.
java.io.IOException: No space left on device</span>
 at sun.nio.ch.FileChannelImpl.force0(Native Method)
 at sun.nio.ch.FileChannelImpl.force(FileChannelImpl.java:348)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog$EditLogFileOutputStream.flushAndSync(FSEditLog.java:215)
 at org.apache.hadoop.hdfs.server.namenode.EditLogOutputStream.flush(EditLogOutputStream.java:89)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.logSync(FSEditLog.java:1017)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1190)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:628)
 at sun.reflect.GeneratedMethodAccessor300.invoke(Unknown Source)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:597)
 at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.security.auth.Subject.doAs(Subject.java:396)
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
 at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
2014-07-30 14:17:17,853 FATAL org.apache.hadoop.hdfs.server.namenode.FSNamesystem: No edit streams are accessible
java.lang.Exception: No edit streams are accessible
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.fatalExit(FSEditLog.java:388)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.exitIfNoStreams(FSEditLog.java:407)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.removeEditsAndStorageDir(FSEditLog.java:432)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.removeEditsStreamsAndStorageDirs(FSEditLog.java:470)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.logSync(FSEditLog.java:1030)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1190)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:628)
 at sun.reflect.GeneratedMethodAccessor300.invoke(Unknown Source)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:597)
 at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.security.auth.Subject.doAs(Subject.java:396)
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
 at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

空间满了。

使用命令 df - h 查看其中一个 datanode，果然

Hadoop HDFS 空间满后重启不成功解决

但使用 du - s 查看，但显示只使用几百 G，并没有满

Hadoop HDFS 空间满后重启不成功解决

这个实候确实让人费解，只好重启 datanode 所在的服务器，并重新挂载，回复原样，容量显示正常。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-08/105207p2.htm

但是这个时候 Hadoop 集群依然无法重启，一直报错：

014-07-30 16:27:46,610 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: Incorrect data format. logVersion is -32 but writables.length is 0.
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:560)
 at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1026)
 at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:839)
 at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:377)
 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)
2014-07-30 16:27:46,612 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incorrect data format. logVersion is -32 but writables.length is 0.
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:560)
 at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1026)
 at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:839)
 at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:377)
 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)

不得解，只好从 secondrynamenode 尝试恢复
 
1. 先备份 namenode 和 secondrynamenode 的数据
 
2. 执行 checkpoint 数据：hadoop namenode –importCheckpoint
 
    失败……
 

 

最后查了网上的方法 (有一个是修改代码并重新编译的，就算了)：
 printf “\xff\xff\xff\xee\xff” > edits
 
重启失败，继续：
 printf “\xff\xff\xff\xee\xff” > edits.new
 

重启成功。
 

 

但是问题来了，数据丢失，因为清空了 edits 文件最新的日志内容。
 
一般来说，到这份上是没有办法了。
 
但是，幸好我们有两地同步和备份，将别一个数据中心 HDFS 集群的数据同步过来，恢复成功。
 
如果没有异地备份的话，上面的操作我也会慎之又慎的。

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

服务器检查的时候，发现存在 HDFS 上的文件无法同步，再发现 Hadoop 停掉了。进行重启，重启不成功。

查看 Hadoop 日志：

2014-07-30 14:15:42,025 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.206.133
<span style=”color:#ff0000;”>2014-07-30 14:15:42,026 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Cannot roll edit log, edits.new files already exists in all healthy directories:
  /home/hadoop/hdfs/name/current/edits.new</span>

<span style=”color:#ff0000;”>2014-07-30 14:17:17,853 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Unable to sync edit log.
java.io.IOException: No space left on device</span>
 at sun.nio.ch.FileChannelImpl.force0(Native Method)
 at sun.nio.ch.FileChannelImpl.force(FileChannelImpl.java:348)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog$EditLogFileOutputStream.flushAndSync(FSEditLog.java:215)
 at org.apache.hadoop.hdfs.server.namenode.EditLogOutputStream.flush(EditLogOutputStream.java:89)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.logSync(FSEditLog.java:1017)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1190)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:628)
 at sun.reflect.GeneratedMethodAccessor300.invoke(Unknown Source)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:597)
 at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.security.auth.Subject.doAs(Subject.java:396)
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
 at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
2014-07-30 14:17:17,853 FATAL org.apache.hadoop.hdfs.server.namenode.FSNamesystem: No edit streams are accessible
java.lang.Exception: No edit streams are accessible
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.fatalExit(FSEditLog.java:388)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.exitIfNoStreams(FSEditLog.java:407)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.removeEditsAndStorageDir(FSEditLog.java:432)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.removeEditsStreamsAndStorageDirs(FSEditLog.java:470)
 at org.apache.hadoop.hdfs.server.namenode.FSEditLog.logSync(FSEditLog.java:1030)
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1190)
 at org.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:628)
 at sun.reflect.GeneratedMethodAccessor300.invoke(Unknown Source)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:597)
 at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
 at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.security.auth.Subject.doAs(Subject.java:396)
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
 at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

空间满了。

使用命令 df - h 查看其中一个 datanode，果然

Hadoop HDFS 空间满后重启不成功解决

但使用 du - s 查看，但显示只使用几百 G，并没有满

Hadoop HDFS 空间满后重启不成功解决

这个实候确实让人费解，只好重启 datanode 所在的服务器，并重新挂载，回复原样，容量显示正常。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-08/105207p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
Apache Hadoop Hadoop HDFS Hadoop HDFS空间满后重启不成功解决 Hadoop重启 Linux服务器 Nginx Tomcat 分布式 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-20
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-20发表，共计10315字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
Linux下源码安装Apache详解
自动化运维工具Ansible使用教程
OpenSSH服务器端的配置文件各常用参数含义
CentOS 7中安装搭建Git服务器Gitolite
Tomcat 8.5 基于 Apache Portable Runtime（APR）库性能优化
Ubuntu 14.04 LTS Server 安装 LAMP Server
基于Keepalived对HAproxy做高可用集群
WEB服务器负载均衡之Nginx
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3460972
评论数
4
文章搜索
热门文章
基于开源MaxKB构建大语言模型的本地知识库系统

基于开源MaxKB构建大语言模型的本地知识库系统

基于开源 MaxKB 构建大语言模型的本地知识库系统 什么是 MaxKB MaxKB 是一款基于 LLM（La...
获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能 AI 工具通过 API 和 KEY 调用的方法 前言 随着人工智能技术的飞速发展，AI 工具...
安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件 ChatALL（齐叨）来聚合各大人工智能工具 前言 如果你跟我一样无论遇到什么问题都要询问人工智...
给你的NAS无限可能，安装小晓雅全家桶影音库

给你的NAS无限可能，安装小晓雅全家桶影音库

给你的 NAS 无限可能，安装小晓雅全家桶影音库 家庭存储和娱乐的需求日益增长。无论是高清电影、电视剧，还是音...
vmware下的网卡分配问题

vmware下的网卡分配问题

导读 vmware 虚拟机下 linux centos6.6 只有 lo，没有 eth0 网卡、随机分配 ip...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
解决vsftpd连接变慢的情况

解决vsftpd连接变慢的情况

一、问题现象 业务反馈，现网的一些主机通过 ftp 连接时，经常会遇到超时情况，通过手动连接也发现正常响应后，...
如何在 Linux 上永久挂载一个 Windows 共享

如何在 Linux 上永久挂载一个 Windows 共享

导读 如果你已经厌倦了每次重启 Linux 就得重新挂载 Windows 共享，读读这个让共享永久挂载的简单方...
给你的网站加一道安全锁，免费获取ssl证书

给你的网站加一道安全锁，免费获取ssl证书

给你的网站加一道安全锁，免费获取 ssl 证书 之前介绍了《腾讯云轻量应用服务器部署私有笔记》搭建了自己的私有...
浅析Linux服务器网络开发模型

浅析Linux服务器网络开发模型

导读 几日前公司同事王开源同志将笔记本系统转成了 liunx 系统，看上去不错，应该有的应用基本上都有了。如文...
详解：在Ubuntu上安装并配置LAMP

详解：在Ubuntu上安装并配置LAMP

导读 LAMP 是一组用于使 Web 服务器启动和运行的开源软件。首字母缩写代表 Linux，Apache，M...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中