有勇气的牛排博客

hadoop集群报错总结

有勇气的牛排 602 大数据 2022-12-07 12:02:27

1 -bash: jps: command not found

出现此错误原因:大概率为环境变量问题, 可先检查 java -version是否正常,可以重点检查 path 路径

vim /etc/profile source /etc/profile

2 hadoop jps查看不到进程

这问题原因一般为 /tmp/hsperfdata_root 目录去权限问题在造成,不同版本/用户的目录稍有不通,解决方法如下:

chmod -R 755 hsperfdata_root

3 Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

这是一个警告,可以添加屏蔽

/usr/local/hadoop/etc/hadoop/log4j.properties
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

4 hdfs页面权限(Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x)

image.png

hdfs的默认配置hdfs-default.xml发现hdfs默认是开启权限检查的

vim $HADOOP_HA_HOME/etc/hadoop/core-site.xml
<!-- 配置HDFS网页登录使用的静态用户为root--> <property> <name>hadoop.http.staticuser.user</name> <value>root</value> </property>

5 空间不足 安全模式 块损坏

Name node is in safe mode.
Resources are low on NN. Please add or free up more resources then turn off safe mode manually. NOTE:  If you turn off safe mode before adding resources, the NN will immediately return to safe mode. Use "hdfs dfsadmin -safemode leave" to turn safe mode off.

查看节点存储情况,很有可能是磁盘满了。

df -h

https://blog.csdn.net/m0_46589706/article/details/107542701

离开安全模式

hdfs dfsadmin -safemode leave

删除损坏的块

hdfs fsck / -delete

留言

专栏
文章
加入群聊