有勇气的牛排博客
☰

hadoop hdfs 数据的均衡之负载均衡

有勇气的牛排 1367 大数据 2022-12-27 10:13:32
知止自律打卡-微信小程序APP
一款微信自律打卡小程序，支持自定义打卡项目、习惯记录、项目日记、专注计时与数据统计。自律打卡、学习打卡、读书打卡、健身打卡、运动打卡、减肥打卡、戒色打卡、养生打卡、戒烟、戒酒、戒熬夜等多种场景。万能打卡模板自由创建。可自定义每日打卡目标，记录习惯连续天数，可视化追踪成长进度。
了解产品详情 →
微信搜索「知止自律打卡」
知止自律打卡微信小程序

一 、修改传输配置

1、修改hdfs-site.xml文件

vim $HADOOP_HA_HOME/etc/hadoop/hdfs-site.xml

<!-- 均衡速度20M/S -->
<property>
    <name>dfs.balance.bandwidthPerSec</name>
    <value>20971520</value>
</property>

或

hdfs dfsadmin -setBalancerBandwidth 67108864

1M/S：1048576
20M/S：20971520
64M/S：67108864

运行脚本

# 启动数据平衡，阈值 5%
$HADOOP_HOME/sbin/start-balancer.sh –threshold 5

停止数据平衡

$Hadoop_home/sbin/stop-balancer.sh

在任意节点上使用如下命令进行集群数据均衡,各个节点的磁盘空间利用率相差不超过5%

hadoop balancer -Threshold 5

结束均衡
1、查看均衡器进程

ps -aux  | grep '\-Dproc_balancer'

kill -9 进程号

2、
rm -rf /tmp/hdfs-balancer.lock

hdfs  hdfs dfsadmin -report | cat <(echo "Name: Total") - |grep '^\(Name\|Total\|DFS Used\)' | tr '\n' '\t' | sed -e 's/\(Name\)/\n\1/g' | sort --field-separator=: --key=5,5n

或者[先切换到hdfs用户]
$ hdfs dfsadmin -report | cat <(echo “Name: Total”) - |grep ‘^(Name|Total|DFS Used)’ | tr ‘\n’ ‘\t’ | sed -e ‘s/(Name)/\n\1/g’ | sort --field-separator=: --key=5,5n

评论区

×
×