hadoop 磁盘限额配置

应用场景： 同一个集群内有些服务器磁盘 2T，有些服务器 500G，2T 的服务器磁盘得不到有效利用，这是就需要对 500G 的磁盘做限额配置.

配置方法： 在 hdfs-site.xml 里配置如下参数，注意，那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小，单位是字节. (如果多块硬盘，则表示为每块硬盘保留这么多空间)

dfs.datanode.du.reserved

236223201280
Reserved space in bytes per volume. Always leave this much space free for non dfs use.

生效方法：  重启 datanode 使该参数生效，可逐台在线重启.

for i in `list `;do
    ssh $i "hadoop/bin/hadoop-daemon.sh stop datanode && sleep 1 && hadoop/bin/hadoop-daemon.sh start datanode; sleep 30";
done

验证方式： hdfs web 中查看 Configured Capacity (GB) 大小是否已经限制为预留空间.

 

Hadoop 测试版本：Version:  0.20.2-cdh3u4, r110565