hadoop 动态增删节点

3383阅读 0评论2011-12-16 skybin090804
分类:云计算

增加节点:



新节点正常安装hadoop copy过来就行了,建立相关目录

然后在新节点上运行

 ./hadoop-daemon.sh start datanode

 ./hadoop-daemon.sh start tasktracker

然后在namenode上运行hadoop balance



(在数据平衡的时候,注意传输块大少的选择)





删除节点(整个过程要把数据的录入和删除任务停止):

1. 把需要删除的节点填入一个文件 echo "192.168.239.71" > /data/hadoop-0.20.2/conf/excludes

2. 在主节点的core-site.xml配置文件中添加如下内容:



          dfs.hosts.exclude

          /data/hadoop-0.20.2/conf/excludes



说明

dfs.hosts.exclude:指要删除的节点 

/data/hadoop-0.20.2/conf/excludes:指定要被删除文件所在路径及名称,该处定义为excludes

3. 运行命令使其生效


hadoop dfsadmin -refreshNodes
该命令可以动态刷新dfs.hostsdfs.hosts.exclude配置,无需重启NameNode节点删除后,节点的tasktracker还是在运行中,需手动删除。

  ./hadoop-daemon.sh stop datanode



hadoop dfsadmin -report查看结果,如下

Name: 192.168.239.71:50010

Decommission Status : Decommissioned

Configured Capacity: 0 (0 KB)

DFS Used: 0 (0 KB)

Non DFS Used: 0 (0 KB)

DFS Remaining: 0(0 KB)

DFS Used%: 100%

DFS Remaining%: 0%

Last contact: Thu Jan 01 08:00:00 CST 1970





如果Status为 Decommissione in process表现数据还在平衡,这时候请不要运行数据录入或剔除机器。
上一篇:Hive基础
下一篇:Hadoop回收站trash