HDFS的黑白名单机制

HDFS的黑白名单机制

黑名单 - 在网络SEO优化当中，搜索引擎或者义务用户收集的搜索引擎垃圾制造者列表，可以用于从搜索引擎封杀这些垃圾制造者，或者抵制他们。
白名单 - 白名单的概念与“黑名单”相对应。如果设立了白名单，则在白名单中的用户（或IP地址、IP包、邮件等）会优先通过，不会被当成垃圾邮件拒收，安全性和快捷性都大大提高。

通俗来讲，黑名单策略就是名单中记录的节点不能通过，其他记录放行。与之相对应的白名单就是只有名单中的记录可以通过，未记录的信息不能通过。

HDFS—添加白名单

由于集群中添加克隆节点较为容易，如果不做如何措施，都可访问到NameNode.
所以，创建一份白名单，添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。
配置白名单的具体步骤如下：

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件

[root@hadoop03 hadoop]# touch dfs.hosts
[root@hadoop03 hadoop]# vim dfs.hosts

添加如下主机名称

hadoop03
hadoop04
hadoop05

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
       <name>dfs.hosts</name>
       <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

3. 配置文件分发

[root@hadoop03 hadoop]# xsync hdfs-site.xml 

4. 刷新NameNode

[root@hadoop03 hadoop-2.7.2]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

5. 更新ResourceManager节点

[root@hadoop03 hadoop-2.7.2]# yarn rmadmin -refreshNodes
/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh: line 10: i#: command not found
20/05/11 13:23:15 INFO client.RMProxy: Connecting to ResourceManager at hadoop04/192.168.235.131:8033

至此，白名单配置成功！