在centos系统上配置和管理hadoop分布式文件系统（hdfs）涉及多个步骤，包括安装hadoop、设置环境变量、修改配置文件、启动和停止服务等。以下是一个详细的指南：
1. 安装Hadoop
首先，需要在centos上安装Hadoop。你可以从apache Hadoop的官方网站下载合适的版本，并解压到指定目录，例如 /usr/local/hadoop。
2. 设置环境变量
编辑 /etc/profile 文件，添加Hadoop相关的环境变量，如 HADOOP_HOME 和 PATH：
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存文件后，运行以下命令使配置生效：
source /etc/profile
3. 配置HDFS
3.1 配置核心文件目录
进入Hadoop的配置文件目录，通常位于 HADOOP_HOME/etc/hadoop 中。关键的配置文件包括：
- core-site.xml：设置HDFS的默认文件系统地址。
- hdfs-site.xml：配置HDFS的数据存储路径和副本数等。
- yarn-site.xml 和 mapred-site.xml：主要用于YARN和mapreduce配置，不涉及HDFS。
3.2 修改 core-site.xml
编辑 core-site.xml 文件，添加以下内容：
<configuration><property><name>fs.defaultFS</name><value>hdfs://namenode_hostname:9000</value></property><property><name>hadoop.tmp.dir</name><value>/var/hadoop/tmp</value></property></configuration>
将 namenode_hostname 替换为NameNode节点的主机名或IP地址。
3.3 修改 hdfs-site.xml
编辑 hdfs-site.xml 文件，添加以下内容：
<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode/data</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode/data</value></property></configuration>
确保 /path/to/namenode/data 和 /path/to/datanode/data 目录存在，如果不存在，可以手动创建。
4. 配置ssh无密码登录
为所有Hadoop节点配置SSH无密码登录，以便节点间可以无密码通信。
- 生成SSH密钥对：
ssh-keygen -t rsa
- 将公钥复制到其他节点：
ssh-copy-id user@nodeX
将 user 替换为用户名，nodeX 替换为节点名称。
5. 格式化NameNode
在首次启动HDFS之前，需要格式化NameNode：
hdfs namenode -format
6. 启动HDFS
在NameNode节点上执行以下命令启动HDFS集群：
start-dfs.sh
7. 验证HDFS
使用以下命令检查HDFS是否正常运行：
hdfs dfsadmin -report
访问 https://www.php.cn/link/a6a141f631618325c81115ed35c32ff5 查看HDFS Web ui。
8. 停止HDFS
在NameNode节点上执行以下命令停止HDFS集群：
stop-dfs.sh
9. 监控和日志
配置日志目录和监控工具，以便及时发现和解决问题。可以使用Hadoop提供的Web界面查看集群状态和日志。
10. 权限管理
HDFS使用类似于linux的权限模型，可以通过 hdfs dfs -chmod 和 hdfs dfs -chown 命令来设置文件和目录的权限。HDFS还支持更精细的权限控制，可以通过 hdfs dfs -setfacl 和 hdfs dfs -getfacl 命令来设置和查看ACL。
11. 扩展和管理
- 扩容：当集群存储不足时，可以增加新的DataNode节点，并重新配置HDFS以包含新的节点。
- 缩容：在集群需求减少时，可以移除DataNode节点，并相应地调整HDFS的配置。
通过以上步骤，你可以在CentOS上成功配置和管理HDFS集群。确保所有配置正确无误后，你可以开始使用HDFS进行大数据存储和处理。
