如何在CentOS上实现HDFS与YARN集成-小浪学习网

在centos上整合hdfs（hadoop分布式文件系统）与yarn（资源调度器）通常需要遵循以下步骤：

第一步：安装Hadoop

首先，在centos中安装Hadoop。以下是基础安装流程：

下载Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

设置环境变量

编辑/etc/profile.d/hadoop.sh文件，加入如下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

之后使配置生效：

source /etc/profile.d/hadoop.sh

配置Hadoop

修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，指定Java路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

调整$HADOOP_HOME/etc/hadoop/core-site.xml文件，配置HDFS：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>

更新$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，设定HDFS副本数量等参数：

<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>

编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，配置YARN：

<configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml文件，配置MapReduce：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

第二步：格式化HDFS

初次启动HDFS前，需执行格式化操作：

hdfs namenode -format

第三步：启动Hadoop集群

开启HDFS和YARN服务：

start-dfs.sh start-yarn.sh

第四步：确认集群状态

查看HDFS和YARN的状态：

jps

理想情况下，你将看到这些进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

第五步：浏览Web界面

利用浏览器访问HDFS和YARN的Web界面以确认集群运行状况：

第六步：运行简单MapReduce任务

可以执行以下命令运行一个基础的MapReduce任务来检测集成效果：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

保证/input目录已存在且包含一些文本文件。

按照上述步骤，你应该能在CentOS上顺利完成HDFS与YARN的集成。如遇问题，可查阅日志文件获取详细信息。

文章版权归作者所有，未经允许请勿转载。

THE END