在centos系统上设置hdfs（hadoop分布式文件系统）的资源调度，主要涉及两个核心模块：yarn（yet another Resource negotiator）以及mapreduce。以下为配置这两个模块的基础操作流程：
1. 安装Hadoop
首先，确保你已经在系统中完成Hadoop的安装。可以从apache官网下载对应版本，并参考其安装文档进行部署。
2. YARN配置
YARN用于管理集群中的资源调度与分配。以下是几个核心配置文件的修改示例：
core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://your-namenode-host:8020</value></property></configuration>
hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode/dir</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode/dir</value></property></configuration>
yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>your-resourcemanager-host</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><property><name>yarn.scheduler.minimum-allocation-mb</name><value>1024</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>8192</value></property><property><name>yarn.scheduler.capacity.maximum-am-resource-percent</name><value>0.5</value></property></configuration>
3. MapReduce配置
MapReduce负责执行数据处理任务。以下为其关键配置文件的调整内容：
mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>your-jobhistory-host:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>your-jobhistory-host:19888</value></property></configuration>
4. 启动Hadoop集群
完成上述配置后，启动整个Hadoop环境：
start-dfs.sh start-yarn.sh
5. 配置验证
使用如下命令检查服务是否正常运行：
jps
预期看到的进程包括：
- ResourceManager
- NodeManager
- JobHistoryServer
- NameNode
- DataNode
6. 监控与优化
通过Hadoop提供的Web界面查看集群运行状态，并根据实际需求对资源配置进行优化。例如，可以通过ResourceManager的网页界面了解当前资源使用情况和任务执行状态。
按照以上步骤，即可完成在centos平台上的HDFS资源管理配置。根据实际业务需求，可能还需要进一步优化相关参数。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
