想用 Java 操作 hdfs 不难，熟悉 hadoop api 和文件操作逻辑即可。1. 环境配置方面需引入 hadoop 依赖，如使用 maven 添加 hadoop-client 依赖，版本与集群一致，并确保能连接 hadoop 集群。2. 初始化 Filesystem 时创建 configuration 对象并设置 fs.defaultfs，连接目标 hdfs，必要时配置 kerberos 认证和用户信息。3. 常见操作包括上传 copyfromlocalfile、下载 copytolocalfile 和列出目录 liststatus，用于数据迁移等任务。4. 注意事项包括权限处理，可在代码中指定用户或运行参数，同时做好异常捕获以应对路径不存在、文件已存在等情况。掌握这些关键点后，java 操作 hdfs 就变得简单了。
想用 Java 操作 HDFS？其实不难，只要熟悉 Hadoop 的 API 和基本的文件操作逻辑，就能轻松上手。下面我会从环境准备、核心代码结构、常见操作几个方面讲清楚怎么用 Java 来读写 HDFS 文件。
1. 环境配置：Hadoop依赖不能少
在开始写代码之前，你得确保项目里引入了 Hadoop 的相关依赖。如果你用 Maven，可以在 pom.xml 中加一段：
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.3.6</version> </dependency>
版本号可以根据你的 Hadoop 集群版本来调整。除了 Maven，你也可以手动下载 jar 包并加入项目构建路径中。
立即学习“Java免费学习笔记（深入）”；
另外，开发环境中最好能连接到一个实际运行的 Hadoop 集群（本地单机版也行），否则测试的时候可能会遇到连接不上 Namenode 的问题。
2. 初始化 FileSystem：获取HDFS操作句柄
Java 操作 HDFS 主要是通过 org.apache.hadoop.fs.FileSystem 这个类来完成的。你需要先创建一个配置对象，并连接到目标 HDFS 集群：
Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); FileSystem fs = FileSystem.get(conf);
这段代码的意思是告诉程序，默认的文件系统是哪个 HDFS 地址。如果集群启用了 Kerberos 认证，还需要额外配置用户信息和安全凭据。
小提示：
- 如果你在本地调试但不想连接远程集群，可以用 file:/// 协议来模拟本地文件系统。
- 使用完后记得调用 fs.close()，避免资源泄漏。
3. 常见操作：上传、下载、查看目录结构
掌握了 FileSystem 对象之后，就可以执行常见的文件操作了。比如：
上传文件到 HDFS
Path srcPath = new Path("/local/path/to/file.txt"); Path dstPath = new Path("/user/hadoop/file.txt"); fs.copyFromLocalFile(srcPath, dstPath);
下载文件到本地
Path hdfsPath = new Path("/user/hadoop/file.txt"); Path localPath = new Path("/local/path/to/file.txt"); fs.copyToLocalFile(hdfsPath, localPath);
列出某个目录下的所有文件
Path dirPath = new Path("/user/hadoop/"); FileStatus[] statuses = fs.listStatus(dirPath); for (FileStatus status : statuses) { System.out.println(status.getPath().getName()); }
这些方法都很直接，适合做数据迁移、日志采集等任务。
4. 注意事项：权限和异常处理别忽略
使用 Java 操作 HDFS 时，权限问题经常容易被忽视。比如：
- 如果你是用 windows 本地跑代码，Hadoop 可能会默认以当前用户名去访问 HDFS，如果没有权限就会报错。
- 解决办法之一是在代码中指定用户：
System.setProperty("HADOOP_USER_NAME", "hadoop");
或者在运行时加上 -DHADOOP_USER_NAME=hadoop 参数。
此外，网络问题、路径不存在、文件已存在等情况也要做好异常捕获：
try { // HDFS操作代码 } catch (IOException e) { e.printStackTrace(); }
基本上就这些内容了。掌握这几个关键点，就可以用 Java 轻松操作 HDFS 文件系统了。虽然看起来步骤不少，但很多都是模板化的代码，真正写起来也不复杂。
