Bootstrap

5.4.2-2 编写Java程序写入HDFS文件

在本次实战中,我们深入探索了如何使用Java程序与Hadoop分布式文件系统(HDFS)进行交互,实现数据的写入操作。首先,我们创建了WriteFileOnHDFS类,并在其中实现了两个核心方法:write1()write2()

write1()方法展示了如何直接在HDFS中创建并写入数据。我们配置了Hadoop文件系统,指定了文件路径,并使用FileSystem类的create方法生成了文件,随后通过FSDataOutputStream将数据写入。

write2()方法则进一步扩展了这一过程,允许我们将本地文件test.txt的内容写入HDFS。这涉及到文件的读取和逐行写入HDFS,为处理本地数据提供了一种有效方式。

通过这两个方法的实现和测试,我们不仅熟悉了Hadoop文件系统的Java API,还解决了权限问题,确保了数据能够成功写入。最终,我们通过Hadoop命令行工具验证了写入结果,完成了从本地到HDFS的数据迁移。这次实战为我们提供了宝贵的经验,加深了对Hadoop文件操作的理解。

在这里插入图片描述

;