文章目录
1. 查看HDFS集群状态
1.1 端口号说明
- Hadoop 2.x 使用端口号 50070
- Hadoop 3.x 使用端口号 9870
1.2 用主机名访问
访问 Hadoop WebUI 通过 http://master:9870
,其中 master
是主节点的主机名。
1.3 主节点状态
- Active 表示主节点处于正常运行状态。
1.4 用IP地址访问
使用主节点的浮动IP地址访问,例如 http://192.168.219.83:9870
,并查看本机映射文件。
1.5 查看数据节点
- 单击绿色导航栏上的 Datanodes 选项卡,可以查看集群中所有数据节点的状态。
2. 操作HDFS文件系统
2.1 查看HDFS文件系统
- 单击 Utilities 选项卡,然后选择 Browse the file system 菜单项,查看根目录
/
。
2.2 在HDFS上创建目录
-
创建根目录下的
BigData
目录- 切换到根目录。
- 找到并单击 Create Directory 按钮。
- 输入目录名
BigData
并单击 Create 按钮。
-
在
china
里创建sichuan/luzhou/lzy
多级目录- 进入
china
目录,创建sichuan
。 - 进入
sichuan
,创建luzhou
。 - 进入
luzhou
,创建lzy
。
- 进入
2.3 上传文件到HDFS
-
上传小文件(如
hosts
文件)到/BigData
目录- 切换到
/BigData
目录。 - 单击 Upload Files 按钮。
- 选择文件并单击 Upload 按钮。
- 切换到
-
上传大文件(如
hadoop-3.3.4.tar.gz
)到/BigData
目录- 注意大文件会被分割成多个块,默认块大小为128M。
- 查看文件详情和块信息。
2.4 删除HDFS文件和目录
-
删除文件
- 单击文件右侧的删除图标。
- 确认删除操作。
-
删除目录
- 单击目录右侧的删除图标。
- 确认删除操作。
3. 查看YARN集群状态
通过访问 http://master:8088
可以查看YARN集群的状态。如果还没有运行过MapReduce应用,表格中将没有任何数据。
4. 实战总结
在本次实战中,我们通过Hadoop WebUI成功监控了HDFS集群状态,并掌握了如何在HDFS上进行文件和目录的操作。通过访问端口9870,我们查看了集群状态,创建并上传了文件,以及执行了删除操作。此外,通过端口8088我们检查了YARN集群状态。这些操作加深了我们对Hadoop文件系统管理的理解,为后续的大数据处理打下了坚实基础。