Bootstrap

通过shell脚本定时采集数据到HDFS

第一步:创建shell脚本(在虚拟机1下的/export/data目录下执行vi uploadHDFS.sh命令,编辑shell脚本文件,具体代码如下:)

第二步:执行shell脚本(确保Hadoop集群处于启动状态,进入到/export/data目录下执行sh uploadHDFS.sh)

第三步:验证Hadoop日志文件是否上传成功(在浏览器中查看,结果如图所示:)

第四步:定时执行Shell脚本文件

(1)在虚拟机上执行rpm -qa | grep crontab命令,检查是否安装里crontab,下图是安装过了的

(2)使用crontab时,必须保证是运行状态,启动Crontab服务。

(3)进入到虚拟机的/export/data目录下,为shell脚本添加可执行权限,目的是通过Crontab的定时任务运行Shell脚本文件。

(4)执行crontab -e命令编辑Crontab文件,使用crontab -l命令可查看指定的定时任务。配置定时任务,在Crontab中添加内容如下:每隔两分钟就会执行一次shell脚本。

;