Bootstrap

数据的实时同步

一、两主机间数据的实时同步

1.同步原理

利用监控服务(inotify),监控同步数据服务器目录中信息的变化发现目录中数据产生变化,就利用rsync服务推送到备份服务器上

2.实现方式

inotify+rsync方式实现数据同步
sersyncinotify 软件基础上进行开发的,功能更加强大

3.inotify

异步的文件系统时间监控机制,利用事件驱动机制,而无须通过诸如cron等的轮询机制来获取事件,linux内核从2.6.13起支持 inotify,通过inotify可以监控文件系统中添加、删除,修改、移动等各种事件

4.实现数据同步的软件

inotify-tools,sersync,lrsyncd

二、inotifyrsync实现实时同步

1.inotify对同步数据目录信息的监控
2.rsync完成对数据的同步
3.利用脚本进行结合

三、具体步骤

1.在服务端安装rsync
yum install rsync
2.配置rsync的配置文件
vim /etc/rsync.conf
uid = root
gid = root
use chroot = no
max connections = 0
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log   //日志文件路径
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock  //锁文件路径
reverse lookup = no
hosts allow = 192.168.30.16/24 //允许此主机同步
[backup]
path = /backup/   //同步数据路径
comment = backup    //共享说明
read only = no      //非只读
auth users = javis  //允许此用户访问
secrets file = /etc/rsync.pass  //账号文件路径
3.服务器端生成验证文件
echo "javis:zhuzhuzhu" > /etc/rsync.pass
chmod 600 /etc/rsync.pass
4.服务器端准备目录
mkdir /backup
5.启动服务
rsync  --deamon  //可加入/etc/rc.d/rc.local实现开机启动
6.客户端配置密码文件
echo "zhuzhuzhu"  > /etc/rsync.pass
chmod 600 /etc/rsync.pass
7.客户端安装软件
yum install inotify-tools rsync -y
8.客户端测试同步数据
rsync  -avz  --password-file=/etc/rsync.pass  /data/ [email protected]::backup
9.编写客户端脚本inotify_rsync.sh实现同步
#!/bin/bash
SRC='/data/'  //需要同步的目录
DEST='[email protected]::backup'  //同步到的目录
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR FILE;do
FILEPATH=${DIR}${FILE}
rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST &&  echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log
done
10.inotifywait命令常见选项

-m, --monitor 始终保持事件监听
-d, --daemon 以守护进程方式执行,和-m相似,配合-o使用
-r, --recursive 递归监控目录数据信息变化
-q, --quiet 输出少量事件信息
--timefmt <fmt> 指定时间输出格式
--format <fmt> 指定的输出格式;即实际监控输出内容
-e 指定监听指定的事件,如果省略,表示所有事件都进行监听
--exclude <pattern> 指定排除文件或目录,使用扩展的正则表达式匹配的模式实现
--excludei <pattern> 和exclude相似,不区分大小写
-o, --outfile <file>打印事件到文件中,相当于标准正确输出
-s, --syslogOutput 发送错误到syslog相当于标准错误输出

11. --timefmt <fmt>时间格式,参考 man 3 strftime

%Y 年份信息,包含世纪信息
%y 年份信息,不包括世纪信息
%m 显示月份,范围 01-12
%d 每月的第几天,范围是 01-31
%H 小时信息,使用 24小时制,范围 00-23
%M 分钟,范围 00-59

12.--format <fmt> 格式定义

%T 输出时间格式中定义的时间格式信息,通过 --timefmt option 语法格式指定时间信息
%w事件出现时,监控文件或目录的名称信息
%f 事件出现时,将显示监控目录下触发事件的文件或目录信息,否则为空
%e 显示发生的事件信息,不同的事件默认用逗号分隔
%Xe显示发生的事件信息,不同的事件指定用X进行分隔

13.-e 选项指定的事件类型

create 文件或目录创建
delete 文件或目录被删除
modify 文件或目录内容被写入
attrib 文件或目录属性改变
close_write 文件或目录关闭,在写入模式打开之后关闭的
close_nowrite 文件或目录关闭,在只读模式打开之后关闭的
close 文件或目录关闭,不管读或是写模式
open 文件或目录被打开
moved_to 文件或目录被移动到监控的目录中
moved_from 文件或目录从监控的目录中被移动
move 文件或目录不管移动到或是移出监控目录都触发事件
access 文件或目录内容被读取
delete_self 文件或目录被删除,目录本身被删除
unmount 取消挂载

转载于:https://blog.51cto.com/14230230/2397592

;