CentOS 7 配置rsync+lsyncd实现海量文件实时同步
rsync是一个非常好用的文件同步工具, 但是无法进行实时同步, 但通过lsyncd+rsync可以完美的解决海量文件实时备份, lsyncd其实可以理解为inotify + rsync的重新打包整合, 现在参考部分教程简单记录一下.
主要目的
从主服务器上实时增量备份文件到另外一台服务器上.
先在主服务器上创建无密码的ssh证书.
cd /root/
ssh-keygen -t rsa
一直按回车就会得到两个ssh证书文件, 一个id_rsa秘钥, 一个id_rsa.pub公钥.
查看公钥证书
cat /root/.ssh/id_rsa.pub
然后去备份服务器上
cd /root/
mkdir /root/.ssh
vi id_rsa.pub
然后把之前在主服务器上创建的公钥id_rsa.pub内容复制到这里
把公钥增量添加到~/.ssh/authorized_keys里面
cat /root/id_rsa.pub >> /root/.ssh/authorized_keys
再更改公钥文件权限
chmod 600 /root/.ssh/authorized_keys
更改sshd配置文件
vi /etc/ssh/sshd_config
把#AuthorizedKeysFile .ssh/authorized_keys前面的#去掉, 让其保持为
AuthorizedKeysFile .ssh/authorized_keys
然后重启备份服务器的ssh
service sshd restart
设置完成后再会主服务器
先测试一下是否可以免密码登录备份服务器
ssh root@备份服务器的ip
如果能正常登录就可以.
然后在备份服务器上操作
vi /etc/rsyncd.conf
配置如下
[backup]
# destination directory for copy
path = /home/backup
# hosts you allow to access
hosts allow = 1.1.1.1
hosts deny = *
list = true
uid = root
gid = root
read only = false
再设置rsync自动启动
systemctl enable rsyncd.service
systemctl start rsyncd.service
从再退出, 返回主服务器.
exit
返回主服务器后
安装lua lua-devel
yum install lua lua-devel -y
yum install lsyncd -y
编辑配置lsyncd的配置文件
vi /etc/lsyncd.conf
参考配置文件如下
settings {
logfile = "/var/log/lsyncd.log", --日志路径
statusFile = "/var/log/lsyncd.status", --状态文件
pidfile = "/var/run/lsyncd.pid", --pid文件路径
statusInterval = 1, --状态文件写入最短时间
nodaemon = false, --daemon运行
maxProcesses = 1, --最大进程
maxDelays = 1, --最大延迟
}
sync {
default.rsyncssh, --默认rsync+ssh,rsync版本需要升级3以上版本
source = "/home/backup/", --源目录
delete = true, --保持完全同步
host = "[email protected]",
targetdir = "/home/backup/", --目标目录
exclude={ "*.tmp", "*.bak" }, --需排除的文件
rsync = {
binary = "/usr/bin/rsync", --需先安装好rsync
archive = true, --归档
compress = false, --压缩
owner = true, --属主
perms = true, --权限
_extra = {"--bwlimit=5120"}, --限速5120KB/S
whole_file = false
},
ssh = {
port = 22
}
}
设置开机启动并运行
systemctl enable lsyncd.service
systemctl start lsyncd.service
然后去原服务器的/home/backup目录下创建一个文件看看会不会自动同步到备份服务器的/home/backup目录下
如果无法运行, 查看状态:
systemctl status lsyncd.service
提示
Error: Terminating since out of inotify watches Consider increasing
/proc/sys/fs/inotify/max_user_watches
这个是超过实例可监听的最大上限, 编辑sysctl.conf文件
vi /etc/sysctl.conf
把监听值改大一点, 在下面添加
fs.inotify.max_user_watches = 999999999
再重启lsyncd服务
sysctl -p
systemctl restart lsyncd.service
如果想停止服务
主服务器
systemctl disable lsyncd.service
systemctl stop lsyncd.service
备份服务器
systemctl disable rsyncd.service
systemctl stop rsyncd.service
本教程参考以下链接
https://www.jianshu.com/p/0ecac4f6baf2
https://renwole.com/archives/1001
https://linux.cn/article-5849-1.html
https://github.com/axkibe/lsyncd
https://axkibe.github.io/lsyncd/
http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/
https://www.stephenrlang.com/2015/12/how-to-install-and-configure-lsyncd/
另外安装后也可以直接使用rsync手动同步
从主服务器上同步数据到备份服务器上
(在主服务器上操作)
同步命令：
rsync -avzP --delete {localDir} root@{remoteHost}:{remoteDir}
示例：
rsync -avzP --delete /home/backups/ [email protected]:/tmp/
从备份服务器上恢复数据到主服务器上
(在主服务器上操作)
同步命令：
rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir}
参数说明：
示例：
rsync -avzP --delete [email protected]:/tmp/ /home/backups/
-a 参数，相当于-rlptgoD（-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件）；
-z 传输时压缩；
-P 传输进度；
-v 传输时的进度等信息；
-q 不提示信息
rsync 客户端命令参数
-v, –verbose 详细模式输出
-q, –quiet 精简输出模式
-c, –checksum 打开校验开关，强制对文件传输进行校验
-a, –archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, –recursive 对子目录以递归模式处理
-R, –relative 使用相对路径信息
-b, –backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新 命名为~filename。可以使用–suffix 选项来指定不同的备份文件前缀。 –backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, –update 仅仅进行更新，也就是跳过所有已经存在于 DST，并且文件时间晚于要备 份的文件。(不覆盖更新的文件)
-l, –links 保留软链结
-L, –copy-links 想对待常规文件一样处理软链结 –copy-unsafe-links 仅仅拷贝指向 SRC 路径目录树以外的链结 –safe-links 忽略指向 SRC 路径目录树以外的链结
-H, –hard-links 保留硬链结
-p, –perms 保持文件权限
-o, –owner 保持文件属主信息
-g, –group 保持文件属组信息
-D, –devices 保持设备文件信息
-t, –times 保持文件时间信息
-S, –sparse 对稀疏文件进行特殊处理以节省 DST 的空间
-n, –dry-run 现实哪些文件将被传输
-W, –whole-file 拷贝文件，不进行增量检测
-x, –one-file-system 不要跨越文件系统边界
-B, –block-size=SIZE 检验算法使用的块尺寸，默认是 700 字节
-e, –rsh=COMMAND 指定使用 rsh、ssh 方式进行数据同步 –rsync-path=PATH 指定远程服务器上的 rsync 命令所在路径信息
-C, –cvs-exclude 使用和 CVS 一样的方法自动忽略文件，用来排除那些不希望传输的文件 –existing 仅仅更新那些已经存在于 DST 的文件，而不备份那些新创建的文件 –delete 删除那些 DST 中 SRC 没有的文件
–delete-excluded 同样删除接收端那些被该选项指定排除的文件 –delete-after 传输结束以后再删除
–ignore-errors 及时出现 IO 错误也进行删除 –max-delete=NUM 最多删除 NUM 个文件 –partial
保留那些因故没有完全传输的文件，以是加快随后的再次传输 –force 强制删除目录，即使不为空 –numeric-ids 不将数字的用户和组
ID 匹配为用户名和组名 –timeout=TIME IP 超时时间，单位为秒
-I, –ignore-times 不跳过那些有同样的时间和长度的文件 –size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间 –modify-window=NUM
决定文件是否时间相同时使用的时间戳窗口，默认为 0
-T –temp-dir=DIR 在 DIR 中创建临时文件 –compare-dest=DIR 同样比较 DIR 中的文件来决定是否需要备份
-P 等同于 –partial –progress 显示备份过程
-z, –compress 对备份的文件在传输时进行压缩处理 –exclude=PATTERN 指定排除不需要传输的文件模式 –include=PATTERN 指定不排除而需要传输的文件模式 –exclude-from=FILE 排除 FILE 中指定模式的文件
–include-from=FILE 不排除 FILE 指定模式匹配的文件 –version 打印版本信息 –address
绑定到特定的地址 –config=FILE 指定其他的配置文件，不使用默认的 rsyncd.conf 文件 –port=PORT 指定其他的
rsync 服务端口 –blocking-io 对远程 shell 使用阻塞 IO
-stats 给出某些文件的传输状态 –log-format=formAT 指定日志文件格式 –password-file=FILE 从 FILE 中得到密码 –bwlimit=KBPS 限制 I/O 带宽，KBytes per second
-h, –help 显示帮助信息
参考
https://yugasun.com/post/migrate-server-data-using-rsync.html
https://www.jianshu.com/p/28ae43f500e4
本网站所有内容版权没有, 请随意使用, 欢迎修改或转载, 无需署名, 也无需保留本链接.
