rsync
指尖二进制 • 1 年前 • 951 次点击 • LINUX
[TOC]
一：简介
Rysnc特性和优点
可以镜像保存整个目录树和文件系统。
可以很容易做到保持原来文件的权限、时间、软硬链接等等。
无须特殊权限即可安装。
快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。
压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。Rsync和scp一样都是基于ssh协议加密进行传输。
支持匿名传输：以方便进行网站镜象。
选择性保持：符号连接，硬链接，文件属性，权限，时间等
常见备份分类
完整备份：差异备份，增量备份
完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地
差量备份：备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
增量备份：备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)
运行模式和端口
采用C/S模式（客户端/服务器模式）[ 就是一个点到点的传输，直接使用rsync命令 ]
端口873
发起端和备份源
四个名词的解释：
发起端：负责发起rsync同步操作的客户机叫做发起端，通知服务器我要备份你的数据
备份源：负责相应来自客户机rsync同步操作的服务器脚在备份源，需要备份的服务器
服务端：运行rsyncd服务，一般来说，需要备份的服务器
客户端：存放备份数据
数据同步方式
推push：一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况
拉pull：所有主机定时去找一主机拉数据，可能就会导致数据缓慢
推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）
拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）
两种方案，rsync都有对应的命令来实现
Xinetd管理Rsync工作原理
使用rsync来同步是先通过xinetd监听873号端口，如果rsync进来的是873号端口，那么xinetd就会通知它所管辖的rsync服务来做回应，接下来就是rsync俩服务于之间的通讯
Rsync服务依赖Xinetd，是使用超级服务来管理的
Rsync命令：rsync命令和scp命令很相似。常用的 -avz
| 参数 | 释义 |
|---|---|
| -a,--archive archive mode | 权限保存模式,相当于 -rlptgoD 参数，存档，递归，保持属性等 |
| -r,--recursive | 复制所有下面的资料，递归处理 |
| -p,--perms | 保留档案权限，文件原有属性 |
| -t,--times | 保留时间点，文件原有时间 |
| -g,--group | 保留原有属组 |
| -o,--owner | 保留档案所有者(root only) |
| -D,--devices | 保留device资讯(root only) |
| -l,--links | 复制所有的连接，拷贝连接文件 |
| -z,--compress | 压缩模式，当资料在传送到目的端进行档案压缩 |
| -H,--hard-links | 保留硬链接文件 |
| -A,--acls | 保留ACL属性文件，需要配合--perms |
| -P | -P参数和 --partial --progress 相同。只是为了把参数简单化，表示传进度 |
| --version | 输出rsync版本 |
| -v,--verbose | 复杂的输出信息 |
| -u,--update | 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件 |
| --port=PORT | 定义rsyncd(daemon)要运行的port(预设为tcp 873) |
| --delete | 删除那些目标位置有的文件而备份源没有的文件 |
| --password-file=FILE | 从FILE中得到密码 |
| --bwlimit=KBPS | 限制I/O带宽 |
| --filter “-filename” | 需要过滤的文件 |
| --exclude=filname | 需要过滤的文件 |
| --progress | 显示备份过程 |
二：系统用户备份数据
1：备份服务器操作：
1.1 backserver服务器部署，安装所需软件，并启动
[root@backserver ~]# hostnamectl set-hostname backupserver
[root@backserver ~]# yum install vim net-tools xinetd rsync -y
[root@backserver ~]# rsync --daemon
[root@backserver ~]# netstat -ntl|grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
tcp6 0 0 :::873 :::* LISTEN 1.2 建立系统备份用户
[root@backserver ~]# useradd backup; echo backup:123456 |chpasswd
[root@backserver ~]# id backup
uid=1000(backup) gid=1000(backup) groups=1000(backup)1.3建立存储服务存放目录/web-back/，并开放权限给备份用户使用
[root@backserver ~]# mkdir /web-back/
[root@backserver ~]# chown backup:backup /web-back/2：客户端操作：
2.1 建立系统备份用户
[root@webserver ~]# hostnamectl set-hostname webserver
[root@webserver ~]# useradd backup; echo backup:123456 |chpasswd
[root@webserver ~]# id backup
uid=1000(backup) gid=1000(backup) groups=1000(backup)2.2 开放web服务器备份目录权限让backup用户操作：
[root@webserver ~]# mkdir -p /var/www/html
[root@webserver ~]# setfacl -R -m default:backup:rwx /var/www/html/
[root@webserver ~]# setfacl -R -m user:backup:rwx /var/www/html/
[root@webserver ~]# getfacl /var/www/html/
getfacl: Removing leading '/' from absolute path names
# file: var/www/html/
# owner: root
# group: root
user::rwx
user:backup:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:backup:rwx
default:group::r-x
default:mask::rwx
default:other::r-x2.3 复制web服务器/boot/目录下所有文件到/var/www/html/目录下并查看目录下多少行
[root@webserver ~]# cp /boot/* /var/www/html/
cp: omitting directory ‘/boot/efi’
cp: omitting directory ‘/boot/grub’
cp: omitting directory ‘/boot/grub2’
[root@webserver ~]# ll /var/www/html/|wc -l
92.4 推送测试webserver推送/var/www/html/到backserver/web-back/
[root@webserver ~]# yum install vim net-tools xinetd rsync -y
[root@webserver ~]# rsync -avz --delete /var/www/html/ backup@10.0.0.11:/web-back/
The authenticity of host '10.0.0.11 (10.0.0.11)' can't be established.
ECDSA key fingerprint is SHA256:m9/D628duj1ORvvziEEKK7Cp1rl2hoglqWHKY+YmSBo.
ECDSA key fingerprint is MD5:28:f8:0a:c8:3e:eb:4b:53:ca:c5:9a:2b:09:ed:24:71.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.0.0.11' (ECDSA) to the list of known hosts.
backup@10.0.0.11's password:
sending incremental file list
./
System.map-3.10.0-957.el7.x86_64
config-3.10.0-957.el7.x86_64
initramfs-0-rescue-8c7f94a6cb61443c97c7f22b352a846b.img
initramfs-3.10.0-957.el7.x86_64.img
initramfs-3.10.0-957.el7.x86_64kdump.img
symvers-3.10.0-957.el7.x86_64.gz
vmlinuz-0-rescue-8c7f94a6cb61443c97c7f22b352a846b
vmlinuz-3.10.0-957.el7.x86_64
sent 96,919,268 bytes received 171 bytes 12,922,591.87 bytes/sec
total size is 101,209,222 speedup is 1.04
[root@backupserver ~]# ll /web-back/|wc -l
9三：非系统用户备份数据
使用系统配置文件/etc/rsyncd.conf来备份数据，创建备份账户，最后把rsync以deamon方式运行
rsyncd.conf配置文件
配置文件分为两部分：全局参数，模块参数
全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数生效
模块参数：定义需要通过rsync输出的目录定义的参数
常见的全局参数：
| 参数 | 释义 |
|---|---|
| port | 指定后台程序使用的端口号，默认为873 |
| uid | 该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody" |
| gid | 该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody" |
| max connections | 指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制 |
| lock file | 指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock |
| motd file | "motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的 |
| log file | "log file"指定rsync的日志文件，而不将日志发送给syslog |
| pid file | 指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置 |
| hosts allow | 单个IP地址或网络地址 #允许访问的客户机地址常见的模块参数：主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的 |
| Comment | 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义 |
| Path | 指定该模块的供备份的目录树路径，该参数是必须指定的 |
| read only | yes为只允许下载，no为可以下载和上传文件到服务器 |
| exclude | 用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问) |
| exclude from | 指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行 |
| include | 用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式，结合include和exclude可以定义复杂的exclude/include规则 |
| include from | 指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义 |
| auth users | 该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式) |
| secrets file | 该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器 |
| hosts allow | 指定哪些IP的客户允许连接该模块。定义可以是以下形式：
单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开 整个网段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0 “*”则表示所有，默认是允许所有主机连接 |
| hosts deny | 指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义 |
| list | 该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true |
| timeout | 通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600 |
在备份服务器上建立虚拟用户，并建立用户和密码文件进行定时推送备份。
3.1 修改/etc/rsyncd.conf 配置文件，末尾添加以下内容：
[root@backupserver ~]# vim /etc/rsyncd.conf
uid = root #运行进程的身份
gid = root #运行进程的组
address = 10.0.0.11 #监听IP（备份服务器）
port = 873 #监听端口
hosts allow = 10.0.0.0/24 #允许同步客户端的IP地址，可以是网段，或者用*表示所有
use chroot = yes #是否囚牢，锁定家目录，rsync被黑之后，黑客无法再rsync运行的家目录之外创建文件，选项设置为yes
max connections = 5 #最大连接数
pid file = /var/run/rsyncd.pid #进程PID，自动生成
lock file = /var/run/rsyncd.lock #指max connectios参数的锁文件
log file = /var/log/rsyncd.log #日志文件位置
motd file = /etc/rsyncd.motd #客户端登陆之后弹出的消息
[wwwroot] #共享模块名称
path =/web-back/ #备份路径
comment = used for web-data root #描述
read only = false #设置服务端文件读写权限
list = yes #是否允许查看模块信息
auth users = rsyncuser #备份的用户，和系统用户无关，建立的虚拟备份用户
secrets file = /etc/rsync.passwd #存放用户的密码文件，格式是 用户名：密码3.2 创建提示文件和用户密码
[root@backserver ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@backserver ~]# vim /etc/rsync.passwd
rsyncuser:P@ssw0rd
[root@backserver ~]# chmod 600 /etc/rsync.passwd #密码文件权限必须是600或7003.3 启动服务
[root@backserver ~]# systemctl start xinetd.service
[root@backserver ~]# systemctl enable xinetd
[root@backserver ~]# ps aux | grep rsync
[root@backserver ~]# kill -9 1926 #杀掉rsync服务进程
[root@backserver ~]# rsync --daemon --config=/etc/rsyncd.conf #让rsync服务从配置文件启动
[root@backserver ~]# ps aux | grep rsync #查看已启动的rsync进程3.4 在web服务器上建立备份用户密码文件，使推送备份无需输入密码运行
[root@webserver ~]# vim /etc/rsync.passwd
P@ssw0rd
[root@webserver ~]# chmod 600 /etc/rsync.passwd #密码文件权限必须改为600或700不然无法读取3.5 web服务器运行命令：进行推送备份测试
[root@webserver ~]# rsync -avz --delete /var/www/html/ rsyncuser@10.0.0.11::wwwroot --password-file=/etc/rsync.passwd
sending incremental file list
./
System.map-3.10.0-957.el7.x86_64
config-3.10.0-957.el7.x86_64
initramfs-0-rescue-8c7f94a6cb61443c97c7f22b352a846b.img
initramfs-3.10.0-957.el7.x86_64.img
initramfs-3.10.0-957.el7.x86_64kdump.img
symvers-3.10.0-957.el7.x86_64.gz
vmlinuz-0-rescue-8c7f94a6cb61443c97c7f22b352a846b
vmlinuz-3.10.0-957.el7.x86_64
sent 96,919,945 bytes received 171 bytes 27,691,461.71 bytes/sec
total size is 101,209,262 speedup is 1.043.6 测试成功，说明配置没问题，写入定时任务自动执行
[root@webserver ~]# vim autobackup.sh
#!/bin/bash
rsync -avz --delete /var/www/html/ rsyncuser@10.0.0.11::wwwroot --password-file=/etc/rsync.passwd
#--password-file必须要指定web服务器密码文件绝对路径，否则无法读取！！！！制定定时任务，定时执行推送备份脚本
[root@webserver ~]# crontab -e
* * * * * bash /root/autobackup.sh &这样执行以后，属于用户自定义的，会被写到 /var/spool/cron 目录下，生成一个和用户名一致的文件，文件内容就是我们编辑的定时脚本。
四：Rsync+sersync实现数据实时同步
一台装sersync一台装rsync服务
Sersync服务器（数据源,源机器）：192.168.111.128
Rsync服务器（备份端,目标机器）：192.168.111.129
一：为什么要用rsync+sersync架构？
1：sersync是基于inotify开发的，类似于inotify-tools的工具
2：sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录
二：rsync+inotify-tools与rsync+sersync架构的区别？
1：rsync+inotify-tools
a：inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
b：rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低
2：rsync+sersync
a：sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；
b：rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。
同步过程：
1：在同步服务器上开启sersync服务，sersync负责监控配置路径中的文件系统事件变化；
2：调用rsync命令把更新的文件同步到目标服务器；
3：需要在主服务器配置sersync，在同步目标服务器配置rsync server（注意：是rsync服务）
同步过程和原理：
1：用户实时的往sersync服务器上写入更新文件数据；
2：此时需要在同步主服务器上配置sersync服务；
3：在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据；
通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件；然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器
原机器上开始部署sersync服务
1：下载sersync
在google code下载sersync的可执行文件版本，里面有配置文件与可执行文件
官网地址：https://sersync.googlecode.com/ 由于谷歌站点儿需要翻墙。所以本地留存最好。
下载完成后上传到服务器进行解压（附件在文章最底部）
[root@backupserver ~]# tar fx sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@backupserver ~]# mv GNU-Linux-x86 serync
[root@backupserver ~]# mv serync /usr/local/
[root@backupserver ~]# cd /usr/local/serync/
[root@backupserver serync]# ls #confxml.xml配置文件 #sersync2启动文件
confxml.xml sersync2配置sersync
[root@backupserver serync]# cp confxml.xml confxml.xml.bak
[root@backupserver serync]# vim confxml.xml
<!--更改优化sersync配置文件：
修改24--28行-->
<localpath watch="/var/www/html/"> #本地同步目录
<remote ip="10.0.0.11" name="wwwroot"/> #rsync模块名称
</localpath>
<!--修改31--34行，认证部分[rsync密码认证]-->
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="rsyncuser" passwordfile="/etc/rsync.passwd"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
<rsync>开启sersync守护进程同步数据
[root@backupserver serync]# /usr/local/serync/sersync2 -d -r -o /usr/local/serync/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d run as a daemon
option: -r rsync all the local files to the remote servers before the sersync work
option: -o config xml name： /usr/local/serync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start，sersync run behind the console
use rsync password-file :
user is rsyncuser
passwordfile is /etc/rsync.passwd
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /var/www/html && rsync -artuz -R --delete ./ rsyncuser@192.168.111.129::wwwroot --password-file=/etc/rsync.passwd >/dev/null 2>&1
run the sersync:
watch path is: /var/www/html测试
在128 /var/www/html/ 目录 增删改目录文件
看129 /web-back 目录的变化
[root@webserver web-back]# watch ls -l
设置sersync监控开机自动执行
[root@backupserver ~]# vim /etc/rc.d/rc.local #编辑，在最后添加一行
/usr/local/serync/sersync2 -d -r -o /usr/local/serync/confxml.xml ＃设置开机自动运行脚本添加脚本监控sersync是否正常运行，掉了就重启
[root@webserver ~]# vim check_sersync.sh
#!/bin/bash
sersync="/usr/local/serync/sersync2"
confxml="/usr/local/serync/confxml.xml"
status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi补充： 多实例情况
1：配置多个confxml.xml文件（比如：www、bbs、blog....等等）
2：根据不同的需求同步对应的实例文件
/usr/local/serync/sersync2 -d -o /usr/local/serync/www_confxml.xml
/usr/local/serync/sersync2 -d -o /usr/local/serync/bbs_confxml.xml