一、要远程同步上传的文件至文件服务器,可以使用命令scp命令:
~~~~~~~~~~~~~start~~~~~~~~~~~~~~~~~~~
#!/bin/bashif [ $# -ne 4 ] then
echo "[ERROR] usage : ./send_dir ip password source_dir dst_dir" exit 1 fiip=$1
port="22" passwd=$2 local_dir=$3 remote_dir=$4/bin/rpm -qa|/bin/grep -q expect
if [ $? -ne 0 ];then echo "please install expect" exit fiexpect -c "
spawn scp -r -P $port $local_dir root@$ip:$remote_dir expect { \"*assword\" {set timeout 300; send \"$passwd\r\";} \"yes/no\" {send \"yes\r\"; exp_continue;} } expect eof" ~~~~~~~~~~~~~end~~~~~~~~~~~~~~~~~~~但scp命令只能全部覆盖已有文件。考虑使用rsync来代替scp,不覆盖全部目录。
二、rsync认证方式:
rsync有两种常用的认证方式,一种是rsync-daemon方式,另外一种是ssh方式。在平时使用过程,我们使用最多的是rsync-daemon方式。注意:在使用rsync时,服务器和客户端都必须安装rsync程序。
1、rsync-daemon认证
rsync在rsync-daemon认证方式下,默认监听TCP的873端口。
rsync-daemon认证方式是rsync的主要认证方式,这个也是我们经常使用的认证方式。并且也只有在此种模式下,rsync才可以把密码写入到一个文件中。
注意:rsync-daemon认证方式,需要服务器和客户端都安装rsync服务,并且只需要rsync服务器端启动rsync,同时配置rsync配置文件。客户端启动不启动rsync服务,都不影响同步的正常进行。
2、ssh认证
rsync在ssh认证方式下,可通过系统用户进行认证,即在rsync上通过ssh隧道进行传输,类似于scp工具。此时同步操作不在局限于rsync中定义的同步文件夹。
注意:ssh认证方式,不需要服务器和客户端配置rsync配置文件,只需要双方都安装rsync服务,并且也不需要双方启动rsync。
若rsync服务端SSH为标准端口,此时rsync使用方式如下:
# rsync -avz /root/test root@192.168.199.248:/root/
可以试一下,需要输入密码就可以同步。
三、安装Rsync:
安装rsync,我们可以分为两种方式:源码方式安装和RPM方式安装。
注意:rsync软件无论是服务器端还是客户端都是同一个软件包。
1、源码方式安装(步骤较多):
源码方式安装rsync,我们需要到其官网下载对应的安装包。rsync官网:rsync.samba.org。或者wget http://rsync.samba.org/ftp/rsync/rsync-3.1.1.tar.gz。
安装包下载完毕后,我们开始解压并安装。如下:
# tar -xf rsync-3.1.1.tar.gz # ./configure # make &&make install还有更多配置信息,请参见 https://yq.aliyun.com/articles/43197。本文主要介绍第二种方式。
2、RPM方式安装(简单方便):
RPM方式安装rsync比较简单,直接使用yum进行安装即可。
#yum -y install rsync
查看rsync安装的位置:#rpm -ql rsync-3.0.6-12.el6.x86_64
可以看到RPM方式安装的rsync是把rsync安装到/usr/bin目录下的,并且还生成一个/etc/xinetd.d/rsync文件。查看安装时产生的帮助文档:more /usr/share/doc/rsync-3.0.6/README。在centos下rsync默认以xinetd方式运行rsync服务(开机启动)。所以RPM方式安装的话rsync,我们只需启动xinet服务即可。但是在启动xinetd服务之前,我们还需要配置文件/etc/xinetd.d/rsync,如下:
#vi /etc/xinetd.d/rsync
service rsync
{ disable = no flags = IPv6 socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = –daemon –config=/etc/rsyncd.conf log_on_failure += USERID }配置完毕后,我们还需要安装xinetd软件包,否则无法启动xinetd服务。如下:
#yum -y install xinetd
#/etc/init.d/xinetd start
#chkconfig xinetd on
#netstat -tunlp |grep 873
四、配置rsync
rsync安装完毕后,我们就需要配置rsync。而对于rsync服务器来说,最重要和最复杂的就是它的配置了。rsync的配置分为服务器端和客户端:
1、服务端:
rsync服务器端需要两个配置文件:rsyncd.conf、rsyncd.password。
其中rsyncd.conf默认存放在/etc/目录下,同时它也是rsync服务器的主配置文件。该文件配置了rsync服务器的控制认证、访问、日志记录等等。而rsyncd.password主要用于存储rsync用户名和密码。
但是在rsync安装完毕后后是不会生成以上这两个配置文件的,需要我们手工进行创建。
rsyncd.conf配置文件内容如下:
#cat /etc/rsyncd.conf
uid = root
gid = root
user chroot = no
max connections = 200
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/run/rsyncd.log
[backup]
path = /backup/
ignore errors
read only = no
list = no
hosts allow = 192.168.199.0/255.255.255.0
auth users = test
secrets file = /etc/rsyncd.password
[www]
path = /www/
ignore errors
read only = no
list = no
hosts allow = 192.168.199.0/255.255.255.0
auth users = apache
secrets file = /etc/rsyncd.password
创建密码文件:
#echo “test:test”>>/etc/rsyncd.password
#echo “apache:apache”>>/etc/rsyncd.password
#cat /etc/rsyncd.password
注意:该密码文件中的用户和密码可以进行自定义,同时该用户不一定要在服务器中的系统用户存在。
密码文件创建完毕后,要把其权限要设置为600,否则会在以后同步时提示验证出错。如下:
#chmod 600 /etc/rsyncd.password
一个rsync配置文件中可以包含多个认证模块,同时一个密码文件中也可以存放多个用户和其对应的密码。其中每一个认证模块可以对应不同的客户端。
以上两个文件创建完毕后,我们来创建其对应的目录并授权,如下:
#mkdir /{backup,www}
#chown root:root –R /backup/
#chown root:root –R /www/
2、客户端:
在客户端安装完毕rsync服务后,是不需要启动rsync服务的。我们只需要在客户端创建连接rsync服务器时,验证码用户所需要的密码文件即可。
该密码文件中的密码要与rsync服务器上的密码文件中的密码对应,并且也要与rsync服务器rsyncd.conf配置文件中的认证模块中的用户匹配。
当然该密码文件不创建也是可以的,不创建的话。我们在执行rsync操作时,就需要输入rsync的对应用户的密码。如下:
#echo “apache”>>/etc/rsyncd.password
#chmod 600 /etc/rsyncd.password
五、rsync的启动与关闭:
如果是RPM方式安装的rsync,如下:
#/etc/init.d/xinetd start
如果是通过yum方式进行安装的,我们可以通过关闭xinetd服务来达到关闭rsync服务的目的。如下:
#/etc/init.d/xinetd stop
六、rsync同步实例:
现在rsync服务器是192.168.199.247,rsync客户端为192.168.199.248。
首先在rsync服务器192.168.199.247的www模块下/www/目录下新建一个文件ilanni247,内容如下:
#vi /www/ilanni247
this is server 247 www.
然后在rsync客户端192.168.199.248的/root下新建一个www目录,并在此目录下创建一个文件ilanni248,内容如下:
mkdir www
vi /www/ilanni248
this is client 248 www.
下面就要把rsync客户端192.168.199.248文件推送到rsync服务器192.168.199.247上,我们需要使用到rsync帮助命令中的第三种命令,如下:
rsync [OPTION]… SRC [SRC]… [USER@]HOST::DEST
#rsync -avz /root/www/* apache@192.168.199.247::www
执行成功后显示:
sending incremental file list ilanni248sent 89 bytes received 27 bytes 232.00 bytes/sec
total size is 23 speedup is 0.20#rsync -avz /root/www/* apache@192.168.199.247::www –password-file=/etc/rsyncd.password
执行成功后也可以显示:
sending incremental file list ilanni248sent 89 bytes received 27 bytes 232.00 bytes/sec
total size is 23 speedup is 0.20终于可以同步成功了,但是没有跳过同名的文件,补加参数:
#rsync -avzut /root/www/* apache@192.168.199.247::www –password-file=/etc/rsyncd.password
OK!现在就加入到shell脚本中,准备用java去调用喽!
附录:
1、rsync几个重要参数
我们先在此大致介绍下经常使用的几个参数:-v,-a,-z
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关,强制对文件传输进行校验
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-t, --times 保持文件时间信息
-z, --compress对备份的文件在传输时进行压缩处理。
--delete:删除那些DST中存在而在SRC中没有的文件。
2、rsync六种工作模式
1)rsync [OPTION]… SRC [SRC]… DEST
2)rsync [OPTION]… SRC [SRC]… [USER@]HOST:DEST
3)rsync [OPTION]… SRC [SRC]… [USER@]HOST::DEST
4)rsync [OPTION]… SRC [SRC]… rsync://[USER@]HOST[:PORT]/DEST
5)rsync [OPTION]… [USER@]HOST:SRC [DEST]
6)rsync [OPTION]… [USER@]HOST::SRC [DEST]
7)rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]