《MYSQL教程編寫腳本令Xtrabackup對MySQL數(shù)據(jù)進(jìn)行備份的教程》要點:
本文介紹了MYSQL教程編寫腳本令Xtrabackup對MySQL數(shù)據(jù)進(jìn)行備份的教程,希望對您有用。如果有疑問,可以聯(lián)系我們。
MYSQL必讀
Xtrabackup備份恢復(fù)原理
備份innodb表時,xtrabackup若干個線程拷貝獨立表空間的.ibd文件,并不停監(jiān)視此過程中redo log的變化,添加到自己的事務(wù)日志文件(xtrabackup_logfile)中.在此過程中,發(fā)生的物理寫操作越多,xtrabackup_logfile越大.在拷貝完成后的第一個prepare階段,xtrabackup采用類似于innodb崩潰恢復(fù)的方法,把數(shù)據(jù)文件恢復(fù)到與日志文件一致的狀態(tài),并把未提交的事務(wù)回滾.如果同時需要備份myisam表以及innodb表結(jié)構(gòu)等文件,那么就需要用flush tables with lock來獲得全局鎖,開始拷貝這些不再變化的文件,同時獲得binlog位置,拷貝結(jié)束后釋放鎖,也停止對redo log的監(jiān)視.
?
很多同學(xué)對上面的理解有混淆,以為拷貝.ibd文件就跟操作系統(tǒng)拷貝文件一樣.其實這里涉及到fractured page的問題,他應(yīng)該會重新讀取(應(yīng)該也有重試次數(shù),超過后備份不成功).
?
其實這個原理很簡單,了解下doublewrite就可以理解了“本段摘錄自《MySQL技術(shù)內(nèi)幕:InnoDB存儲引擎》”:
如果說插入緩沖帶給InnoDB存儲引擎的是性能,那么兩次寫帶給InnoDB存儲引擎的是數(shù)據(jù)的可靠性.當(dāng)數(shù)據(jù)庫宕機時,可能發(fā)生數(shù)據(jù)庫正在寫一個頁面,而這個頁只寫了一部分(比如16K的頁,只寫前4K的頁)的情況,我們稱之為部分寫失效(partial page write).在InnoDB存儲引擎未使用double write技術(shù)前,曾出現(xiàn)過因為部分寫失效而導(dǎo)致數(shù)據(jù)丟失的情況.
?
有人也許會想,如果發(fā)生寫失效,可以通過重做日志進(jìn)行恢復(fù).這是一個辦法.但是必須清楚的是,重做日志中記錄的是對頁的物理操作,如偏移量800,寫“aaaa”記錄.如果這個頁本身已經(jīng)損壞,再對其進(jìn)行重做是沒有意義的.這就是說,在應(yīng)用(apply)重做日志前,我們需要一個頁的副本,當(dāng)寫入失效發(fā)生時,先通過頁的副本來還原該頁,再進(jìn)行重做,這就是doublewrite.
MYSQL必讀
一、下載和安裝
XtraBackup現(xiàn)在最新版本為2.1.5,官方也提供了2.0的版本可供下載,官方鏈接地址:http://www.percona.com/software/percona-xtrabackup;可以下載源碼編譯安裝,也可以下載適合的RPM包或使用yum進(jìn)行安裝.由于沒有需要特殊定制的,因此建議直接使用RPM安裝即可.
MYSQL必讀安裝方法一:
下載RPM安裝包:
MYSQL必讀
wget http://www.percona.com/downloads/XtraBackup/LATEST/RPM/rhel6/x86_64/percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm
MYSQL必讀安裝依賴:
MYSQL必讀
[root@localhost ~]# yum install -y perl-DBD-MySQL perl-DBI perl-Time-HiRes libaio*
MYSQL必讀安裝:
MYSQL必讀
[root@localhost ~]# rpm -ivh percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm
MYSQL必讀
Preparing... ########################################### [100%]
1:percona-xtrabackup ########################################### [100%]
MYSQL必讀安裝方法二:
安裝percona源:
MYSQL必讀
[root@localhost ~]# rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm
MYSQL必讀使用yum安裝percona-xtrabackup:
MYSQL必讀
[root@localhost ~]# yum -y install percona-xtrabackup
MYSQL必讀查看安裝結(jié)果:
MYSQL必讀
[root@localhost ~]# rpm -qa |grep xtrabackup
MYSQL必讀
percona-xtrabackup-2.1.5-680.rhel6.x86_64
MYSQL必讀
[root@localhost ~]# rpm -ql percona-xtrabackup-2.1.5-680.rhel6.x86_64
MYSQL必讀
/usr/bin/innobackupex
/usr/bin/innobackupex-1.5.1
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup
/usr/bin/xtrabackup_55
/usr/bin/xtrabackup_56
/usr/share/doc/percona-xtrabackup-2.1.5
/usr/share/doc/percona-xtrabackup-2.1.5/COPYING
MYSQL必讀Xtrabackup中主要包含兩個工具:
xtrabackup:是用于熱備份innodb, xtradb表中數(shù)據(jù)的工具,不能備份其他類型的表,也不能備份數(shù)據(jù)表結(jié)構(gòu);
MYSQL必讀innobackupex:是將xtrabackup進(jìn)行封裝的perl腳本,提供了備份myisam表的能力.
MYSQL必讀二、備份腳本
MYSQL必讀
#!/bin/sh
#===================================================================================================
## 備份工具:
## percona-xtrabackup-2.2.6
##
## 備份策略:
## (1)、每天凌晨04:20點進(jìn)行全量備份一次;
## (2)、每隔1小時增量備份一次;
##
#===================================================================================================
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
## DB備份基路徑
BACKUP_BASE_DIR="/data/mysql_backup"
## 增量備份時,用到的基準(zhǔn)目錄列表文件
## 內(nèi)容格式:基準(zhǔn)目錄|本次備份目錄|備份類型【full|inc】
INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"
## 備份工具路徑
XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"
## MySQL配置路徑
MYSQL_CNF_PATH="/etc/my.cnf"
## 線程數(shù)
THREAD_CNT=6
#===================================================================================================
function print_help_info()
{
echo "--------------------------------------------------------------"
echo "Usage: $0 full | inc | help"
echo "--------------------------------------------------------------"
echo ""
exit 1
}
[[ $# -lt 1 ]] && print_help_info
[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}
## xtrabackup基礎(chǔ)套件不存在時,進(jìn)行自動下載安裝
if [[ ! -e ${XTRABACKUP_PATH} ]]; then
cd /usr/local
wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz
tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6
rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup
for FNAME in `ls -1t /usr/local/xtrabackup/bin`
do
rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}
done
fi
## 只允許一個副本運行,以避免全量備份與增量備份出現(xiàn)交叉,發(fā)生數(shù)據(jù)錯亂的可能性
##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1
## 目錄名默認(rèn)精確到分鐘,為避免意外情況,導(dǎo)致備份任務(wù)失敗,可以精確到秒
CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
[[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`
#===================================================================================================
## 全量備份
if [[ "$1" == "full" ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
## 增量備份
elif [[ "$1" == "inc" ]]; then
## 基準(zhǔn)目錄列表文件不存在或者為空的情況,需要做一次全量備份
if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
## 不存在任何目錄的情況,需要做一次全量備份,以避免增量備份失敗
elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
## 在上一次備份的基礎(chǔ)上,進(jìn)行增量備份
else
PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1 | awk -F '|' '{print $2}'`
## 上次的備份目錄不存在或者目錄為空的情況,以避免人為刪除的可能性【針對部分惡意刪除的情況,目前還沒有較好的檢查方法】
if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
else
${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
fi
fi
elif [[ "$1" == "help" ]]; then
print_help_info
else
print_help_info
fi
## 刪除2周前的數(shù)據(jù)備份
rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_*
sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST}
#===================================================================================================
##The End
####################################################################################################
## 需要添加的crontab信息:
## (1)、全量備份
## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
##
## (2)、增量備份
## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
##
####################################################################################################
####################################################################################################
## DB數(shù)據(jù)恢復(fù)步驟:
## (1)、應(yīng)用基準(zhǔn)
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
##
## (2)、應(yīng)用第一個增量備份
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
##
## (3)、應(yīng)用第二個增量備份
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
##
## (4)、再次應(yīng)用基準(zhǔn)
## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
##
## (5)、恢復(fù)
## innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
####################################################################################################
MYSQL必讀三、效果展示
MYSQL必讀
MYSQL必讀
MYSQL必讀
維易PHP培訓(xùn)學(xué)院每天發(fā)布《MYSQL教程編寫腳本令Xtrabackup對MySQL數(shù)據(jù)進(jìn)行備份的教程》等實戰(zhàn)技能,PHP、MYSQL、LINUX、APP、JS,CSS全面培養(yǎng)人才。
轉(zhuǎn)載請注明本頁網(wǎng)址:
http://www.snjht.com/jiaocheng/12328.html