《MYSQL教程sysbench對mysql壓力測試的詳細教程》要點：
本文介紹了MYSQL教程sysbench對mysql壓力測試的詳細教程，希望對您有用。如果有疑問，可以聯(lián)系我們。

MYSQL應(yīng)用前言

MYSQL應(yīng)用在對網(wǎng)站整體性能進行benchmark時,可以使用多種工具,比如大名鼎鼎的ab(Apache bench),http_load等工具.這里我們不關(guān)注他們的使用,如果你想了解,可以自行在網(wǎng)上找到答案.

MYSQL應(yīng)用重點來說MySQL的基準(zhǔn)測試如何進行,也有很多種工具來供我們選擇,比如mysqlslap、sysbench、Super Smack等,其中mysqlslap的使用MySQL官網(wǎng)給出了介紹,Super Smack是服務(wù)器壓力測試強有力的工具,那么sysbench便是我們進行MySQL基準(zhǔn)測試的很漂亮的工具了.

MYSQL應(yīng)用sysbench

MYSQL應(yīng)用sysbench是一款開源的多線程性能測試工具,可以執(zhí)行CPU/內(nèi)存/線程/IO/數(shù)據(jù)庫等方面的性能測試.數(shù)據(jù)庫目前支持MySQL/Oracle/PostgreSQL；

MYSQL應(yīng)用它主要包括以下幾種方式的測試：

MYSQL應(yīng)用???? 1、cpu性能

MYSQL應(yīng)用???? 2、磁盤io性能

MYSQL應(yīng)用???? 3、調(diào)度程序性能

MYSQL應(yīng)用???? 4、內(nèi)存分配及傳輸速度

MYSQL應(yīng)用???? 5、POSIX線程性能

MYSQL應(yīng)用?????6、數(shù)據(jù)庫性能(OLTP基準(zhǔn)測試)

MYSQL應(yīng)用sysbench的數(shù)據(jù)庫OLTP測試支持MySQL、PostgreSQL、Oracle,目前主要用于Linux操作系統(tǒng),開源社區(qū)已經(jīng)將sysbench移植到了Windows,并支持SQL Server的基準(zhǔn)測試.

MYSQL應(yīng)用廢話不多說,開始.

MYSQL應(yīng)用一、sysbench安裝

MYSQL應(yīng)用mysql版本: mysql-community-server-5.6.29

MYSQL應(yīng)用OS: CentOS 6.7 X86_64

MYSQL應(yīng)用sysbench 0.5相比0.4版本有一些變化,包括oltp測試結(jié)合了lua腳本,還多了一些隱藏選項,本文會涉及得到一部分.

MYSQL應(yīng)用
// 先安裝編譯依賴環(huán)境
$ sudo yum install gcc gcc-c++ automake make libtool mysql-community-devel
$ cd /tmp && git clone https://github.com/akopytov/sysbench.git
$ cd /tmp/sysbench && ./autogen.sh
$ ./configure --prefix=/usr/local/sysbench-0.5
$ ./make && sudo make install
// 0.5版本需要oltp.lua測試腳本
// 如果是rpm包方式安裝的,在 /usr/share/doc/sysbench/tests/db/ 下可找到
$ cd /usr/local/sysbench && sudo mkdir -p share/tests/db
$ cp /tmp/sysbench/sysbench/tests/db/*.lua share/tests/db/
$ ./bin/sysbench --version
sysbench 0.5

MYSQL應(yīng)用如果需要測試PostgreSQL、Oracle,則在configure時需要加上 Cwith-oracle 或者 Cwith-pgsql 參數(shù)

MYSQL應(yīng)用二、使用sysbench對mysql壓測

MYSQL應(yīng)用2.1 只讀示例

MYSQL應(yīng)用
./bin/sysbench --test=./share/tests/db/oltp.lua \
--mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser \
--mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --oltp-dist-type=uniform --rand-init=on --max-requests=0 \
--oltp-test-mode=nontrx --oltp-nontrx-mode=select \
--oltp-read-only=on --oltp-skip-trx=on \
--max-time=120 --num-threads=12 \
[prepare|run|cleanup]

MYSQL應(yīng)用注意最后一行,一項測試開始前需要用prepare來準(zhǔn)備好表和數(shù)據(jù),run執(zhí)行真正的壓測,cleanup用來清除數(shù)據(jù)和表.實際prepare的表結(jié)構(gòu)：

MYSQL應(yīng)用
mysql> desc dbtest1a.sbtest1;
+-------+------------------+------+-----+---------+----------------+
| Field | Type       | Null | Key | Default | Extra     |
+-------+------------------+------+-----+---------+----------------+
| id  | int(10) unsigned | NO  | PRI | NULL  | auto_increment |
| k   | int(10) unsigned | NO  | MUL | 0    |        |
| c   | char(120)    | NO  |   |     |        |
| pad  | char(60)     | NO  |   |     |        |
+-------+------------------+------+-----+---------+----------------+
4 rows in set (0.00 sec)

MYSQL應(yīng)用上面的測試命令代表的是：對mysql進行oltp基準(zhǔn)測試,表數(shù)量10,每表行數(shù)約50w(幾乎delete多少就會insert的多少),并且是非事務(wù)的只讀測試,持續(xù)60s,并發(fā)線程數(shù)12.

MYSQL應(yīng)用需要說明的選項：

MYSQL應(yīng)用???? mysql-db=dbtest1a：測試使用的目標(biāo)數(shù)據(jù)庫,這個庫名要事先創(chuàng)建

MYSQL應(yīng)用???? --oltp-tables-count=10：產(chǎn)生表的數(shù)量

MYSQL應(yīng)用???? --oltp-table-size=500000：每個表產(chǎn)生的記錄行數(shù)

MYSQL應(yīng)用???? --oltp-dist-type=uniform：指定隨機取樣類型,可選值有 uniform(均勻分布), Gaussian(高斯分布), special(空間分布).默認是special

MYSQL應(yīng)用???? --oltp-read-only=off：表示不止產(chǎn)生只讀SQL,也就是使用oltp.lua時會采用讀寫混合模式.默認 off,如果設(shè)置為on,則不會產(chǎn)生update,delete,insert的sql.

MYSQL應(yīng)用???? --oltp-test-mode=nontrx：執(zhí)行模式,這里是非事務(wù)式的.可選值有simple,complex,nontrx.默認是complex

MYSQL應(yīng)用???????????? simple：簡單查詢,SELECT c FROM sbtest WHERE id=N


MYSQL應(yīng)用???????????? complex (advanced transactional) ：事務(wù)模式在開始和結(jié)束事務(wù)之前加上begin和commit, 一個事務(wù)里可以有多個語句,如點查詢、范圍查詢、排序查詢、更新、刪除、插入等,并且為了不破壞測試表的數(shù)據(jù),該模式下一條記錄刪除后會在同一個事務(wù)里添加一條相同的記錄.

MYSQL應(yīng)用???????????? nontrx (non-transactional) ：與simple相似,但是可以進行update/insert等操作,所以如果做連續(xù)的對比壓測,你可能需要重新cleanup,prepare.

MYSQL應(yīng)用???? --oltp-skip-trx=[on|off] ：省略begin/commit語句.默認是off

MYSQL應(yīng)用?????--rand-init=on：是否隨機初始化數(shù)據(jù),如果不隨機化那么初始好的數(shù)據(jù)每行內(nèi)容除了主鍵不同外其他完全相同

MYSQL應(yīng)用???? --num-threads=12： 并發(fā)線程數(shù),可以理解為模擬的客戶端并發(fā)連接數(shù)

MYSQL應(yīng)用???? --report-interval=10：表示每10s輸出一次測試進度報告

MYSQL應(yīng)用???? --max-requests=0：壓力測試產(chǎn)生請求的總數(shù),如果以下面的max-time來記,這個值設(shè)為0

MYSQL應(yīng)用???? --max-time=120：壓力測試的持續(xù)時間,這里是2分鐘.

MYSQL應(yīng)用注意,針對不同的選項取值就會有不同的子選項.比如oltp-dist-type=special,就有比如oltp-dist-pct=1、oltp-dist-res=50兩個子選項,代表有50%的查詢落在1%的行(即熱點數(shù)據(jù))上,另外50%均勻的(sample uniformly)落在另外99%的記錄行上.

MYSQL應(yīng)用再比如oltp-test-mode=nontrx時, 就可以有oltp-nontrx-mode,可選值有select(默認), update_key, update_nokey, insert, delete,代表非事務(wù)式模式下使用的測試sql類型.

MYSQL應(yīng)用以上代表的是一個只讀的例子,可以把num-threads依次遞增(16,36,72,128,256,512),或者調(diào)整my.cnf參數(shù),比較效果.另外需要注意的是,大部分mysql中間件對事務(wù)的處理,默認都是把sql發(fā)到主庫執(zhí)行,所以只讀測試需要加上oltp-skip-trx=on來跳過測試中的顯式事務(wù).

MYSQL應(yīng)用ps1: 只讀測試也可以使用share/tests/db/select.lua進行,但只是簡單的point select.

MYSQL應(yīng)用ps2: 我在用sysbench壓的時候,在mysql后端會話里有時看到大量的query cache lock,如果使用的是uniform取樣,最好把查詢緩存關(guān)掉.當(dāng)然如果是做兩組性能對比壓測,因為都受這個因素影響,關(guān)心也不大.

MYSQL應(yīng)用2.2 混合讀寫

MYSQL應(yīng)用讀寫測試還是用oltp.lua,只需把--oltp-read-only等于off.

MYSQL應(yīng)用
./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 prepare
./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 run
./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 cleanup

MYSQL應(yīng)用然而oltp-test-mode=nontrx一直沒有跟著我預(yù)期的去走,在mysql general log里面看到的sql記錄與complex模式相同.所以上面示例中的--oltp-test-mode=nontrx --oltp-nontrx-mode=select可以刪掉.

MYSQL應(yīng)用update:

MYSQL應(yīng)用原來sysbench 0.5版本去掉了這個選項,因為作者正在準(zhǔn)備1.0版本,所以也就沒有更新0.5版本的doc.網(wǎng)上的博客漫天飛,就沒有一個提出來的,也是沒誰了.

MYSQL應(yīng)用分析一下oltp.lua腳本內(nèi)容,可以清楚單個事務(wù)各操作的默認比例：select:update_key:update_non_key:delete:insert = 14:1:1:1:1,可通過oltp-point-selects、oltp-simple-ranges、oltp-sum-ranges、oltp-order-ranges、oltp-distinct-ranges,oltp-index-updates、oltp-non-index-updates這些選項去調(diào)整讀寫權(quán)重.

MYSQL應(yīng)用同只讀測試一樣,在atlas,mycat這類中間件測試中如果不加oltp-skip-trx=on,那么所有查詢都會發(fā)往主庫,但如果在有寫入的情況下使用--oltp-skip-trx=on跳過BEGIN和COMMIT,會出現(xiàn)問題：

MYSQL應(yīng)用
ALERT: failed to execute MySQL query: INSERT INTO sbtest4 (id, k, c, pad) VALUES (48228, 47329, '82773802508-44916890724-85859319254-67627358653-96425730419-64102446666-75789993135-91202056934-68463872307-28147315305', '13146850449-23153169696-47584324044-14749610547-34267941374'):
ALERT: Error 1062 Duplicate entry ‘48228' for key ‘PRIMARY'
FATAL: failed to execute function `event': (null)

MYSQL應(yīng)用原因也很容易理解,每個線程將選擇一個隨機的表,不加事務(wù)的情況下高并發(fā)更新(插入)出現(xiàn)重復(fù)key的概率很大,但我們壓測不在乎這些數(shù)據(jù),所以需要跳過這個錯誤--mysql-ignore-errors=1062,這個問題老外有出過打補丁的方案允許--mysql-ignore-duplicates=on,但作者新加入的忽略錯誤碼這個功能已經(jīng)取代了它.mysql-ignore-errors選項是0.5版本加入的,但目前沒有文檔標(biāo)明.

MYSQL應(yīng)用這里不得不佩服老外的辦事效率和責(zé)任心,提個疑惑能立馬得到回復(fù),反觀國內(nèi),比如在atlas,mycat項目里提到問題到現(xiàn)在都沒人搭理...

MYSQL應(yīng)用2.3 只更新

MYSQL應(yīng)用如果基準(zhǔn)測試的時候,你只想比較兩個項目的update(或insert)效率,那可以不使用oltp腳本,而直接改用update_index.lua：

MYSQL應(yīng)用
./bin/sysbench --test=./share/tests/db/update_index.lua \
--mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser \
--mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --rand-init=on --max-requests=0 \
--oltp-read-only=off --max-time=120 --num-threads=128 \
[ prepare | run | cleanup ]

MYSQL應(yīng)用此時像oltp-read-only=off許多參數(shù)都失效了.需要說明的是這里 (非)索引更新,不是where條件根據(jù)索引去查找更新,而是更新索引列上的值.

MYSQL應(yīng)用三. 結(jié)果解讀

MYSQL應(yīng)用
sysbench 0.5: multi-threaded system evaluation benchmark
Running the test with following options:
Number of threads: 128
Report intermediate results every 20 second(s)
Initializing random number generator from timer.
Random number generator seed is 0 and will be ignored
Initializing worker threads...
Threads started!
[ 20s] threads: 128, tps: 2354.54, reads: 33035.89, writes: 9423.39, response time: 66.80ms (95%), errors: 0.00, reconnects: 0.00
[ 40s] threads: 128, tps: 2377.75, reads: 33274.26, writes: 9507.55, response time: 66.88ms (95%), errors: 0.00, reconnects: 0.00
[ 60s] threads: 128, tps: 2401.35, reads: 33615.30, writes: 9607.40, response time: 66.40ms (95%), errors: 0.00, reconnects: 0.00
[ 80s] threads: 128, tps: 2381.20, reads: 33331.50, writes: 9522.55, response time: 67.30ms (95%), errors: 0.00, reconnects: 0.00
[ 100s] threads: 128, tps: 2388.85, reads: 33446.10, writes: 9556.35, response time: 67.00ms (95%), errors: 0.00, reconnects: 0.00
[ 120s] threads: 128, tps: 2386.40, reads: 33421.35, writes: 9545.35, response time: 66.94ms (95%), errors: 0.00, reconnects: 0.00
OLTP test statistics:
  queries performed:
    read:              4003048 //總select數(shù)量
    write:              1143728 //總update、insert、delete語句數(shù)量
    other:              571864  //commit、unlock tables以及其他mutex的數(shù)量
    total:              5718640
  transactions:            285932 (2382.10 per sec.) //通常需要關(guān)注的數(shù)字(TPS)
  read/write requests:         5146776 (42877.85 per sec.)
  other operations:          571864 (4764.21 per sec.)
  ignored errors:           0   (0.00 per sec.) //忽略的錯誤數(shù)
  reconnects:             0   (0.00 per sec.)
General statistics:
  total time:             120.0334s //即max-time指定的壓測實際
  total number of events:       285932  //總的事件數(shù),一般與transactions相同
  total time taken by event execution: 15362.6623s
  response time:
     min:                 17.60ms
     avg:                 53.73ms //95%的語句的平均響應(yīng)時間
     max:                252.90ms
     approx. 95 percentile:       66.88ms
Threads fairness:
  events (avg/stddev):      2233.8438/9.04
  execution time (avg/stddev):  120.0208/0.01

MYSQL應(yīng)用我們一般關(guān)注的用于繪圖的指標(biāo)主要有：

MYSQL應(yīng)用???? response time avg: 平均響應(yīng)時間.(后面的95%的大小可以通過--percentile=98的方式去更改)

MYSQL應(yīng)用???? transactions: 精確的說是這一項后面的TPS .但如果使用了-oltp-skip-trx=on,這項事務(wù)數(shù)恒為0,需要用total number of events 去除以總時間,得到tps(其實還可以分為讀tps和寫tps)

MYSQL應(yīng)用???? read/write requests: 用它除以總時間,得到吞吐量QPS

MYSQL應(yīng)用???? 當(dāng)然還有一些系統(tǒng)層面的cpu,io,mem相關(guān)指標(biāo)

MYSQL應(yīng)用sysbench還可以對文件系統(tǒng)IO測試,CPU性能測試,以及內(nèi)存分配與傳輸速度測試,這里就不介紹了.

MYSQL應(yīng)用總結(jié)

MYSQL應(yīng)用sysbench的缺點就是,模擬的表結(jié)構(gòu)太簡單,不像tpcc-mysql那樣完整的事務(wù)系統(tǒng).但對于性能壓測對比還是很有用的,因為sysbench使用的環(huán)境參數(shù)限制是一樣的.以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助,如果有疑問大家可以留言交流.

轉(zhuǎn)載請注明本頁網(wǎng)址：
http://www.snjht.com/jiaocheng/6429.html