《Mysql必讀MySQL優化之緩存優化(續)》要點:
本文介紹了Mysql必讀MySQL優化之緩存優化(續),希望對您有用。如果有疑問,可以聯系我們。
MySQL 內部處處皆緩存,等什么時候看了MySQL的源碼,再來詳細的分析緩存的是如何利用的.這部分主要將各種顯式的緩存優化:MYSQL實例
1、查詢緩存優化MYSQL實例
查詢緩存不僅將查詢語句結構緩存起來,還將查詢結果緩存起來.一段時間內,如果是同樣的SQL,則直接從緩存中讀取結果,提高查找數據的效率.但當緩存中的數據與硬盤中的數據不一致時,緩存就會失效.MYSQL實例
mysql> show variables like '%query_cache%'; +------------------------------+---------+ | Variable_name | Value | +------------------------------+---------+ | have_query_cache | YES | | query_cache_limit | 1048576 | | query_cache_min_res_unit | 4096 | | query_cache_size | 1048576 | | query_cache_type | OFF | | query_cache_wlock_invalidate | OFF | +------------------------------+---------+
have_query_cache
是否支持查詢緩存.MYSQL實例
query_cache_limit
如果某條select語句的結果集大小超過了querycachelimit的值時,這個結果集將不會被添加到查詢緩存.MYSQL實例
query_cache_min_res_unit
查詢緩存是以塊來申請內存空間的,每次申請的塊大小為設定值.4K 是非常一個合理的值,不必修改.MYSQL實例
query_cache_size
查詢緩存的大小.MYSQL實例
query_cache_type
查詢緩存的類型,值有 0(OFF)、1(ON)、2(DEMOND).OFF表示查詢緩存是關閉的.ON 表示查詢總是先到查詢緩存中去查找,除非在select 語句中包含sql_no_cache選項. DEMOND 表示不適用緩存,除非在select 語句中包含sql_cache選項.MYSQL實例
query_cache_wlock_invalidate 該參數用于設置行級排它鎖與查詢緩存之間的關系,默認為為0(OFF),表示施加行級排它所的同時,該表的所有查詢緩存依然有效.如果設置為1(ON),表示事假行級排它鎖的同時,該表的所有查詢緩存失效.MYSQL實例
查看查詢緩存的命中率MYSQL實例
mysql> show status like 'Qcache%'; +-------------------------+---------+ | Variable_name | Value | +-------------------------+---------+ | Qcache_free_blocks | 1 | | Qcache_free_memory | 1031360 | | Qcache_hits | 0 | | Qcache_inserts | 0 | | Qcache_lowmem_prunes | 0 | | Qcache_not_cached | 0 | | Qcache_queries_in_cache | 0 | | Qcache_total_blocks | 1 | +-------------------------+---------+
查看當前緩存的狀態信息:MYSQL實例
Qcache_free_blocksMYSQL實例
表示查詢緩存中處以重現狀態的內存塊數(碎片數量).如果Qcache_free_blocks 的值較大,則意味著查詢緩存中碎片比較多,表明查詢結果集較小,此時可以減小query_cache_min_res_unit的值.使用flush query cache 會對緩存中的若干個碎片進行整理,從而得到一個比較大的空閑塊.緩存碎片率 = Qcache_free_blocks/ Qcache_total_blocks * 100%MYSQL實例
Qcache_free_memoryMYSQL實例
表示當前MySQL服務實例的查詢緩存還有多少可用內存.MYSQL實例
Qcache_hitsMYSQL實例
表示使用查詢緩存的次數,該值會依次增加.如果Qcache_hits比較大,則說明查詢緩存使用的非常頻繁,此時需要增加查詢緩存.MYSQL實例
Qcache_insertsMYSQL實例
表示查詢緩存中此前總共緩存過多少條select 語句的結果集.MYSQL實例
Qcache_lowmen_prunesMYSQL實例
表示因為查詢緩存已滿而溢出,導致MySQL刪除的查詢結果個數.如果該值比較大,則表明查詢緩存過小.MYSQL實例
Qcache_not_cachedMYSQL實例
表示沒有進入查詢緩存的select個數MYSQL實例
Qcache_queryies_in_cacheMYSQL實例
表示查詢緩存中緩存這多少條select語句的結果集MYSQL實例
Qcache_total_blocksMYSQL實例
查詢緩存的總個數MYSQL實例
緩存命中率的計算方式: 查詢緩存的命中率 = Qcache_hits / Com_select * 100%MYSQL實例
其中Com_select為當前MySQL實例執行select 語句的個數.一般情況下Com_select = Qcache_insert + Qcache_not_cached.而 Qcache_not_cached中包含有數據頻繁變化而導致查詢緩存失效的select語句,因此命中率一般來說較低.如果拋開失效的因素,查詢緩存的命中率 = Qcache_hits / (Qcache_hits + Qcache_inserts) 如果使用這種公式計算出查詢緩存的命中率比較高的話,這就意味著大部分select語句都命中了查詢緩存.MYSQL實例
通過如下命令查看當前系統一共執行了多少條select語句MYSQL實例
mysql> show status like 'Com_select'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | Com_select | 1 | +---------------+-------+
2、結果集緩存MYSQL實例
結果集緩存是會話緩存,MySQL客戶機成功連接服務器之后.MySQL服務器會為每個MySQL客戶機保留結果集緩存.緩存MySQL客戶機連接線程的連接信息以及緩存返回MySQL客戶機的結果集信息,當MySQL客戶機向服務器發送select 語句時,MySQL將select語句的執行結果暫存在結果集緩存中.結果集的緩存大小由 net_buffer_length 參數值定義:MYSQL實例
mysql> show variables like 'net_buffer_length'; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | net_buffer_length | 16384 | +-------------------+-------+
如果結果集超過net_buffer_length設置的值,則自動擴充容量,但不超過:max_allowd_packet的閾限值:MYSQL實例
mysql> show variables like 'max_allowed_packet'; +--------------------+---------+ | Variable_name | Value | +--------------------+---------+ | max_allowed_packet | 4194304 | +--------------------+---------+
3、排序緩存MYSQL實例
MySQL 常用的有InnoDB 和MyISAM 兩種數據存儲引擎.因此在優化的時候,每種引擎都會采用適合自己引擎的優化方法.關于MySQL 與InnoDB 表結構文件和數據日志文件的不同,可以先看本人的博客MySQL 日志系統,以便對這些基礎概念有足夠的了解,接下來看引擎的優化的方法才能如魚得水,不覺得枯燥.MYSQL實例
1、普通排序緩存MYSQL實例
排序緩存是會話緩存, 如果客戶機向服務端發送的SQL語句中含有設計排序的order by 或者group by 子句.MySQL就會選擇相應的排序算法,在普通排序索引上進行排序,提升排序速度.普通排序索引的大小由sort_buffer_size 參數定義,如果要提升排序的速度,首先應該添加合適的索引,此后則應該增大排序索引緩存sort_buffer_size.MYSQL實例
mysql> select @@global.sort_buffer_size / 1024; +----------------------------------+ | @@global.sort_buffer_size / 1024 | +----------------------------------+ | 256.0000 | +----------------------------------+ 1 row in set (0.00 sec)
接下來我們來看下與排序緩存相關的參數有哪些:MYSQL實例
mysql> show variables like '%sort%'; +--------------------------------+---------------------+ | Variable_name | Value | +--------------------------------+---------------------+ | innodb_disable_sort_file_cache | OFF | | innodb_ft_sort_pll_degree | 2 | | innodb_sort_buffer_size | 1048576 | | max_length_for_sort_data | 1024 | | max_sort_length | 1024 | | myisam_max_sort_file_size | 9223372036853727232 | | myisam_sort_buffer_size | 8388608 | | sort_buffer_size | 262144 | +--------------------------------+---------------------+ mysql> show status like '%sort%'; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | Sort_merge_passes | 0 | | Sort_range | 0 | | Sort_rows | 0 | | Sort_scan | 0 | +-------------------+-------+
max_length_for_sort_dataMYSQL實例
默認大小為1024字節,對每一列的進行排序操作是,如果該列的值長度較長,通過增加該參數來提升MySQL性能.MYSQL實例
max_sort_lengthMYSQL實例
order by 或者 group by 的時候使用該列的前 max_sort_length字節進行排序,排序操作完成后,會將此次排序的信息記錄到本次會話的狀態里.MYSQL實例
Sort_merge_passesMYSQL實例
使用臨時文件完成排序操作的次數.MySQL在進行排序操作時,首先嘗試在普通排序緩存中完成排序.如果緩存空間不夠用,MySQL將利用緩存進行多次排序.并把每次的排序結果存放到臨時文件中,最后再把臨時文件中的數據做一次排序.Sort_merge_passes值就是記錄了使用文件進行排序的次數.由于文件排序要牽涉到讀文件,打開文件句柄,然后關閉文件等操作.所以讀取文件的系統消耗比較大,通過增大普通排序緩存sort_buffer_size來減少使用臨時文件排序的次數,從而增加排序的性能.MYSQL實例
Sort_rangeMYSQL實例
使用范圍排序的次數MYSQL實例
Sort_rowsMYSQL實例
已經排序的記錄行數MYSQL實例
Sort_scanMYSQL實例
通過全表掃描完成排序的次數MYSQL實例
2、MyISAM排序緩存MYSQL實例
當我們使用alter table 語句或者create index 語句創建MyISAM表的索引,或者導入一部分數據使用load data infile path,這些操作都會導致索引被重建,重建索引時需要對索引字段進行排序操作,為了加快重建索引的效率,MyISAM提供了排序緩存用于實現索引的排序工作,這些方法都是盡量是排序的工作在內存中完成.MyISAM排序緩存的大小由myisam_sort_buffer_size定義.索引重建之后,該緩存立馬釋放.MYSQL實例
但是當排序的緩存超過myisam_sort_buffer_size的閾限時,此時就需要在臨時文件中完成索引字段的排序工作,外存臨時文件的大小由myisam_max_sort_file_size參數設定,索引重建后,臨時文件立即刪除.MYSQL實例
mysql> select @@global.myisam_sort_buffer_size/1024; +---------------------------------------+ | @@global.myisam_sort_buffer_size/1024 | +---------------------------------------+ | 8192.0000 | +---------------------------------------+ mysql> select @@global.myisam_max_sort_file_size /1024; +------------------------------------------+ | @@global.myisam_max_sort_file_size /1024 | +------------------------------------------+ | 9007199254739967.7734 | +------------------------------------------+
3、InnoDB 排序緩存MYSQL實例
和MyISAM引擎類似,當執行alter table 、create index 創建索引是,InnoDB提供了3個InnoDB排序緩存用于實現索引的排序,每個緩存的大小由innodb_sort_buffer_size定義.MYSQL實例
mysql> select @@global.innodb_sort_buffer_size/1024; +---------------------------------------+ | @@global.innodb_sort_buffer_size/1024 | +---------------------------------------+ | 1024.0000 | +---------------------------------------+
4、join 連接緩存MYSQL實例
join緩存是會話緩存,如果兩張表相連,但是卻無法使用索引(這時使用join連接緩存的前提),MySQL將為每張表分配join 連接緩存.MYSQL實例
mysql> select @@global.join_buffer_size/1024; +--------------------------------+ | @@global.join_buffer_size/1024 | +--------------------------------+ | 256.0000 | +--------------------------------+
join_buffer_size 定義了連接緩存的大小,如上圖,默認為256;MYSQL實例
5、表緩存Cache 與表結構定義緩存CacheMYSQL實例
MySQL 服務訪問數據庫中的表時,實際上MySQL是做的文件的讀取操作.MySQL的數據都是存在硬盤上的一個個文件,這個和一些內存的型的數據庫不同.當我們查詢一張表,使用select 語句時,不考慮使用查詢緩存,首先要操作系統打開該文件,產生該文件的描述符.操作系統將文件描述符交給MySQL,MySQL才能對數據庫進行CURD的操作.打開文件、產生文件描述符都需要消耗系統資源,造成訪問延時.MySQL將已經打開的文件,包括文件描述符緩存起來,以后再次訪問該文件時,就無需打開該文件,提高了讀取文件的效率.MYSQL實例
表結構并不經常變化,當對表進行訪問的時候,除了將該表植入MySQL的表緩存外,MySQL還將表結構放入了表結構定義緩存中,供下次使用.MYSQL實例
mysql> show variables like 'table%'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | table_definition_cache | 1400 | | table_open_cache | 2000 | | table_open_cache_instances | 1 | +----------------------------+-------+ mysql> show variables like '%open%'; +----------------------------+----------+ | Variable_name | Value | +----------------------------+----------+ | have_openssl | DISABLED | | innodb_open_files | 2000 | | open_files_limit | 65535 | | table_open_cache | 2000 | | table_open_cache_instances | 1 | +----------------------------+----------+
table_open_cache
MYSQL實例
設定了可以緩存表以及視圖的數量限制MYSQL實例
table_definition_cacheMYSQL實例
設定了可以存儲多少張frm 表結構MYSQL實例
對于MySQL MyISAM引擎來說,表結構包含MYI 和MYD 以及表結構frm, 當訪問MyISAM 引擎的時候,需要一次性打開兩個文件(MYI 、MYD),產生兩個文件描述符.MYSQL實例
open_files_limitMYSQL實例
打開文件的上限MYSQL實例
innodb_open_filesMYSQL實例
如果InnoDB 表使用的是獨立表空間文件(ibd),該參數設定同一時間能夠打開的文件數量.MYSQL實例
以下是和打開表相關的狀態值:MYSQL實例
mysql> show status like 'Open%'; +--------------------------+-------+ | Variable_name | Value | +--------------------------+-------+ | Open_files | 18 | | Open_streams | 0 | | Open_table_definitions | 70 | | Open_tables | 63 | | Opened_files | 125 | | Opened_table_definitions | 0 | | Opened_tables | 0 | +--------------------------+-------+
6、表掃描緩存bufferMYSQL實例
表掃描分為順序掃描(Sequential Scan)以及隨機掃描(Random Scan) 兩種方式MYSQL實例
順序掃描 當MyISAM表沒有建索引時,查詢速度將進行全表掃描,效率很低.為了提升全表掃描的速度,MySQL提供了順序掃描緩存(read buffer).此時MySQL按照存儲數據的存儲順序因此讀出全部的數據塊,每次讀取的數據塊緩存在順序掃描緩存中,當read buffer寫滿之后,將數據返還給上層調用者.MYSQL實例
隨機掃描MYSQL實例
當表里有緩存,掃描表的時候,會將表的索引字段放進內存里先拍好序,然后按照已經拍好的順序去硬盤中查找數據.MYSQL實例
7、MyISAM索引緩存bufferMYSQL實例
通過緩存MYI索引文件的內容,可以加快讀取索引的速度以及索引的速度.索引緩存只對MyISAM表起作用,且被所有線程共享.查詢語句或者更新索引通過索引訪問表數據的時候,MySQL首先檢查索引緩存中是否已經存在需要的索引信息,如果有通過緩存中的索引可以直接訪問到索引對應的MYD文件.如果沒有,則會讀取MYI文件,并將相應的索引數據讀取到緩存中.索引緩存對MyISAM表的訪問性能起到了至關重要的作用.MYSQL實例
mysql> show variables like 'key%'; +--------------------------+---------+ | Variable_name | Value | +--------------------------+---------+ | key_buffer_size | 8388608 (8M)| | key_cache_age_threshold | 300 | | key_cache_block_size | 1024 | | key_cache_division_limit | 100 | +--------------------------+---------+
key_buffer_sizeMYSQL實例
設置索引緩存的大小,默認是8M.建議提升.MYSQL實例
key_cache_block_sizeMYSQL實例
指定每個索引緩存的區塊大小,建議設置為4K,即4096MYSQL實例
key_cache_division_limitMYSQL實例
為了有效的使用緩存.默認情況下MySQL降緩存劃分為兩個索引緩存區,溫區(warm area) 以及熱區(hot area).key_cache_division_limit參數以百分比的形式向曾哥索引緩存劃分為多個區域.當默認值是100的時候,表示索引緩存只有溫區,將啟用LRU算法淘汰索引緩存中的索引.MYSQL實例
key_cahe_age_thresholdMYSQL實例
控制溫區域熱區中的索引何時升級何時降級.如果該值小于100,則有熱區.移動算法大致類似與LRU算法.MYSQL實例
查看當前MySQL服務實例索引讀以及索引寫的狀態值:MYSQL實例
mysql> show status like 'Key%'; +------------------------+-------+ | Variable_name | Value | +------------------------+-------+ | Key_blocks_not_flushed | 0 | | Key_blocks_unused | 6698 | | Key_blocks_used | 0 | | Key_read_requests | 0 | | Key_reads | 0 | | Key_write_requests | 0 | | Key_writes | 0 | +------------------------+-------+
8、日志緩存MYSQL實例
日志緩存分為二進制日志緩存以及InnoDB重做日志緩存MYSQL實例
1、二進制日志緩存MYSQL實例
mysql> show variables like '%binlog%cache%'; +----------------------------+----------------------+ | Variable_name | Value | +----------------------------+----------------------+ | binlog_cache_size | 32768 | | binlog_stmt_cache_size | 32768 | | max_binlog_cache_size | 18446744073709547520 | | max_binlog_stmt_cache_size | 18446744073709547520 | +----------------------------+----------------------+ mysql> show status like '%binlog%cache%'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | Binlog_cache_disk_use | 0 | | Binlog_cache_use | 0 | | Binlog_stmt_cache_disk_use | 0 | | Binlog_stmt_cache_use | 0 | +----------------------------+-------+
Mysql 進行創建或者更新的數據的時候,會記錄一條二進制日志.然而頻繁的進行I/O操作將對MySQL造成較大的性能影響.因此MySQL開辟了一個二進制日志緩存binlog_cache_size.首先將操作寫入二進制日志,當操作成功之后,將二進制日志寫入硬盤.MYSQL實例
2、InnoDB重做日志緩存MYSQL實例
事務在commit前,會將產生的重做日志寫入InnoDB重做日志緩存,然后InnoDB【擇機】執行輪詢策略,將緩存中的重做日志文件寫入ib_logfile0 以及ib_logfile1重做日志中.MYSQL實例
mysql> show variables like 'innodb_log_buffer_size'; +------------------------+---------+ | Variable_name | Value | +------------------------+---------+ | innodb_log_buffer_size | 8388608 | +------------------------+---------+
InnoDB重做日志緩存可以確保事務提交前,事務運行期間產生的重做日志保存在InnoDB的日志緩存中,但并不寫入重做日志文件中.寫入時機由innodb_flush_log_at_trx_commit參數控制.MYSQL實例
mysql> show variables like 'innodb_flush_log%'; +--------------------------------+-------+ | Variable_name | Value | +--------------------------------+-------+ | innodb_flush_log_at_timeout | 1 | | innodb_flush_log_at_trx_commit | 1 | +--------------------------------+-------+
0:當緩存中重做日志文件以每秒一次的頻率寫入硬盤緩存,并且同時會更新到硬盤.MYSQL實例
1:在每次事務提交的時候,將緩存中重做日志寫到重做日志文件,同時寫入硬盤,默認是該行為.MYSQL實例
2:事務提交的時候,寫到緩存,但并不觸發文件系統到硬盤的同步操作,但此外每秒一次同步硬盤.MYSQL實例
9、預讀機制MYSQL實例
預讀機制主要利用了前文MySQL優化:一 、緩存優化所描述的原理.即局部性特征,空間局部性,和時間局部性,這里不再贅述.MYSQL實例
1、InnoDB預讀機制MYSQL實例
InnoDB采用預讀機制,將“未來即將訪問的數據”包括索引加載到預讀緩存中,進而提升數據的讀性能.InnoDB支持順序預讀(linear read ahead)與隨機預讀(random read ahead)兩種方式.MYSQL實例
數據塊(page)是InnoDB硬盤管理的最小單位,一個區由64個連續的數據塊構成,對于順序預讀而言,InnoDB首選將該數據所在數據塊置入InnoDB緩存池中,可以預測這些數據塊的后續塊很快就會被訪問,于是這些數據塊以及前置的數據塊會被置入內存中.根據innodb_read_ahead_threshold參數設定預讀前后多少個數據塊.MYSQL實例
mysql> show variables like 'innodb_read_ahead%'; +-----------------------------+-------+ | Variable_name | Value | +-----------------------------+-------+ | innodb_read_ahead_threshold | 56 | +-----------------------------+-------+
2、索引緩存預加載MYSQL實例
數據庫管理員可以使用MySQL命令 load index into cache 預加載MyISAM表索引MYSQL實例
10、MyISAM表延遲插入MYSQL實例
mysql> show variables like '%delayed%'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | delayed_insert_limit | 100 | | delayed_insert_timeout | 300 | | delayed_queue_size | 1000 | | max_delayed_threads | 20 | | max_insert_delayed_threads | 20 | +----------------------------+-------+
看到這個延遲插入的功能,想起項目里一個有點類似的功能,啟發了自己的思路.MYSQL實例
使用方法為:insert delyed into table values(*);MYSQL實例
delyed_insert_limitMYSQL實例
默認值為100.當向MySQL表延遲插入100行記錄后,檢查該表是否有select語句在等待執行,如果有,暫停insert語句執行.MYSQL實例
delayed_insert_timeoutMYSQL實例
在超時范圍內,如果delayed 隊列里沒有數據,延遲插入線程將關掉.MYSQL實例
delayed_queue_sizeMYSQL實例
延遲插入的隊列長度,超出將阻塞,直到有足夠的空間.MYSQL實例
max_delayed_threadsMYSQL實例
延遲插入的線程數.MYSQL實例
MyISAM表的批量延遲插入MYSQL實例
類似 insert into table values(1),values(2),values(n).MyISAM將進行批量插入.先將插入的數據放入緩存.當緩存被寫滿或者提交完畢了,MySQL一次性的將緩存中的寫入硬盤.通過批量插入可以大大縮減MySQL客戶機與服務機的連接語法分析等消耗,使得效率比分開執行單個insert語句快的多.MYSQL實例
mysql> select @@global.bulk_insert_buffer_size/(1024*1024); +----------------------------------------------+ | @@global.bulk_insert_buffer_size/(1024*1024) | +----------------------------------------------+ | 8.0000 | +----------------------------------------------+
默認批量插入的大小為8M.如果業務上有需要,可以設定的大一些,以提高批量插入的性能.MYSQL實例
MyISAM表的索引延遲更新MYSQL實例
索引可以加快數據檢索,但是對于更新來說,不僅需要修改記錄,可能還需要修改索引,因此索引會導致數據更新操作變慢,如果將MySQL的delay_key_write參數設置為1(ON),可以彌補這一缺陷.開啟后更新操作修改數據的時候先將數據的更新提交到硬盤,索引的更新全部在索引緩存里完成.在關閉表的時候,一起更新到硬盤,這樣就可以使索引更新的更快.僅對MyISAM有效.MYSQL實例
mysql> show variables like 'delay_key_write'; +-----------------+-------+ | Variable_name | Value | +-----------------+-------+ | delay_key_write | ON | +-----------------+-------+
InnoDB延遲更新MYSQL實例
非聚簇索引的更新操作通常會帶來隨機I/O,降低InoDB的性能.當更新(insert, delete ,update=insert+delete)非聚簇索引的數據時,會先檢查非聚簇索引頁是否位于InnoDB緩存池中,如果是直接更新,否則先將“信息修改”記錄在更新緩存中(change buffer)MYSQL實例
這篇博客的內容比較多,總結提煉下來以備以后查看.對整個MySQL的優化先有個整體的框架,徐徐漸進慢慢進步.這些參數可以不用記憶,用到的時候到博客中查找或者百度即可.了解道,知道術,就可以完成優化的過程.知道原理比記憶枯燥的原理要簡單的多.對MySQL優化感興趣的博友可以關注我的博客,以便看到后續的分享.MYSQL實例
轉載請注明本頁網址:
http://www.snjht.com/jiaocheng/5437.html