《Mysql應用MySQL批量SQL插入性能優化詳解》要點：
本文介紹了Mysql應用MySQL批量SQL插入性能優化詳解，希望對您有用。如果有疑問，可以聯系我們。

MYSQL數據庫對于一些數據量較大的系統,數據庫面臨的問題除了查詢效率低下,還有就是數據入庫時間長.特別像報表系統,每天花費在數據導入上的時間可能會長達幾個小時或十幾個小時之久.因此,優化數據庫插入性能是很有意義的.

MYSQL數據庫經過對MySQL innodb的一些性能測試,發現一些可以提高insert效率的辦法,供大家參考參考.

MYSQL數據庫1. 一條SQL語句插入多條數據.

MYSQL數據庫常用的插入語句如：

MYSQL數據庫
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('1', 'userid_1', 'content_1', 1); 

MYSQL數據庫修改成：

MYSQL數據庫
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1); 

MYSQL數據庫修改后的插入操作能夠提高程序的插入效率.這里第二種SQL執行效率高的主要原因是合并后日志量(MySQL的binlog和innodb的事務讓 日志)減少了,降低日志刷盤的數據量和頻率,從而提高效率.通過合并SQL語句,同時也能減少SQL語句解析的次數,減少網絡傳輸的IO.

MYSQL數據庫這里提供一些測試對比數據,分別是進行單條數據的導入與轉化成一條SQL語句進行導入,分別測試1百、1千、1萬條數據記錄.

MYSQL數據庫

MYSQL數據庫2. 在事務中進行插入處理.

MYSQL數據庫把插入修改成：

MYSQL數據庫
START TRANSACTION; 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('1', 'userid_1', 'content_1', 1); 
... 
COMMIT; 

MYSQL數據庫使用事務可以提高數據的插入效率,這是因為進行一個INSERT操作時,MySQL內部會建立一個事務,在事務內才進行真正插入處理操作.通過使用事務可以減少創建事務的消耗,所有插入都在執行后才進行提交操作.

MYSQL數據庫這里也提供了測試對比,分別是不使用事務與使用事務在記錄數為1百、1千、1萬的情況.

MYSQL數據庫

MYSQL數據庫3. 數據有序插入.

MYSQL數據庫數據有序的插入是指插入記錄在主鍵上是有序排列,例如datetime是記錄的主鍵：

MYSQL數據庫
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('1', 'userid_1', 'content_1', 1); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('2', 'userid_2', 'content_2',2); 

MYSQL數據庫修改成：

MYSQL數據庫
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('1', 'userid_1', 'content_1', 1); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
  VALUES ('2', 'userid_2', 'content_2',2); 

MYSQL數據庫由于數據庫插入時,需要維護索引數據,無序的記錄會增大維護索引的成本.我們可以參照innodb使用的B+tree索引,如果每次插入記錄都在索 引的最后面,索引的定位效率很高,并且對索引調整較小；如果插入的記錄在索引中間,需要B+tree進行分裂合并等處理,會消耗比較多計算資源,并且插入 記錄的索引定位效率會下降,數據量較大時會有頻繁的磁盤操作.

MYSQL數據庫下面提供隨機數據與順序數據的性能對比,分別是記錄為1百、1千、1萬、10萬、100萬.

MYSQL數據庫

MYSQL數據庫從測試結果來看,該優化辦法的性能有所提高,但是提高并不是很明顯.

MYSQL數據庫性能綜合測試：

MYSQL數據庫這里提供了同時使用上面三種辦法進行INSERT效率優化的測試.

MYSQL數據庫

MYSQL數據庫從測試結果可以看到,合并數據+事務的辦法在較小數據量時,性能提高是很明顯的,數據量較大時(1千萬以上),性能會急劇下降,這是由于此時數據量 超過了innodb_buffer的容量,每次定位索引涉及較多的磁盤讀寫操作,性能下降較快.而使用合并數據+事務+有序數據的方式在數據量達到千萬級 以上表現依舊是良好,在數據量較大時,有序數據索引定位較為方便,不需要頻繁對磁盤進行讀寫操作,所以可以維持較高的性能.

MYSQL數據庫注意事項：

MYSQL數據庫1. SQL語句是有長度限制,在進行數據合并在同一SQL中務必不能超過SQL長度限制,通過max_allowed_packet配置可以修改,默認是1M,測試時修改為8M.

MYSQL數據庫2. 事務需要控制大小,事務太大可能會影響執行的效率.MySQL有innodb_log_buffer_size配置項,超過這個值會把innodb的數據刷到磁盤中,這時,效率會有所下降.所以比較好的做法是,在數據達到這個這個值前進行事務提交.

MYSQL數據庫以上就是本文的全部內容,希望對大家的學習有所贊助,也希望大家多多支持維易PHP.

《Mysql應用MySQL批量SQL插入性能優化詳解》是否對您有啟發，歡迎查看更多與《Mysql應用MySQL批量SQL插入性能優化詳解》相關教程，學精學透。維易PHP學院為您提供精彩教程。

轉載請注明本頁網址：
http://www.snjht.com/jiaocheng/13674.html