《MYSQL數(shù)據(jù)庫解析優(yōu)化MySQL插入方法的五個(gè)妙招》要點(diǎn):
本文介紹了MYSQL數(shù)據(jù)庫解析優(yōu)化MySQL插入方法的五個(gè)妙招,希望對您有用。如果有疑問,可以聯(lián)系我們。
MYSQL實(shí)例工作中遇到大概20萬的數(shù)據(jù)插入操作,程序編完后發(fā)現(xiàn)運(yùn)行超時(shí),修改PHP最大執(zhí)行時(shí)間到600,還是超時(shí),檢查超時(shí)前插入的數(shù)據(jù)條數(shù)推算一下,大概要處理40~60分鐘才能插入完成,看來程序?qū)懙男侍?得優(yōu)化了.
測試電腦配置:
CPU:AMD Sempron(tm) Processor
內(nèi)存:1.5G
語句如下:
代碼如下:
$sql = "insert into `test` (`test`) values ('$content')";
for ($i=1;$i<1000;$i++) {
mysql_query($sql);
}
mysql_unbuffered_query 運(yùn)行三次執(zhí)行時(shí)間分別為:
9.85321879387
9.43223714828
9.46858215332
mysql_query 執(zhí)行時(shí)間分別為:
10.0020229816
9.61053204536
9.24442720413
本人目前為止認(rèn)為最高效率方式如下:
$sql = "insert into `test` (`test`) values ('$content')";
for ($i=1;$i<999;$i++) {
$sql .= ",('$content')";
}
mysql_query($sql);
執(zhí)行時(shí)間為:
0.0323481559753
0.0371758937836
0.0419669151306
INSERT語句的速度
插入一個(gè)記錄需要的時(shí)間由下列因素組成,其中的數(shù)字表示大約比例:
連接:(3)
發(fā)送查詢給服務(wù)器:(2)
分析查詢:(2)
插入記錄:(1x記錄大小)
插入索引:(1x索引)
關(guān)閉:(1)
這不考慮打開表的初始開銷,每個(gè)并發(fā)運(yùn)行的查詢打開.
表的大小以logN (B樹)的速度減慢索引的插入.
加快插入的一些方法:
? 如果同時(shí)從同一個(gè)客戶端插入很多行,使用含多個(gè)VALUE的INSERT語句同時(shí)插入幾行.這比使用單行INSERT語句快(在某些情況下快幾倍).如果你正向一個(gè)非空表添加數(shù)據(jù),可以調(diào)節(jié)bulk_insert_buffer_size變量,使數(shù)據(jù)插入更快.參見5.3.3節(jié),“服務(wù)器系統(tǒng)變量”.
? 如果你從不同的客戶端插入很多行,能通過INSERT DELAYED語句加快速度.參見13.2.4節(jié),“INSERT語法”.
? 用MyISAM,如果在表中沒有刪除的行,能在SELECT語句正在運(yùn)行的同時(shí)插入行.
? 當(dāng)從一個(gè)文本文件裝載一個(gè)表時(shí),使用LOAD DATA INFILE.這通常比使用很多INSERT語句快20倍.
? 當(dāng)表有很多索引時(shí),有可能要多做些工作使得LOAD DATA INFILE更快些.使用下列過程:
有選擇地用CREATE TABLE創(chuàng)建表.
執(zhí)行FLUSH TABLES語句或命令mysqladmin flush-tables.
使用myisamchk --keys-used=0 -rq /path/to/db/tbl_name.這將從表中取消所有索引的使用.
用LOAD DATA INFILE把數(shù)據(jù)插入到表中,因?yàn)椴桓氯魏嗡饕?因此很快.
如果只想在以后讀取表,使用myisampack壓縮它.
用myisamchk -r -q /path/to/db/tbl_name重新創(chuàng)建索引.這將在寫入磁盤前在內(nèi)存中創(chuàng)建索引樹,并且它更快,因?yàn)楸苊饬舜罅看疟P搜索.結(jié)果索引樹也被完美地平衡.
執(zhí)行FLUSH TABLES語句或mysqladmin flush-tables命令.
請注意如果插入一個(gè)空MyISAM表,LOAD DATA INFILE也可以執(zhí)行前面的優(yōu)化;主要不同處是可以讓myisamchk為創(chuàng)建索引分配更多的臨時(shí)內(nèi)存,比執(zhí)行LOAD DATA INFILE語句時(shí)為服務(wù)器重新創(chuàng)建索引分配得要多.
也可以使用ALTER TABLE tbl_name DISABLE KEYS代替myisamchk --keys-used=0 -rq/path/to/db/tbl_name,使用ALTER TABLE tbl_name ENABLE KEYS代替myisamchk -r -q/path/to/db/tbl_name.使用這種方式,還可以跳過FLUSH TABLES.
? 鎖定表可以加速用多個(gè)語句執(zhí)行的INSERT操作:
LOCK TABLES a WRITE;
INSERT INTO a VALUES (1,23),(2,34),(4,33);
INSERT INTO a VALUES (8,26),(6,29);
UNLOCK TABLES;
這樣性能會提高,因?yàn)樗饕彺鎱^(qū)僅在所有INSERT語句完成后刷新到磁盤上一次.一般有多少INSERT語句即有多少索引緩存區(qū)刷新.如果能用一個(gè)語句插入所有的行,就不需要鎖定.
對于事務(wù)表,應(yīng)使用BEGIN和COMMIT代替LOCK TABLES來加快插入.
鎖定也將降低多連接測試的整體時(shí)間,盡管因?yàn)樗鼈兊群蜴i定最大等待時(shí)間將上升.例如:
Connection 1 does 1000 inserts
Connections 2, 3, and 4 do 1 insert
Connection 5 does 1000 inserts
如果不使用鎖定,2、3和4將在1和5前完成.如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時(shí)間應(yīng)該快大約40%.
INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多于大約5次連續(xù)不斷地插入或更新的操作加鎖,可以獲得更好的整體性能.如果在一行中進(jìn)行多次插入,可以執(zhí)行LOCK TABLES,隨后立即執(zhí)行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表.這也會獲得好的性能.
INSERT裝載數(shù)據(jù)比LOAD DATA INFILE要慢得多,即使是使用上述的策略.
? 為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統(tǒng)變量來擴(kuò)大 鍵高速緩沖區(qū).
INSERT語法
代碼如下:
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
?????? [INTO] tbl_name [(col_name,...)]
?????? VALUES ({expr | DEFAULT},...),(...),...
?????? [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或
代碼如下:
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
?????? [INTO] tbl_name
?????? SET col_name={expr | DEFAULT}, ...
?????? [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或
代碼如下:
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
?????? [INTO] tbl_name [(col_name,...)]
?????? SELECT ...
?????? [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
一、DELAYED 的使用
使用延遲插入操作
DELAYED調(diào)節(jié)符應(yīng)用于INSERT和REPLACE語句.當(dāng)DELAYED插入操作到達(dá)的時(shí)候,
服務(wù)器把數(shù)據(jù)行放入一個(gè)隊(duì)列中,并立即給客戶端返回一個(gè)狀態(tài)信息,這樣客戶
端就可以在數(shù)據(jù)表被真正地插入記錄之前繼續(xù)進(jìn)行操作了.如果讀取者從該數(shù)據(jù)
表中讀取數(shù)據(jù),隊(duì)列中的數(shù)據(jù)就會被保持著,直到?jīng)]有讀取者為止.接著服務(wù)器
開始插入延遲數(shù)據(jù)行(delayed-row)隊(duì)列中的數(shù)據(jù)行.在插入操作的同時(shí),服務(wù)器
還要檢查是否有新的讀取請求到達(dá)和等待.如果有,延遲數(shù)據(jù)行隊(duì)列就被掛起,
允許讀取者繼續(xù)操作.當(dāng)沒有讀取者的時(shí)候,服務(wù)器再次開始插入延遲的數(shù)據(jù)行.
這個(gè)過程一直進(jìn)行,直到隊(duì)列空了為止.
幾點(diǎn)要注意事項(xiàng):
? INSERT DELAYED應(yīng)該僅用于指定值清單的INSERT語句.服務(wù)器忽略用于INSERT DELAYED...SELECT語句的DELAYED.
? 服務(wù)器忽略用于INSERT DELAYED...ON DUPLICATE UPDATE語句的DELAYED.
? 因?yàn)樵谛斜徊迦肭?語句立刻返回,所以您不能使用LAST_INSERT_ID()來獲取AUTO_INCREMENT值.AUTO_INCREMENT值可能由語句生成.
? 對于SELECT語句,DELAYED行不可見,直到這些行確實(shí)被插入了為止.
? DELAYED在從屬復(fù)制服務(wù)器中被忽略了,因?yàn)镈ELAYED不會在從屬服務(wù)器中產(chǎn)生與主服務(wù)器不一樣的數(shù)據(jù).
注意,目前在隊(duì)列中的各行只保存在存儲器中,直到它們被插入到表中為止.這意味著,如果您強(qiáng)行中止了mysqld(例如,使用kill -9)
或者如果mysqld意外停止,則所有沒有被寫入磁盤的行都會丟失.
二、IGNORE的使用IGNORE是MySQL相對于標(biāo)準(zhǔn)SQL的擴(kuò)展.如果在新表中有重復(fù)關(guān)鍵字,
或者當(dāng)STRICT模式啟動后出現(xiàn)警告,則使用IGNORE控制ALTER TABLE的運(yùn)行.
如果沒有指定IGNORE,當(dāng)重復(fù)關(guān)鍵字錯(cuò)誤發(fā)生時(shí),復(fù)制操作被放棄,返回前一步驟.
如果指定了IGNORE,則對于有重復(fù)關(guān)鍵字的行,只使用第一行,其它有沖突的行被刪除.
并且,對錯(cuò)誤值進(jìn)行修正,使之盡量接近正確值.
insert ignore into tb(...) value(...)
這樣不用校驗(yàn)是否存在了,有則忽略,無則添加
三、ON DUPLICATE KEY UPDATE的使用
如果您指定了ON DUPLICATE KEY UPDATE,并且插入行后會導(dǎo)致在一個(gè)UNIQUE索引或PRIMARY KEY中出現(xiàn)重復(fù)值,則執(zhí)行舊行UPDATE.例如,如果列a被定義為UNIQUE,并且包含值1,則以下兩個(gè)語句具有相同的效果:
mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)
?????? -> ON DUPLICATE KEY UPDATE c=c+1;
mysql> UPDATE table SET c=c+1 WHERE a=1;
如果行作為新記錄被插入,則受影響行的值為1;如果原有的記錄被更新,則受影響行的值為2.
注釋:如果列b也是唯一列,則INSERT與此UPDATE語句相當(dāng):
mysql> UPDATE table SET c=c+1 WHERE a=1 OR b=2 LIMIT 1;
如果a=1 OR b=2與多個(gè)行向匹配,則只有一個(gè)行被更新.通常,您應(yīng)該盡量避免對帶有多個(gè)唯一關(guān)鍵字的表使用ON DUPLICATE KEY子句.
您可以在UPDATE子句中使用VALUES(col_name)函數(shù)從INSERT…UPDATE語句的INSERT部分引用列值.換句話說,如果沒有發(fā)生重復(fù)關(guān)鍵字沖突,則UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值.本函數(shù)特別適用于多行插入. VALUES()函數(shù)只在INSERT…UPDATE語句中有意義,其它時(shí)候會返回NULL.
示例:
代碼如下:
mysql> INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)
?????? -> ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);
本語句與以下兩個(gè)語句作用相同:
mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)
?????? -> ON DUPLICATE KEY UPDATE c=3;
mysql> INSERT INTO table (a,b,c) VALUES (4,5,6)
?????? -> ON DUPLICATE KEY UPDATE c=9;
當(dāng)您使用ON DUPLICATE KEY UPDATE時(shí),DELAYED選項(xiàng)被忽略.
轉(zhuǎn)載請注明本頁網(wǎng)址:
http://www.snjht.com/jiaocheng/6349.html