《Mysql實例mysql的3種分表方案》要點:
本文介紹了Mysql實例mysql的3種分表方案,希望對您有用。如果有疑問,可以聯系我們。
MYSQL入門一、先說一下為什么要分表:
當一張的數據達到幾百萬時,你查詢一次所花的時間會變多,如果有聯合查詢的話,有可能會死在那兒了.分表的目的就在于此,減小數據庫的負擔,縮短查詢時間.
MYSQL入門根據個人經驗,mysql執行一個sql的過程如下:
1、接收到sql;?
2、把sql放到排隊隊列中;
3、執行sql;?
4、返回執行結果.
在這個執行過程中最花時間在什么地方呢?第一,是排隊等待的時間,第二,sql的執行時間.其實這二個是一回事,等待的同時,肯定有sql在執行.所以我們要縮短sql的執行時間.
MYSQL入門mysql中有一種機制是表鎖定和行鎖定,為什么要出現這種機制,是為了保證數據的完整性,我舉個例子來說吧,如果有二個sql都要修改同一張表的同一條數據,這個時候怎么辦呢,是不是二個sql都可以同時修改這條數據呢?很顯然mysql對這種情況的處理是,一種是表鎖定(myisam存儲引擎),一個是行鎖定(innodb存儲引擎).表鎖定表示你們都不能對這張表進行操作,必須等我對表操作完才行.行鎖定也一樣,別的sql必須等我對這條數據操作完了,才能對這條數據進行操作.如果數據太多,一次執行的時間太長,等待的時間就越長,這也是我們為什么要分表的原因.??
MYSQL入門二、分表
MYSQL入門1,做mysql集群,例如:利用mysql cluster ,mysql proxy,mysql replication,drdb等等
MYSQL入門有人會問mysql集群,根分表有什么關系嗎?雖然它不是實際意義上的分表,但是它啟到了分表的作用,做集群的意義是什么呢?為一個數據庫減輕負擔,說白了就是減少sql排隊隊列中的sql的數量,舉個例子:有10個sql請求,如果放在一個數據庫服務器的排隊隊列中,他要等很長時間,如果把這10個sql請求,分配到5個數據庫服務器的排隊隊列中,一個數據庫服務器的隊列中只有2個,這樣等待時間是不是大大的縮短了呢?這已經很明顯了.所以我把它列到了分表的范圍以內,我做過一些mysql的集群:
MYSQL入門linux mysql proxy 的安裝,配置,以及讀寫分離
mysql replication 互為主從的安裝及配置,以及數據同步
優點:擴展性好,沒有多個分表后的復雜操作(php代碼)
缺點:單個表的數據量還是沒有變,一次操作所花的時間還是那么多,硬件開銷大.
MYSQL入門2,預先估計會出現大數據量并且訪問頻繁的表,將其分為若干個表
MYSQL入門這種預估大差不差的,論壇里面發表帖子的表,時間長了這張表肯定很大,幾十萬,幾百萬都有可能. 聊天室里面信息表,幾十個人在一起一聊一個晚上,時間長了,這張表的數據肯定很大.像這樣的情況很多.所以這種能預估出來的大數據量表,我們就事先分出個N個表,這個N是多少,根據實際情況而定.以聊天信息表為例:
MYSQL入門我事先建100個這樣的表,message_00,message_01,message_02……….message_98,message_99.然后根據用戶的ID來判斷這個用戶的聊天信息放到哪張表里面,你可以用hash的方式來獲得,可以用求余的方式來獲得,方法很多,各人想各人的吧.下面用hash的方法來獲得表名:
MYSQL入門echo get_hash_table('message' , 'user18991');???? //結果為message_10
echo get_hash_table('message' , 'user34523');??? //結果為message_13
?>?
MYSQL入門說明一下,上面的這個方法,告訴我們user18991這個用戶的消息都記錄在message_10這張表里,user34523這個用戶的消息都記錄在message_13這張表里,讀取的時候,只要從各自的表中讀取就行了.
MYSQL入門優點:避免一張表出現幾百萬條數據,縮短了一條sql的執行時間
MYSQL入門缺點:當一種規則確定時,打破這條規則會很麻煩,上面的例子中我用的hash算法是crc32,如果我現在不想用這個算法了,改用md5后,會使同一個用戶的消息被存儲到不同的表中,這樣數據亂套了.擴展性很差.
MYSQL入門3,利用merge存儲引擎來實現分表
MYSQL入門我覺得這種方法比較適合,那些沒有事先考慮,而已經出現了得,數據查詢慢的情況.這個時候如果要把已有的大數據量表分開比較痛苦,最痛苦的事就是改代碼,因為程序里面的sql語句已經寫好了,現在一張表要分成幾十張表,甚至上百張表,這樣sql語句是不是要重寫呢?舉個例子,我很喜歡舉例子
MYSQL入門mysql>show engines;的時候你會發現mrg_myisam其實就是merge.
MYSQL入門mysql> CREATE TABLE IF NOT EXISTS `user2` (
?->?? `id` int(11) NOT NULL AUTO_INCREMENT,
?->?? `name` varchar(50) DEFAULT NULL,
?->?? `sex` int(1) NOT NULL DEFAULT '0',
?->?? PRIMARY KEY (`id`)
?-> ) ENGINE=MyISAM? DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
Query OK, 0 rows affected (0.01 sec)???
MYSQL入門mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0);
Query OK, 1 row affected (0.00 sec)???
MYSQL入門mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1);
Query OK, 1 row affected (0.00 sec)???
MYSQL入門mysql> CREATE TABLE IF NOT EXISTS `alluser` (
?->?? `id` int(11) NOT NULL AUTO_INCREMENT,
?->?? `name` varchar(50) DEFAULT NULL,
?->?? `sex` int(1) NOT NULL DEFAULT '0',
?->?? INDEX(id)
?-> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;
Query OK, 0 rows affected, 1 warning (0.00 sec)???
MYSQL入門mysql> select id,name,sex from alluser;
+----+--------+-----+
| id | name?? | sex |
+----+--------+-----+
|? 1 | 張映??? |?? 0 |
|? 1 | tank?? |?? 1 |
+----+--------+-----+
2 rows in set (0.00 sec)???
MYSQL入門mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0);
Query OK, 1 row affected (0.00 sec)???
MYSQL入門mysql> select id,name,sex from user2
?-> ;
+----+-------+-----+
| id | name? | sex |
+----+-------+-----+
|? 1 | tank? |?? 1 |
|? 2 | tank2 |?? 0 |
+----+-------+-----+
2 rows in set (0.00 sec)?
MYSQL入門mysql> CREATE TABLE IF NOT EXISTS `user1` (? ->?? `id` int(11) NOT NULL AUTO_INCREMENT,? ->?? `name` varchar(50) DEFAULT NULL,? ->?? `sex` int(1) NOT NULL DEFAULT '0',? ->?? PRIMARY KEY (`id`)? -> ) ENGINE=MyISAM? DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.05 sec)? mysql> CREATE TABLE IF NOT EXISTS `user2` (? ->?? `id` int(11) NOT NULL AUTO_INCREMENT,? ->?? `name` varchar(50) DEFAULT NULL,? ->?? `sex` int(1) NOT NULL DEFAULT '0',? ->?? PRIMARY KEY (`id`)? -> ) ENGINE=MyISAM? DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.01 sec)? mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0); Query OK, 1 row affected (0.00 sec)? mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1); Query OK, 1 row affected (0.00 sec)? mysql> CREATE TABLE IF NOT EXISTS `alluser` (? ->?? `id` int(11) NOT NULL AUTO_INCREMENT,? ->?? `name` varchar(50) DEFAULT NULL,? ->?? `sex` int(1) NOT NULL DEFAULT '0',? ->?? INDEX(id)? -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ; Query OK, 0 rows affected, 1 warning (0.00 sec)? mysql> select id,name,sex from alluser;
+----+--------+-----+
| id | name?? | sex |
+----+--------+-----+
|? 1 |? 張映?? |?? 0 |
|? 1 | tank?? |?? 1 |
+----+--------+-----+
2 rows in set (0.00 sec)
MYSQL入門mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0); Query OK, 1 row affected (0.00 sec)? mysql> select id,name,sex from user2? -> ;
MYSQL入門+----+-------+-----+
| id | name? | sex |
+----+-------+-----+
|? 1 | tank? |?? 1 |
|? 2 | tank2 |?? 0 |
+----+-------+-----+
2 rows in set (0.00 sec)
MYSQL入門INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id > 250000
MYSQL入門a,如果你使用 alter table 來把 merge 表變為其它表類型,到底層表的映射就被丟失了.取而代之的,來自底層 myisam 表的行被復制到已更換的表中,該表隨后被指定新類型.
MYSQL入門b,網上看到一些說replace不起作用,我試了一下可以起作用的.暈一個先
MYSQL入門mysql> select * from alluser;
+----+--------+-----+
| id | name?? | sex |
+----+--------+-----+
|? 1 | 張映??? |?? 0 |
|? 1 | tank?? |?? 1 |
|? 2 | tank2? |?? 1 |
+----+--------+-----+
3 rows in set (0.00 sec)?
MYSQL入門mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2; Query OK, 1 row affected (0.00 sec) Rows matched: 1? Changed: 1? Warnings: 0? mysql> select * from alluser;
?+----+--------+-----+
?| id | name?? | sex |
?+----+--------+-----+
?|? 1 | 張映??? |?? 0 |
?|? 1 | tank?? |?? 1 |
?|? 2 | tank2? |?? 1 |
?+----+--------+-----+
?3 rows in set (0.00 sec)
MYSQL入門d,當你創建一個 merge 表之時,沒有檢查去確保底層表的存在以及有相同的機構.當 merge 表被使用之時,mysql 檢查每個被映射的表的記錄長度是否相等,但這并不十分可靠.如果你從不相似的 myisam 表創建一個 merge 表,你非常有可能撞見奇怪的問題.
MYSQL入門c和d在網上看到的,沒有測試,大家試一下吧.
MYSQL入門優點:擴展性好,并且程序代碼改動的不是很大
MYSQL入門缺點:這種方法的效果比第二種要差一點
MYSQL入門三、總結一下
MYSQL入門上面提到的三種方法,我實際做過二種,第一種和第二種.第三種沒有做過,所以說的細一點.哈哈.做什么事都有一個度,超過個度就過變得很差,不能一味的做數據庫服務器集群,硬件是要花錢買的,也不要一味的分表,分出來1000表,mysql的存儲歸根到底還以文件的形勢存在硬盤上面,一張表對應三個文件,1000個分表就是對應3000個文件,這樣檢索起來也會變的很慢.我的建議是
MYSQL入門方法1和方法2結合的方式來進行分表
方法1和方法3結合的方式來進行分表
MYSQL入門我的二個建議適合不同的情況,根據個人情況而定,我覺得會有很多人選擇方法1和方法3結合的方式
轉載請注明本頁網址:
http://www.snjht.com/jiaocheng/4985.html