《MYSQL數(shù)據(jù)庫MySQL分表實現(xiàn)上百萬上千萬記錄分布存儲的批量查詢設(shè)計模式詳解》要點：
本文介紹了MYSQL數(shù)據(jù)庫MySQL分表實現(xiàn)上百萬上千萬記錄分布存儲的批量查詢設(shè)計模式詳解，希望對您有用。如果有疑問，可以聯(lián)系我們。

我們知道可以將一個海量記錄的 MySQL 大表根據(jù)主鍵、時間字段,條件字段等分成若干個表甚至保存在若干服務(wù)器中.
唯一的問題就是跨服務(wù)器批量查詢麻煩,只能通過應(yīng)用程序來解決.談?wù)勗贘ava中的解決思路.其他語言原理類似.
這里說的分表不是 MySQL 5.1 的 partition,而是人為把一個表分開存在若干表或不同的服務(wù)器.
1. 應(yīng)用程序級別實現(xiàn)
見示意圖MYSQL數(shù)據(jù)庫

MYSQL數(shù)據(jù)庫

electThreadManager 分表數(shù)據(jù)查詢管理器
它為分表的每個database or server 建立一個 thread pool
addTask() - 添加任務(wù)
stopTask() - 停止任務(wù)
getResult() - 獲取執(zhí)行結(jié)果
最快的執(zhí)行時間 = 最慢的 MySQL 節(jié)點查詢消耗時間
最慢的執(zhí)行時間 = 超時時間
某個 ThreadPool 忙時候處理流程
1. 假如 ThreadPoolN 非常忙,(也意味 DB N 非常忙)；
2. 新的查詢?nèi)蝿?wù)到來,addTask(), 新的任務(wù)的一個thread加到ThreadPoolN任務(wù)排隊中
3. 外層應(yīng)用已經(jīng)獲得其他 thread 返回結(jié)果,繼續(xù)等待
4. 外層應(yīng)用等待超時的時間到,調(diào)用 stopTask() 設(shè)置該任務(wù)全部 thread 中的停止標志, 外層應(yīng)用返回.
5. 若干時間后,ThreadPoolN取到該排隊 Thread, 因為設(shè)置了停止位,線程直接運行完成.
2. JDBC 層實現(xiàn)
做一個 JDBC Driver 的包裝,攔截 PreparedStatement, Statement 的 executeQuery()
然后調(diào)用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由于單張表的數(shù)據(jù)跨文件,批量查詢時候同樣存在上述問題,不過它是在 MySQL 內(nèi)部實現(xiàn)的,不需要外部調(diào)用者關(guān)心.其查詢實現(xiàn)的原理應(yīng)該大致類似.
但 partition 只解決了 IO 的瓶頸,并不能解決 CPU 計算的瓶頸,因此無法代替?zhèn)鹘y(tǒng)的手工分表方式.
MYSQL數(shù)據(jù)庫

轉(zhuǎn)載請注明本頁網(wǎng)址：
http://www.snjht.com/jiaocheng/5206.html