我們編寫好了網(wǎng)絡(luò)爬蟲,從互聯(lián)網(wǎng)上爬取了年夜量數(shù)據(jù),當(dāng)數(shù)據(jù)量可以稱之為海量的時(shí)候,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫將會(huì)面對(duì)下面的問題：

1 關(guān)系數(shù)據(jù)庫依照事務(wù)關(guān)系組織存儲(chǔ)模型,要求事務(wù)的一致性

2 海量數(shù)據(jù)在并發(fā)時(shí)呈現(xiàn)讀寫性能的下降

3 可擴(kuò)展性能差,容錯(cuò)性能弱

面對(duì)海量數(shù)據(jù),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)不能滿足需求,尤其是并行計(jì)算,我們必要把海量數(shù)據(jù)分布到不同的網(wǎng)絡(luò)節(jié)點(diǎn)上,利用多機(jī)的計(jì)算資源來加速計(jì)算速度.

MongoDB

作為NoSql數(shù)據(jù)庫的代表,下面是MongoDB津津樂道并能夠得到大范圍推廣的長(zhǎng)處

1 結(jié)構(gòu)靈活,采用表結(jié)構(gòu),擴(kuò)展性強(qiáng),可以動(dòng)態(tài)的增刪,因?yàn)椴槐匾A(yù)先定義表結(jié)構(gòu),是面向文檔的.

2 MongoDB自帶集群,可擴(kuò)展性能高,當(dāng)數(shù)據(jù)量跨越MongoDB的存儲(chǔ)上限時(shí),可以直接增加相應(yīng)的分片即可,

3 MongoDB的副本集機(jī)制的存在保障了容錯(cuò)性以及避免單點(diǎn)故障

4 以BSON存儲(chǔ),模式要求比擬弱.

Redis

Redis數(shù)據(jù)庫是一種輕量級(jí)的鍵值對(duì)數(shù)據(jù)存儲(chǔ),Redis 可以在磁盤上存儲(chǔ)數(shù)據(jù)以及跨節(jié)點(diǎn)復(fù)制數(shù)據(jù),也就是可以像使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫一樣使用Redis來建立數(shù)據(jù)倉庫.但是它之所以比擬出名是因?yàn)樗目焖?也就是說Redis數(shù)據(jù)庫的讀寫性能非常高.操作時(shí)會(huì)將整個(gè)數(shù)據(jù)庫系統(tǒng)加載到內(nèi)存中,查找速度快,但是Redis一般只適合小數(shù)量的數(shù)據(jù).

Memcached

Memcached也是內(nèi)存對(duì)象緩存系統(tǒng),通過將目標(biāo)的鍵值對(duì)加載到內(nèi)存上進(jìn)行操作,Memcached也是通過減少IO交換來增強(qiáng)讀寫性能,但是它也存在缺陷,雖然和Redis數(shù)據(jù)庫同樣是內(nèi)存對(duì)象緩存系統(tǒng),但是Memcached中存儲(chǔ)的值只能是簡(jiǎn)單的字符串,而Redis它支持豐富的值集,包含字符串、列表、集以及散列.

Graph DataBase

圖數(shù)據(jù)庫的存儲(chǔ)非常復(fù)雜但是組織結(jié)構(gòu)是合理高效的.圖數(shù)據(jù)庫的存儲(chǔ)方式很像知識(shí)圖譜,有實(shí)體,還有實(shí)體之間的關(guān)系,一般在表現(xiàn)社會(huì)關(guān)系、科學(xué)論文引用等關(guān)系結(jié)構(gòu)比擬復(fù)雜的時(shí)候應(yīng)用.

雖然非關(guān)系數(shù)據(jù)庫的發(fā)展日益龐年夜,但是從歷史角度上,關(guān)系型數(shù)據(jù)庫仍然在很多年夜型企業(yè)上占據(jù)霸主地位,但是從發(fā)展趨勢(shì)上來看,隨著對(duì)海量數(shù)據(jù)、高效查詢的需求的增加,No-Sql仍然是技術(shù)發(fā)展的重要一環(huán).