企業基于云端進行業務構建時,所面臨的最大負荷通常都來自系統中頻繁的存儲 I/O ,存儲設備的性能直接決定用戶是否將其核心業務搬到云上以及能否通過云計算開展業務.

目前,隨著用戶業務規模的不斷擴大和場景的進一步豐富,主流云服務商所提供的塊存儲服務在雙 11 電商搶購秒殺、春晚紅包、超大型網絡游戲不分服數據庫應用中等對存儲有著超高性能需求的業務場景下依舊存在瓶頸.

在這些場景下,短時間內大量哀求發送到業務邏輯層,業務進行處理對后端存儲并發大量讀寫,如果此時存儲讀寫能力沒有達到業務要求則會發生讀寫延時增大,可能導致業務超時,產生游戲卡頓、訂單狀態持續轉圈等待甚至失敗等后果.

9月25日,騰訊云推出了隨機 IOPS 高達 20 萬的超高性能 SSD 云盤,能有效滿足大型關系數據庫(如 Oracle、SQL Server)、NoSQL 數據庫(如 Hbase、Cassandra)、數據檢索場景(如 SAPHana、ElasticSearch)等業務場景中對云盤 IO 的性能要求,填補了整個行業在超高性能云盤方面的空白.

騰訊云超高性能 SSD 云盤如何練就業界頂級的 IOPS 性能?下面逐一對騰訊云超高性能云盤使用的核心技術進行揭秘.

1.使用 SPDK 充分發掘 NVMe SSD的性能

Linux下 IOPS 越高系統的開銷越大,在單機高密度盤場景下很難將所有NVMe SSD 盤的性能發揮出來.我們突破性地使用 SPDK 來讀寫 NVMe SSD,由于 NVMe 的驅動程序在用戶空間,因此不必要用中斷來通知 IO 完成,也就無需經過厚重的內核 IO 棧.相比于使用 Linux內核,SPDK 用戶空間 NVMe 驅動程序在極小化系統開銷的同時,可將 IO 延遲降低 10 倍,單核單盤的性能可達百萬 IOPS.

2.基于 25Gb 的 RDMA 的超高性能網絡框架

云盤的讀寫離不開網絡傳輸.使用 TCP socket 傳輸數據時,大部分的延遲都是由網絡協議棧帶來的,且網絡協議棧太復雜,難于優化.相對于傳統的 TCP socket 數據傳輸,RDMA 技術可以將應用程序 Buffer 中的數據直接拷貝到網卡內存并發送到遠端,遠端把數據 DMA 到應用的緩存中,相當于在應用之間建立了更快速更直接的通道,如圖所示.通過上面的工作原理可以看到,使用 RDMA 做數據傳輸有以下幾個優勢：

1) zero-copy：數據不必要在網絡協議棧的各個層之間來回拷貝,這縮短了數據流路徑.

2) kernel-bypass：應用直接操作設備接口,不再經過系統調用切換到內核態,沒有內核切換開銷.

3) none-CPU：數據傳輸無須CPU參與,完全由網卡搞定,無需再做發包收包中斷處理,不耗費CPU資源.

騰訊云專門開發了針對 RDMA 的超高性能網絡框架,可以充分發揮 RDMA的傳輸優勢.在 4K-16K小 IO 場景下,相對 TCP 網絡延遲下降 50%,同時有超過 5 倍的性能提升.25Gb 網絡讓云盤的理論讀寫帶寬達到 2.5GB/s以上,可以讓一臺云主機的多塊盤同時跑出極限性能.

3.基于 3D Xpoint 的 log 緩存

3D Xpoint 技術可謂是 NAND Flash 誕生以來存儲界的最大突破.相比DRAM,3D Xpoint 盤有非易失、低功耗、高密度的優勢；相比 NAND,其速度更快,壽命更長.由于云盤存儲引擎采用類似 LSM 的模式,因此將高性能、長壽命的 3D Xpoint 盤作為一級 log ,內存用作一級 log 的索引緩存非常合適.既通過內存的高速度保證了訪問的性能,又通過 3D Xpoint 盤的非易失性保證了數據的平安.3D Xpoint 盤同時還用于存儲元數據,實現 metadisk機制,保證需實時存儲的小 IO 元數據及時落盤.

4.云盤系統架構

云盤接入層和存儲節點通過 RDMA 傳輸數據,騰訊云專門開發了針對RDMA 的超高性能網絡框架,滿足超高 IOPS 下的數據傳輸需求；Dispatch 模塊用來進行多副本的數據分發同步；3D Xpoint 盤和 NVMe SSD 盤分別負責日志元數據和用戶數據的存儲.整個系統從設計上盡量縮短 IO 的中間路徑,使用 RMDA 和 SPDK 將 IO 從耗時的網絡內核棧和 IO 內核棧中解放出來,消除 IO 路徑上的瓶頸點,將后端洶涌澎湃的 IO 能力送達云主機.

此次超高性能 SSD 云盤的推出標記了騰訊云積累多年的分布式存儲技術和順應時代新硬件的完美結合.騰訊云在存儲領域快速應用 RDMA、SPDK、3D Xpoint 等新技術,不斷突破性能上限.率先將最新技術領入到云計算行業中,普惠眾多游戲、電商、社交應用、直播等領域的客戶.