華為存算分離解決方案

數(shù)據(jù)庫分布式改造存在靈活性差、應(yīng)用改造復(fù)雜等諸多問題，今天，兩位專家繼續(xù)探討，如何通過存算分離架構(gòu)和高效存儲能力解決這些問題，以及存算分離后，對存儲的選擇。

為什么分布式數(shù)據(jù)庫存算分離是時代的選擇?

存算分離的架構(gòu)優(yōu)勢使其成為解決數(shù)據(jù)庫改造問題的鑰匙，網(wǎng)絡(luò)技術(shù)的發(fā)展促成了存算分離在云原生數(shù)據(jù)庫中的廣泛應(yīng)用。

資深產(chǎn)品經(jīng)理 龐毅

存算一體架構(gòu)在故障恢復(fù)和搬遷時都要全量恢復(fù)數(shù)據(jù)，不僅降低了可靠性，也增加了運(yùn)維工作量和成本，同時遷移擴(kuò)容時間不可控，需要更多資源冗余來彌補(bǔ)。

首席架構(gòu)師 張曉巖

是的，所以華為OceanData分布式數(shù)據(jù)庫存算解決方案，在基于存算分離架構(gòu)上，利用容器的技術(shù)把整個數(shù)據(jù)庫的一層做成無狀態(tài)，真正的數(shù)據(jù)通過持久化卷的方式存到存儲，磁盤故障有存儲保障，服務(wù)器故障的時候，通過容器K8S的自動編排的技術(shù)，快速恢復(fù)數(shù)據(jù)。幾個小時的數(shù)據(jù)重構(gòu)時間，縮短至分鐘級，大大提升系統(tǒng)效率和可靠性。

資深產(chǎn)品經(jīng)理 龐毅

我有個客戶一個幾百G數(shù)據(jù)庫down掉之后，他花了3個小時，和5個相關(guān)的工程師去解決。因?yàn)楹芏嗟牟僮饕止とプ?，沒有辦法完全形成自動化。我知道云原生里有個“不可變基礎(chǔ)設(shè)施”的概念，無狀態(tài)解耦之后，數(shù)據(jù)都落在了解耦的存儲上，計(jì)算部分就可以任意的去漂移，按照AWS說法就是計(jì)算是可以停機(jī)，可以故障去修復(fù)，也可以增加或者減少實(shí)例，去應(yīng)對計(jì)算資源的需求和故障遷移，但是存儲一定是要長期在線的狀態(tài)而且不能容忍降級的發(fā)生。

我需要這樣一個方案，因?yàn)榻灰仔偷臄?shù)據(jù)庫它的數(shù)據(jù)規(guī)模雖然相對來講不是那么大，但是它要求性能和容量都具備一定的擴(kuò)展性。

首席架構(gòu)師 張曉巖

我們已經(jīng)有這個方案了，華為OceanData方案采用了一種云原生的架構(gòu)，通過容器和企業(yè)級存儲的結(jié)合，可以做到整個計(jì)算側(cè)是無狀態(tài)的，數(shù)據(jù)庫部署在容器里面，當(dāng)數(shù)據(jù)庫算力不夠的時候，實(shí)現(xiàn)了算力的橫向擴(kuò)展;磁盤不夠了，只需要把存儲資源擴(kuò)展。

同時企業(yè)級存儲也采用了分布式架構(gòu)，也是一種數(shù)控分離的架構(gòu)，盤和處理單元是分開的，處理單元采用交全交叉互聯(lián)的方式，與數(shù)據(jù)盤的資源聯(lián)系在一起。當(dāng)要擴(kuò)性能的時候，只需要擴(kuò)控制器，當(dāng)容量不夠的時候，只需要擴(kuò)盤。

資深產(chǎn)品經(jīng)理 龐毅

只有可靠性，擴(kuò)展性的問題解決后，才能夠放手去提升資源利用率。我們跟一些客戶去做過相關(guān)的估算，如果可靠性的問題能解決的話，那么它的計(jì)算的利用率能夠從10%提升到30%左右，成本將近節(jié)省一半，尤其是在機(jī)房和耗電能夠降低大概60~70%。

那為什么之前大家沒有去做存算分離這個事情?如果因?yàn)檫@個架構(gòu)影響了性能的話，有點(diǎn)得不償失。

首席架構(gòu)師 張曉巖

我們跟很多客戶聊過，他們以前也嘗試過用這種存算分離的架構(gòu)，整個性能出現(xiàn)斷崖式的下跌，網(wǎng)絡(luò)是很關(guān)鍵的一環(huán)。但是隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，隨著RoCE網(wǎng)絡(luò)逐漸的成熟，可以通過無損以太網(wǎng)，NVMe協(xié)議，遠(yuǎn)端直接訪問存儲內(nèi)存的數(shù)據(jù)，縮短整個lO路徑。我們在客戶場景實(shí)測發(fā)現(xiàn)，用NoF網(wǎng)絡(luò)相比于FC網(wǎng)絡(luò)，性能提升20%~30%，跟服務(wù)器的本地盤性能持平。給客戶帶來直觀感覺就是性能沒下降，但是可靠性提升了很多。

存算分離后，對存儲的選擇

近年來網(wǎng)絡(luò)技術(shù)追趕上了介質(zhì)和接口速率，因而出現(xiàn)了技術(shù)拐點(diǎn)，在這波數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型中，25GE網(wǎng)絡(luò)，RDMA，無損網(wǎng)絡(luò)，無阻塞轉(zhuǎn)發(fā)網(wǎng)絡(luò)大量被應(yīng)用，網(wǎng)絡(luò)不再是瓶頸，那對于存儲的選擇呢?

資深產(chǎn)品經(jīng)理 龐毅

當(dāng)我把大量數(shù)據(jù)集中到存儲上之后，如果存儲的可靠性和存儲性能達(dá)不到要求，將會成為整個系統(tǒng)的瓶頸。

首席架構(gòu)師 張曉巖

是的，為什么我強(qiáng)調(diào)我們是端到端支持 NVMe over Fabric，因?yàn)榫W(wǎng)絡(luò)雖然用了高速無損以太網(wǎng)RoCE網(wǎng)絡(luò)，但只是解決了通道的問題，如果前端還是用傳統(tǒng)SAS接口，無法解決問題。因此，存儲也要端到端支持NVMe，以及提升存儲可靠性的亞健康主動檢測，磨損均衡和反磨損均衡等。通過磨損均衡和反磨損均衡防止盤批量故障，同時換盤的動作都是主動告知，主動監(jiān)測。

資深產(chǎn)品經(jīng)理 龐毅

業(yè)界這些廠家在做存算分離的時候，也是要利用存儲的一些能力來去解決問題，不管是亞健康還是磨損均衡，因?yàn)楸镜乇P上沒有亞健康檢測，也沒有磨損均衡能力，有些客戶為保證性能，用NVMe的SSD卡，但是NVMe的SSD卡，很難在服務(wù)器上做RAID的，還有存儲層的性能隔離也很難在服務(wù)器上實(shí)現(xiàn)。

首席架構(gòu)師 張曉巖

專業(yè)的人干專業(yè)的事。整個IT架構(gòu)中也一樣，磁盤數(shù)據(jù)的管理放在存儲上去做，無論從效率還是可靠性肯定是更好的。除了剛才講的IO性能、磁盤的監(jiān)測外，存儲還可以做很多事情，企業(yè)級的存儲支持快照備份，容災(zāi)的能力，我們之前一些客戶用開源的工具做整個數(shù)據(jù)庫的備份，恢復(fù)1TB的數(shù)據(jù)需要幾個小時，效率很低。我們借助存儲的快照技術(shù)，可以大大提升效率。

數(shù)據(jù)庫是一個端到端的系統(tǒng)架構(gòu)的方案，不光要考慮數(shù)據(jù)庫軟件自身，還要考慮整個集群管理，包括一些周邊的備份容災(zāi)，以及整個基礎(chǔ)設(shè)施的選擇。所以華為構(gòu)筑OceanData這樣的一個解決方案出來，把整個數(shù)據(jù)庫端到端的堆棧打通，去減少客戶在他自己在拼裝這些方案的時候遇到的這些問題。客戶更多的是把心思放在他的業(yè)務(wù)上，而不是放在怎么去搭建出一套完整的數(shù)據(jù)庫方案出來。