5月7日，以“數(shù)據(jù)覺(jué)醒，構(gòu)建AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施”為主題的2024創(chuàng)新數(shù)據(jù)基礎(chǔ)設(shè)施論壇在柏林舉行。華為公司副總裁、數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰博士發(fā)表題為“數(shù)據(jù)覺(jué)醒時(shí)代，華為重新定義數(shù)據(jù)存儲(chǔ)”主題演講，他表示，具備極致性能、數(shù)據(jù)韌性、全新數(shù)據(jù)范式、高擴(kuò)展性、綠色節(jié)能、數(shù)據(jù)編織能力的數(shù)據(jù)存儲(chǔ)是AI時(shí)代存儲(chǔ)演進(jìn)的必由之路。


數(shù)據(jù)存儲(chǔ)的新要求

AI大模型集群規(guī)模已邁入萬(wàn)卡、十萬(wàn)卡時(shí)代，集群規(guī)模增加帶來(lái)更加頻繁的故障和訓(xùn)練中斷，重復(fù)的CheckPoint數(shù)據(jù)寫(xiě)入、斷點(diǎn)續(xù)訓(xùn)導(dǎo)致算力資源閑置，集群可用度不足50%。此外，到2026年，全球數(shù)據(jù)中心的耗電量預(yù)計(jì)將達(dá)到2022年的2.3倍，相當(dāng)于日本一個(gè)國(guó)家全年的耗電量，其中數(shù)據(jù)中心一半以上的電力消耗都將被AI占據(jù)。

AI時(shí)代呼喚新一代數(shù)據(jù)存儲(chǔ)。過(guò)去的數(shù)據(jù)存儲(chǔ)主要關(guān)注性能、可靠、數(shù)據(jù)范式三個(gè)方面；面向未來(lái)，AI存儲(chǔ)還應(yīng)增加三個(gè)維度：高擴(kuò)展性、綠色節(jié)能與數(shù)據(jù)編織。數(shù)據(jù)覺(jué)醒時(shí)代，華為將重新定義數(shù)據(jù)存儲(chǔ)，聚焦于六個(gè)方面的創(chuàng)新，持續(xù)引領(lǐng)：

極致性能：超越傳統(tǒng)存儲(chǔ)10倍的性能，支持PB級(jí)帶寬以及億級(jí)IOPS，極大提升生成式AI全流程效率；

數(shù)據(jù)韌性：通過(guò)架構(gòu)和技術(shù)創(chuàng)新，實(shí)現(xiàn)99.9999%高可靠性，通過(guò)內(nèi)置防勒索引擎，實(shí)現(xiàn)偵測(cè)準(zhǔn)確率提升至99.99%，并將AI訓(xùn)練過(guò)程中CheckPoint恢復(fù)時(shí)間縮至1分鐘以內(nèi)；

全新數(shù)據(jù)范式：使能多維“張量”格式的數(shù)據(jù)，通過(guò)智能檢索引擎，具備快速的張量數(shù)據(jù)檢索能力；通過(guò)內(nèi)嵌知識(shí)庫(kù)，利用RAG技術(shù)消除AI大模型幻覺(jué)；

高擴(kuò)展性：存儲(chǔ)集群支持EB級(jí)容量橫向擴(kuò)展；每個(gè)引擎可支持多GPU、DPU或NPU縱向擴(kuò)展，以支持近存計(jì)算；

綠色節(jié)能：通過(guò)存儲(chǔ)介質(zhì)應(yīng)用創(chuàng)新和整機(jī)硬件創(chuàng)新，實(shí)現(xiàn)小于1Watt/TB的存儲(chǔ)能效和1PB/U的存儲(chǔ)密度；

數(shù)據(jù)編織：基于存儲(chǔ)元數(shù)據(jù)管理及檢索能力，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視、可管，并支持10倍的數(shù)據(jù)流動(dòng)效率提升。

基于以上創(chuàng)新，華為推出全新A系列高性能存儲(chǔ)OceanStor A800，專為AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800帶寬是友商同類產(chǎn)品的4倍，IOPS達(dá)友商的8倍；支持EB級(jí)容量擴(kuò)展，最大支持?jǐn)U容至4096張算力卡，512個(gè)存儲(chǔ)控制器；從空間能耗來(lái)看，密度高達(dá)1PB/U，能耗低至0.7Watt/TB；結(jié)合向量化索引、張量格式數(shù)據(jù)、RAG知識(shí)庫(kù)，使能全新數(shù)據(jù)范式；數(shù)據(jù)韌性方面，勒索攻擊偵測(cè)準(zhǔn)確率從99.9%提升至99.99%；通過(guò)數(shù)據(jù)編織能力，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理。


數(shù)據(jù)爆炸來(lái)臨

國(guó)產(chǎn)替代加速

在新興技術(shù)驅(qū)動(dòng)下，存儲(chǔ)主要面對(duì)的是云計(jì)算、大數(shù)據(jù)和人工智能等大規(guī)模數(shù)據(jù)應(yīng)用場(chǎng)景。相較于傳統(tǒng)存儲(chǔ)，源于大型互聯(lián)網(wǎng)數(shù)據(jù)中心的“軟件定義存儲(chǔ)”技術(shù)，天生具有的可擴(kuò)展性以及靈活性，數(shù)據(jù)存儲(chǔ)行業(yè)為新基建時(shí)代帶來(lái)了革命性的數(shù)據(jù)儲(chǔ)存手段。

伴隨著信息產(chǎn)業(yè)的迅猛發(fā)展和普及，數(shù)據(jù)存儲(chǔ)技術(shù)已成為現(xiàn)代信息產(chǎn)業(yè)架構(gòu)中不可或缺的底層基座。然而，日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求，要求數(shù)據(jù)存儲(chǔ)技術(shù)在介質(zhì)、架構(gòu)、協(xié)議、應(yīng)用與運(yùn)維模式等數(shù)據(jù)存儲(chǔ)行業(yè)方面不斷發(fā)展演進(jìn)。

當(dāng)前數(shù)據(jù)資源已成為關(guān)鍵生產(chǎn)要素，更多的產(chǎn)業(yè)通過(guò)利用物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、電商等結(jié)構(gòu)或非結(jié)構(gòu)化數(shù)據(jù)資源來(lái)提取有價(jià)值信息;而海量數(shù)據(jù)的處理與分析均要求構(gòu)建大數(shù)據(jù)中心。

近年來(lái)，伴隨著互聯(lián)網(wǎng)的快速發(fā)展以及在各行業(yè)的滲透，互聯(lián)網(wǎng)行業(yè)的IDC需求仍是推動(dòng)中國(guó)數(shù)據(jù)中心(IDC)業(yè)務(wù)市場(chǎng)規(guī)模絕對(duì)值增長(zhǎng)的主要驅(qū)動(dòng)力，數(shù)據(jù)存儲(chǔ)行業(yè)市場(chǎng)始終保持市場(chǎng)規(guī)模量級(jí)的增長(zhǎng)。


1、大數(shù)據(jù)時(shí)代來(lái)臨，數(shù)據(jù)量和數(shù)據(jù)價(jià)值陡升，催生存儲(chǔ)需求

隨著半導(dǎo)體和云計(jì)算的發(fā)展解決計(jì)算成本和計(jì)算能力問(wèn)題，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)在算法效率上實(shí)現(xiàn)突破，以人工智能、物聯(lián)網(wǎng)等為代表的萬(wàn)物智能應(yīng)用將使各行各業(yè)的數(shù)據(jù)量以遠(yuǎn)超摩爾定律的速率爆發(fā)增長(zhǎng)。

目前近六成的企業(yè)已成立數(shù)據(jù)分析相關(guān)部門(mén)，超過(guò) 1/3 的企業(yè)已實(shí)際應(yīng)用大數(shù)據(jù)。隨著數(shù)據(jù)集中、數(shù)據(jù)挖掘、商業(yè)智能、協(xié)同作業(yè)等大數(shù)據(jù)處理技術(shù)的日趨成熟，數(shù)據(jù)價(jià)值呈指數(shù)上升趨勢(shì)，數(shù)據(jù)逐漸成為企業(yè)越來(lái)越重要的無(wú)形資產(chǎn)，因此使得存儲(chǔ)行業(yè)快速升溫。

預(yù)計(jì)未來(lái)大數(shù)據(jù)引出的存儲(chǔ)增量需求主要有三方面，一是數(shù)據(jù)量擴(kuò)大引起的擴(kuò)容需求，二是數(shù)據(jù)分析和處理產(chǎn)生的倍增數(shù)據(jù)存儲(chǔ)需求，三是數(shù)據(jù)價(jià)值被發(fā)掘后，企業(yè)會(huì)對(duì)數(shù)據(jù)的安全保障投入更大的精力，進(jìn)而產(chǎn)生更多的容災(zāi)需求和備份需求。


2、國(guó)家實(shí)行信息化安全戰(zhàn)略，極大促進(jìn)國(guó)內(nèi)數(shù)據(jù)存儲(chǔ)廠商的發(fā)展

近年來(lái)隨著互聯(lián)網(wǎng)+、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算的快速發(fā)展，數(shù)據(jù)逐漸成為用戶的核心信息資產(chǎn)。2013 年“美國(guó)棱鏡門(mén)”事件和“RSA 后門(mén)”事件的影響持續(xù)發(fā)酵，個(gè)人隱私意識(shí)和企業(yè)數(shù)據(jù)安全意識(shí)不斷提升，國(guó)家已將核心 IT 產(chǎn)品自主可控提升到戰(zhàn)略高度，近年來(lái)相繼出臺(tái)了一系列鼓勵(lì)信息產(chǎn)業(yè)自主可控的法律法規(guī)和產(chǎn)業(yè)政策，隨著國(guó)家對(duì)信息基礎(chǔ)設(shè)施的重視程度日益提高，相關(guān)市場(chǎng)的空間日益擴(kuò)大，信息產(chǎn)業(yè)核心基礎(chǔ)設(shè)施的國(guó)產(chǎn)化替代趨勢(shì)正在加快。


3、中高端市場(chǎng)增速明顯，國(guó)產(chǎn)化替代空間較大

近年中國(guó)外部存儲(chǔ)市場(chǎng)為例，進(jìn)入高端市場(chǎng)排名的廠商中，國(guó)外廠商占據(jù) 56.5%的市場(chǎng)份額，國(guó)內(nèi)廠商以華為、曙光、DCN、宏杉為代表，占據(jù) 39.4%的市場(chǎng)份額；進(jìn)入中端市場(chǎng)排名的廠商中，國(guó)外廠商占據(jù) 38.0%的市場(chǎng)份額，國(guó)內(nèi)廠商以華為、浪潮、宏杉、同有、宇視、曙光、聯(lián)想、DCN 為代表，占據(jù) 53.0%的市場(chǎng)份額。因此，中國(guó)存儲(chǔ)市場(chǎng)的國(guó)產(chǎn)化程度仍有較大的提升空間。

近年來(lái)國(guó)內(nèi)中高端存儲(chǔ)市場(chǎng)發(fā)展較快，市場(chǎng)規(guī)模在不斷擴(kuò)大，且國(guó)產(chǎn)化替代仍有較大空間，在政策面的大力支持下，國(guó)內(nèi)廠商正在逐步擴(kuò)大自身的市場(chǎng)份額。公司在中高端存儲(chǔ)產(chǎn)品方面擁有完全的自主知識(shí)產(chǎn)權(quán)且已形成成熟豐富的產(chǎn)品組合，因此有望在未來(lái)中高端存儲(chǔ)市場(chǎng)領(lǐng)域進(jìn)一步擴(kuò)大自身銷售規(guī)模。

分布式存儲(chǔ)“漸當(dāng)大任”

面向非結(jié)構(gòu)化數(shù)據(jù)量爆炸式增長(zhǎng)和存儲(chǔ)需求的持續(xù)升級(jí)，各廠商紛紛推出分布式存儲(chǔ)新品，其高性能、大容量、綠色低碳等特質(zhì)，將加速海量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)入各行各業(yè)的生產(chǎn)決策系統(tǒng)，提升生產(chǎn)決策效率和業(yè)務(wù)體驗(yàn)。

與傳統(tǒng)的集中式存儲(chǔ)技術(shù)不同，分布式存儲(chǔ)沒(méi)有將數(shù)據(jù)存儲(chǔ)在某個(gè)特定節(jié)點(diǎn)上，而是通過(guò)網(wǎng)絡(luò)將各個(gè)節(jié)點(diǎn)分散的存儲(chǔ)資源匯聚成一個(gè)虛擬的存儲(chǔ)設(shè)備，將數(shù)據(jù)分散在各處。相較于集中存儲(chǔ)，分布式存儲(chǔ)成本低，擴(kuò)展性好，弱化了關(guān)系數(shù)據(jù)模型，可以得到高并發(fā)和高性能。

眾所周知，傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。隨著各行業(yè)數(shù)字化轉(zhuǎn)型的加速，越來(lái)越多的數(shù)據(jù)被生產(chǎn)出來(lái)，分布式存儲(chǔ)成為企業(yè)應(yīng)對(duì)海量數(shù)據(jù)挑戰(zhàn)的重要助力。

而且，不同類型的數(shù)據(jù)需要用不同的分布式存儲(chǔ)系統(tǒng)去處理。圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，由于個(gè)體相互之間沒(méi)有關(guān)聯(lián)，體積大，采用二級(jí)制，通常使用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)；自描述的數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混在一起的半結(jié)構(gòu)化數(shù)據(jù)，比較簡(jiǎn)單的可以用分布式鍵值系統(tǒng)存儲(chǔ)，較為復(fù)雜的一般采用分布式表格系統(tǒng)來(lái)存儲(chǔ)區(qū)；結(jié)構(gòu)化數(shù)據(jù)由分布式數(shù)據(jù)庫(kù)存儲(chǔ)。

分布式云存儲(chǔ)技術(shù)在數(shù)據(jù)存儲(chǔ)領(lǐng)域得到了廣泛應(yīng)用，并為云計(jì)算技術(shù)的迅速發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)。在云環(huán)境下，分布式存儲(chǔ)系統(tǒng)能夠?qū)崿F(xiàn)計(jì)算資源和存儲(chǔ)資源的單獨(dú)橫向擴(kuò)展，計(jì)算資源不足時(shí)直接擴(kuò)容計(jì)算節(jié)點(diǎn)，存儲(chǔ)空間不足時(shí)只需擴(kuò)容存儲(chǔ)節(jié)點(diǎn)，極大地節(jié)省硬件資源降低成本。


市場(chǎng)需求強(qiáng)烈，廠商紛紛推出分布式存儲(chǔ)方案

面對(duì)著市場(chǎng)上對(duì)于分布式存儲(chǔ)產(chǎn)品的需求，不少?gòu)S商已經(jīng)在布局該賽道，其中不乏騰訊云、字節(jié)跳動(dòng)和天翼云等國(guó)內(nèi)云計(jì)算大廠，紛紛推出相應(yīng)產(chǎn)品賦能企業(yè)加速數(shù)字化進(jìn)程。

作為騰訊云的分布式存儲(chǔ)服務(wù)，騰訊云COS具有高擴(kuò)展性、低成本、高可靠性和安全性等特點(diǎn)，在架構(gòu)上，騰訊云COS推出新一代同城多活存儲(chǔ)系統(tǒng)，利用EC編碼技術(shù)，將數(shù)據(jù)分塊、分機(jī)房存儲(chǔ)，將存儲(chǔ)的可靠性提升了10倍，并通過(guò)新一代高可用機(jī)制，保障機(jī)房故障時(shí)，能夠讓讀寫(xiě)請(qǐng)求正常執(zhí)行，使得業(yè)務(wù)訪問(wèn)可用性提升了10倍。

在智能分層存儲(chǔ)領(lǐng)域，騰訊云COS此次也推出了新的探索，其在標(biāo)準(zhǔn)層與低頻層的基礎(chǔ)上，將歸檔層、深度歸檔層也加入智能分層存儲(chǔ)的納管范圍內(nèi)，實(shí)現(xiàn)了更大范圍、更完善的數(shù)據(jù)自動(dòng)分層，從而幫助用戶選擇更合理、與業(yè)務(wù)更匹配的存儲(chǔ)類型，進(jìn)一步降本增效。

另外一家互聯(lián)網(wǎng)廠商字節(jié)跳動(dòng)也“不甘人后”，推出了自研分布式存儲(chǔ)系統(tǒng)ByteGraph。針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，ByteGraph支持?jǐn)?shù)據(jù)模型，支持Gremlin查詢語(yǔ)言，支持靈活豐富的寫(xiě)入和查詢接口，讀寫(xiě)吞吐可擴(kuò)展到千萬(wàn)QPS，延遲毫秒級(jí)。另外，ByteGraph主要用于在線OLTP場(chǎng)景，而在離線場(chǎng)景下，非結(jié)構(gòu)式數(shù)據(jù)的分析和計(jì)算需求也逐漸顯現(xiàn)。

目前，ByteGraph支持了頭條、抖音、 TikTok、西瓜、火山等幾乎字節(jié)跳動(dòng)全部產(chǎn)品線，遍布全球機(jī)房。