ChatGPT已經(jīng)從下游AI應(yīng)用“火”到了上游芯片領(lǐng)域，在將GPU等AI芯片推向高峰之外，也極大帶動了市場對新一代內(nèi)存芯片HBM（高帶寬內(nèi)存)的需求。據(jù)悉，2023年開年以來三星、SK海力士的HBM訂單就快速增加，價格也水漲船高。有市場人士透露近期HBM3規(guī)格DRAM價格上漲了5倍。這也為寒冬中的存儲器市場帶來了一抹春色。

ChatGPT爆紅提升HBM需求

近日，韓媒報道2023年開年后三星、SK海力士兩家存儲大廠HBM訂單快速增加，價格也水漲船高，市場人士透露近期HBM3規(guī)格DRAM價格上漲5倍。

業(yè)界認(rèn)為，ChatGPT的出現(xiàn)使得HBM市場需求提升，這有望為存儲器市場帶來了新的發(fā)展機會。

資料顯示，HBM（High Bandwidth Memory，高帶寬存儲器）是一種可以實現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，與普通DRAM相比，HBM以堆疊方式實現(xiàn)更大帶寬，帶寬是指在特定單位時間內(nèi)可以傳輸?shù)臄?shù)據(jù)量，基于該特性，HBM主要應(yīng)用于高性能計算場景中，比如超級計算機、AI加速器、高性能服務(wù)器領(lǐng)域。

HBM在與CPU及GPU協(xié)同工作中，可以提高機器學(xué)習(xí)和計算性能。目前ChatGPT的火熱發(fā)展已令英偉達等GPU廠商受益——ChatGPT使用了1萬多個英偉達的“A100”GPU學(xué)習(xí)了龐大的文檔數(shù)據(jù)。而HBM可以安裝在GPU中，通過高速數(shù)據(jù)處理，不斷完善ChatGTP服務(wù)體驗，英偉達“A100”就最高配備了80GB HBM2內(nèi)存。

此外，媒體報道英偉達已經(jīng)要求存儲廠商生產(chǎn)最新的HBM3內(nèi)存，搭配英偉達的A100 GPU供ChatGPT使用。


巨頭領(lǐng)跑，HBM3時代來臨

據(jù)了解，HBM主要是通過硅通孔（Through Silicon Via, 簡稱“TSV”）技術(shù)進行芯片堆疊，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制，將數(shù)個DRAM裸片像樓層一樣垂直堆疊。

SK海力士表示，TSV是在DRAM芯片上搭上數(shù)千個細(xì)微孔并通過垂直貫通的電極連接上下芯片的技術(shù)。該技術(shù)在緩沖芯片上將數(shù)個DRAM芯片堆疊起來，并通過貫通所有芯片層的柱狀通道傳輸信號、指令、電流。相較傳統(tǒng)封裝方式，該技術(shù)能夠縮減30%體積，并降低50%能耗。

憑借TSV方式，HBM大幅提高了容量和數(shù)據(jù)傳輸速率。與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。隨著存儲數(shù)據(jù)量激增，市場對于HBM的需求將有望大幅提升。

HBM的高帶寬離不開各種基礎(chǔ)技術(shù)和先進設(shè)計工藝的支持。由于HBM是在3D結(jié)構(gòu)中將一個邏輯die與4-16個DRAM die堆疊在一起，因此開發(fā)過程極為復(fù)雜。鑒于技術(shù)上的復(fù)雜性，HBM是公認(rèn)最能夠展示廠商技術(shù)實力的旗艦產(chǎn)品。

2013年，SK海力士將TSV技術(shù)應(yīng)用于DRAM，在業(yè)界首次成功研發(fā)出HBM。

HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi）。HBM1的帶寬高于DDR4和GDDR5產(chǎn)品，同時以較小的外形尺寸消耗較低的功率，更能滿足GPU等帶寬需求較高的處理器。

隨后，SK海力士、三星、美光等存儲巨頭在HBM領(lǐng)域展開了升級競賽。

2016年1月，三星宣布開始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開始量產(chǎn)HBM2；2018年1月，三星宣布開始量產(chǎn)第二代8GB HBM2“Aquabolt”。

2018年末，JEDEC推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時，HBM2E可以實現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持最多12個DRAM的堆棧，內(nèi)存容量高達每堆棧24GB。與HBM2相比，HBM2E具有技術(shù)更先進、應(yīng)用范圍更廣泛、速度更快、容量更大等特點。

2019年8月，SK海力士宣布成功研發(fā)出新一代“HBM2E”；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品“Flashbolt”，于2020年上半年開始量產(chǎn)。

據(jù)三星介紹，其16GB HBM2E Flashbolt通過垂直堆疊8層10納米級16GB DRAM晶片，能夠提供高達410GB/s的內(nèi)存帶寬級別和每引腳3.2 GB/s的數(shù)據(jù)傳輸速度。

SK海力士的HBM2E以每個引腳3.6Gbps的處理速度，每秒能處理超過460GB的數(shù)據(jù)，包含1024個數(shù)據(jù)I/O。通過TSV技術(shù)垂直堆疊8個16GB芯片，其HBM2E單顆容量16GB。

2020年，另一家存儲巨頭美光宣布加入到這一賽場中來。

美光在當(dāng)時的財報會議上表示，將開始提供HBM2內(nèi)存/顯存，用于高性能顯卡，服務(wù)器處理器產(chǎn)品，并預(yù)計下一代HBMNext將在2022年底面世。但截止目前尚未看到美光相關(guān)產(chǎn)品動態(tài)。

2022年1月，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標(biāo)準(zhǔn)規(guī)范，繼續(xù)在存儲密度、帶寬、通道、可靠性、能效等各個層面進行擴充升級，具體包括：

?主接口使用0.4V低擺幅調(diào)制，運行電壓降低至1.1V，進一步提升能效表現(xiàn)。

?傳輸數(shù)據(jù)率在HBM2基礎(chǔ)上再次翻番，每個引腳的傳輸率為6.4Gbps，配合1024-bit位寬，單顆最高帶寬可達819GB/s。

?如果使用四顆，總帶寬就是3.2TB/s，六顆則可達4.8TB/s。

?獨立通道數(shù)從8個翻番到16個，再加上虛擬通道，單顆支持32通道。

?支持4層、8層和12層TSV堆棧，并為未來擴展至16層TSV堆棧做好準(zhǔn)備。

?每個存儲層容量8/16/32Gb，單顆容量起步4GB(8Gb 4-high)、最大容量64GB(32Gb 16-high)。

?支持平臺級RAS可靠性，集成ECC校驗糾錯，支持實時錯誤報告與透明度。

JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案，對于高數(shù)據(jù)處理速率要求的應(yīng)用場景來說至關(guān)重要，比如圖形處理和高性能計算的服務(wù)器。

SK海力士早在2021年10月就開發(fā)出全球首款HBM3，2022年6月量產(chǎn)了HBM3 DRAM芯片，并將供貨英偉達，持續(xù)鞏固其市場領(lǐng)先地位。隨著英偉達使用HBM3 DRAM，數(shù)據(jù)中心或?qū)⒂瓉硇乱惠喌男阅芨锩?/span>

根據(jù)此前的資料介紹，SK海力士提供了兩種容量產(chǎn)品，一個是12層硅通孔技術(shù)垂直堆疊的24GB（196Gb），另一個則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內(nèi)存還內(nèi)置了片上糾錯技術(shù)，提高了產(chǎn)品的可靠性。

SK海力士對于HBM的研發(fā)一直非常積極，為了滿足客戶不斷增加的期望，打破現(xiàn)有框架進行新技術(shù)開發(fā)勢在必行。SK海力士還在與HBM生態(tài)系統(tǒng)中的參與者（客戶、代工廠和IP公司等）通力合作，以提升生態(tài)系統(tǒng)等級。商業(yè)模式的轉(zhuǎn)變同樣是大勢所趨。作為HBM領(lǐng)軍企業(yè)，SK海力士將致力于在計算技術(shù)領(lǐng)域不斷取得進步，全力實現(xiàn)HBM的長期發(fā)展。

三星也在積極跟進，在2022年技術(shù)發(fā)布會上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，三星展示了涵蓋不同領(lǐng)域的內(nèi)存接口演進的速度。首先，在云端高性能服務(wù)器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標(biāo)配，這也是三星在重點投資的領(lǐng)域之一。HBM的特點是使用高級封裝技術(shù)，使用多層堆疊實現(xiàn)超高IO接口寬度，同時配合較高速的接口傳輸速率，從而實現(xiàn)高能效比的超高帶寬。

在三星發(fā)布的路線圖中，2022年HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達1024bit，接口傳輸速率可達6.4Gbps，相比上一代提升1.8倍，從而實現(xiàn)單芯片接口帶寬819GB/s，如果使用6層堆疊可以實現(xiàn)4.8TB/s的總帶寬。

2024年預(yù)計將實現(xiàn)接口速度高達7.2Gbps的HBM3p，從而將數(shù)據(jù)傳輸率相比這一代進一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。另外，這里的計算還沒有考慮到高級封裝技術(shù)帶來的高多層堆疊和內(nèi)存寬度提升，預(yù)計2024年HBM3p單芯片和堆疊芯片都將實現(xiàn)更多的總帶寬提升。而這也將會成為人工智能應(yīng)用的重要推動力，預(yù)計在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進一步加強云端人工智能的算力。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領(lǐng)軍企業(yè)。

上下游發(fā)力搶占先機

與HBM相關(guān)的上下游企業(yè)也在發(fā)力，以期搶占先機。AMD在HBM的誕生與發(fā)展過程中功不可沒。最早是AMD意識到DDR的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，其后與SK海力士聯(lián)手研發(fā)了HBM，并在其Fury顯卡采用全球首款HBM。ISSCC 2023國際固態(tài)電路大會上的消息，AMD考慮在Instinct系列加速卡已經(jīng)整合封裝HBM高帶寬內(nèi)存的基礎(chǔ)上，在后者之上繼續(xù)堆疊DRAM內(nèi)存，可以在一些關(guān)鍵算法內(nèi)核可以直接在整合內(nèi)存內(nèi)執(zhí)行，而不必在CPU和獨立內(nèi)存之間往復(fù)通信傳輸，從而提升AI處理的性能，并降低功耗。

英偉達同樣重視處理器與內(nèi)存間的協(xié)同，一直在要求SK海力士提供最新的HBM3內(nèi)存芯片。據(jù)悉，目前已經(jīng)有超過25000塊英偉達計算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。如果所有的互聯(lián)網(wǎng)企業(yè)都在搜索引擎中加入ChatGPT這樣的機器人，那么計算卡以及相應(yīng)的服務(wù)器的需求量將會達到50萬塊，也將連同帶動HBM的需求量大幅增長。

IP廠商亦已先行布局HBM3。去年，Synopsys推出首個完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY（物理層芯片）和驗證IP。HBM3 PHY IP基于5nm制程打造，每個引腳的速率可達7200 Mbps，內(nèi)存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內(nèi)存接口子系統(tǒng)，內(nèi)含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達8.4 Gbps，可提供超過1TB/s的帶寬。

Rambus IP核產(chǎn)品營銷高級總監(jiān)Frank Ferro此前在接受采訪時指出，HBM現(xiàn)在依舊處于相對早期的階段，其未來還有很長的一段路要走。而可預(yù)見的是，隨著越來越多的廠商在AI和機器學(xué)習(xí)等領(lǐng)域不斷發(fā)力，內(nèi)存產(chǎn)品設(shè)計的復(fù)雜性正在快速上升，并對帶寬提出了更高的要求，不斷上升的寬帶需求將持續(xù)驅(qū)動HBM發(fā)展。