HBM的火最近越燒越旺。SK海力士今年5月剛剛推出最新的HBM3E，英偉達(dá)、AMD、亞馬遜等巨頭已經(jīng)在排隊搶樣品了。

英偉達(dá)與AMD最新的高端GPU產(chǎn)品H100以及MI300中，都配備了目前最新的HBM3。在AI服務(wù)器需求飛漲的檔口，這對老對手正在積極開發(fā)下一代高端GPU，兩家都不會放過即將發(fā)布的HBM3E。云服務(wù)器廠商，如亞馬遜和微軟，為了推出AI服務(wù)器，也帶動了HBM 的一大波需求。

HBM的熱度隨著AI的盛行水漲船高，還引起了投資圈的關(guān)注，據(jù)說開一個HBM的線上會議，能有上萬人預(yù)約報名。

爆火的HBM究竟是個啥？為什么大廠們都在搶HBM？HBM的玩家都有誰？能供應(yīng)得上嗎？

01

HBM是個啥

為什么都在搶

存儲芯片的行情自去年以來一直不好，雖然一直有觸底的聲音，但是今年二季度DRAM和NAND的價格還在進(jìn)一步下跌，DRAM價格跌幅擴大至18%，NAND擴大至13%。與此同時，據(jù)集邦咨詢最新預(yù)測，第三季NAND Flash市場仍處于供給過剩，NAND Flash均價預(yù)估將續(xù)跌3-8%。

在存儲市場慘淡的大背景下，HBM作為DRAM的一種，卻在今年年初漲了5倍。HBM到底是個啥，憑啥逆勢漲價？

HBM（High Bandwidth Memory），意為高帶寬存儲器，是一種面向需要極高吞吐量的數(shù)據(jù)密集型應(yīng)用程序的DRAM，常被用于高性能計算、網(wǎng)絡(luò)交換及轉(zhuǎn)發(fā)設(shè)備等需要高存儲器帶寬的領(lǐng)域，高端GPU是其目前最矚目的應(yīng)用場合。

HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀，每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。

HBM與其他DRAM最大的差別就是擁有超高的帶寬。目前最新的HBM3的帶寬最高可以達(dá)到819 GB/s，而最新的GDDR6的帶寬最高只有96GB/s，CPU和硬件處理單元的常用的DDR4的帶寬更是只有HBM的1/10。這次被爭搶的SK海力士即將推出的HBM3E，帶寬甚至達(dá)到了1TB/s。

HBM能擁有如此大的帶寬，簡單來說，是因為“布局”變了。

HBM的原始形態(tài)——GDDR，是獨立封裝，在PCB上圍著處理器轉(zhuǎn)一圈。而變身后的HBM，則在硅中階層(Silicon Interposer)上疊了起來并和GPU封裝在一起。這樣一來，面積一下子縮小了很多，并且，HBM離GPU更近了，數(shù)據(jù)傳輸也就更快了。

HBM是怎么疊起來的，可以參考下面這張圖。

HBM將DRAM裸片像摩天大樓一樣垂直堆疊，并通過硅通孔（Through Silicon Via, 簡稱“TSV”）技術(shù)將“每層樓”連接在一起，貫通所有芯片層的柱狀通道傳輸信號、指令、電流，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制。你可以將HBM想象成一個切的整整齊齊的三明治，TSV就是扎在里面的那根牙簽，將整個三明治固定并打通。

疊起來之后，直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點數(shù)量遠(yuǎn)遠(yuǎn)多于DDR內(nèi)存連接到CPU的線路數(shù)量。因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。

高帶寬到底有啥魔力，為啥大廠都在搶HBM？

最大的原因，應(yīng)該是AI服務(wù)器需求的爆發(fā)。

自ChatGPT爆火之后，國內(nèi)外大廠爭相競逐AI大模型。而AI大模型的基礎(chǔ)，就是靠海量數(shù)據(jù)和強大算力來支撐訓(xùn)練和推理過程。參數(shù)量越大，AI模型越智能，最新的GPT-4模型據(jù)說有1.76萬億參數(shù)量。不過，要想支撐如此龐大的數(shù)據(jù)處理和傳輸，就要打破“內(nèi)存墻”。

存儲和處理器并沒有同步發(fā)展，過去20年中，硬件的峰值計算能力增加了90,000倍，但是內(nèi)存/硬件互連帶寬卻只是提高了30倍。當(dāng)存儲的性能跟不上處理器，對指令和數(shù)據(jù)的搬運（寫入和讀出）的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。

可以想象一下，數(shù)據(jù)傳輸就像處在一個巨大的漏斗之中，不管處理器灌進(jìn)去多少，存儲器都只能“細(xì)水長流”。而數(shù)據(jù)交換通路窄以及其引發(fā)的高能耗，便是通常所說的“內(nèi)存墻”。

HBM的高帶寬相當(dāng)于把漏斗中間的通道打得更開，讓數(shù)據(jù)可以快速流通，面對AI大模型這種動不動千億、萬億的參數(shù)，服務(wù)器中負(fù)責(zé)計算的GPU幾乎必須搭載HBM。

目前，高端GPU市場被英偉達(dá)和AMD瓜分，兩家尖端的GPU都配備了HBM，最新的H100和MI300X都配備了目前最新的HBM3。

數(shù)據(jù)來源：NVIDIA官網(wǎng)，AMD官網(wǎng)，芯八哥整理

英偉達(dá)將在2024年發(fā)布其下一代專為AI和HPC專用的高性能顯卡Hopper-Next ，有消息稱這款GPU將搭載目前尚未量產(chǎn)的HBM3E， 英偉達(dá)已經(jīng)向SK 海力士尋求樣品。據(jù)傳AMD、微軟和亞馬遜不甘落后，也在向SK 海力士要HBM3E的樣品。

02

千年老二SK海力士

這次成了第一

大廠們都在爭搶的HBM3E是SK 海力士預(yù)計明年量產(chǎn)的最新版HBM，并且，現(xiàn)在市面上最先進(jìn)的HBM3，目前也只有SK 海力士一家可以量產(chǎn)。

此外，集邦咨詢的數(shù)據(jù)顯示，2022年三大原廠HBM市占率分別為SK海力士50%、三星約40%、美光約10%。預(yù)計到2023年，SK 海力士市占率有望提升至 53%，而三星、美光市占率分別為38%及9%?？梢哉f，在HBM領(lǐng)域，SK海力士是名副其實的老大。

HBM是DRAM的一種，SK 海力士在DRAM領(lǐng)域長年屈居于三星之后，可以說是DRAM界的“千年老二”。為什么在HBM領(lǐng)域，SK海力士突然“翻身當(dāng)老大”了呢？SK 海力士在發(fā)展HBM的過程中，做對了哪些事？

簡單來說，就是找對了方向，第一個用技術(shù)打開了市場，又能在關(guān)鍵時刻及時調(diào)整產(chǎn)能，用數(shù)量占據(jù)市場。

談SK海力士的反超，還得從另一個“千年老二”AMD開始說起。

早在2009年，AMD就意識到了DDR在未來發(fā)展的局限性。除了上文所說的“內(nèi)存墻”，也就是數(shù)據(jù)流得很慢；“功耗墻”也是GPU發(fā)展的制約，數(shù)據(jù)從內(nèi)存轉(zhuǎn)移到處理器，再從處理器回到內(nèi)存，一來一回的過程需要擠占功耗，當(dāng)數(shù)據(jù)量越來越大，功耗也面臨不夠用的問題。

AMD早早地“預(yù)見”到了這點，并且想到了用3D堆疊的方式大幅增加帶寬，于是在2009年就開始著手HBM的研發(fā)。

AMD畢竟不是專業(yè)做內(nèi)存的，得找個專業(yè)的一起干。

要想實現(xiàn)3D堆疊，連接每一塊DDR的那根“柱子”很重要，也就是TSV硅通孔技術(shù)。

來源：Amkor

2011年的時候SK海力士成功研發(fā)采用TSV技術(shù)的16GB DDR3內(nèi)存，同年，三星也發(fā)布了采用TSV技術(shù)的DDR3。最后AMD選擇了SK 海力士，兩家一起研究HBM。

2013年，SK 海力士和AMD終于推出了HBM這項全新的技術(shù)，HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），其帶寬為4096bit，遠(yuǎn)超GDDR5的512bit，帶寬的增加也就很大程度上緩解了“內(nèi)存墻”的問題。

在功耗方面，GDDR5每瓦功耗的帶寬為10.66GB/秒，而HBM每瓦帶寬超過35GB/秒，每瓦能效提高了3倍，“功耗墻”的問題也在一定程度上被緩解。

SK 海力士第一個站上了HBM的跑道。

雖然具有先發(fā)優(yōu)勢，但由于成本高昂，AMD之后便再次投向GDDR的懷抱，沒有了“用武之地”，HBM暫時冷了下來。

直到2016年，存儲老大三星跳過HBM1，直接量產(chǎn)HBM2，同年，英偉達(dá)發(fā)布Tesla P100顯卡，內(nèi)置三星的16GB HBM2顯存，這一下子再將HBM拉回大眾視線。

此后，SK 海力士便開始和三星進(jìn)行HBM追逐戰(zhàn)。

基本上一家發(fā)布新的，半年內(nèi)另外一家馬上跟上，有時你先，有時我先。就這樣從4GB HBM2，到8GB HBM2，再到HBM2E。

兩家韓廠忙著追趕HBM的時候，另一個巨頭美光還在“自娛自樂”。美光沒有跟著搞HBM，而是和英特爾一起搞出了一個叫HMC（混合內(nèi)存）的技術(shù)，雖然也使用了TSV，但是和HBM完全不同，也完全不兼容。推出后一直響應(yīng)寥寥，美光在2018年才正式放棄HMC，開始追趕HBM，2020年才推出HBM2，被韓廠拉開了不小的距離。

讓SK 海力士真正超過三星的，是HBM3。

SK海力士早在2021年10月就發(fā)布了全球首款HBM3，并于2022年6月正式量產(chǎn)，供貨英偉達(dá)。三星雖然在路線圖里顯示2022年HBM3技術(shù)已經(jīng)量產(chǎn)，但是要等到今年下半年才能大規(guī)模生產(chǎn)，出現(xiàn)在市場上。也就是說，現(xiàn)在市面上只有SK 海力士有HBM3。

來源：SK 海力士 & Rambus

恰逢天時地利，去年年末ChatGPT橫空出世，帶動了轟轟烈烈的AI大浪潮，并且這股熱潮目前看起來還將持續(xù)較長的時間，一下子把HBM這個“冷門”高端內(nèi)存帶到了需求的中心。要想在AI激戰(zhàn)中活下來，就必須要搶高端GPU，而高端GPU幾乎必備HBM。SK 海力士成為了目前HBM的最大贏家。

不過，下一代的HBM3E將在2024年量產(chǎn)，而三星下一代的HBM3P也將在2024年實現(xiàn)。三星在HBM上咬得很緊，SK 海力士能不能保持住目前的優(yōu)勢還有待觀察。

除了技術(shù)上的領(lǐng)先，SK 海力士可以說是審時度勢第一名。在HBM 的需求被炒熱后不久，就當(dāng)機立斷地擴產(chǎn)，成為三巨頭里第一個擴產(chǎn)HBM的廠家。

受整個半導(dǎo)體市場行情低迷的影響，以存儲為主要業(yè)務(wù)的SK 海力士的財報很不好看，今年第一季度虧損3.4023萬億韓元（約合人民幣191.93億元），創(chuàng)近十年之最。在這種慘狀之下，SK 海力士表示今年的投資規(guī)模將減少50%或以上。

但是，今年6月初，SK 海力士宣布決定使用最新的尖端 10 納米級第五代 (1b) 技術(shù)大幅提高明年的產(chǎn)量，大部分增量將由 HBM3E 填充。此外，有消息稱SK 海力士已著手?jǐn)U建HBM產(chǎn)線，目標(biāo)將 HBM產(chǎn)能翻倍，擴產(chǎn)焦點在于HBM3。

靠技術(shù)打開市場，并用數(shù)量占據(jù)市場，SK 海力士鐵了心要靠HBM克服半導(dǎo)體低迷。

03

HBM能供應(yīng)上嗎？

除了SK 海力士，三星和美光也開啟了HBM的擴產(chǎn)步伐。

SK 海力士：投資1萬億韓元，目標(biāo)HBM產(chǎn)能翻倍

今年6月有報道指出，SK海力士正在準(zhǔn)備投資后段工藝設(shè)備，將擴建封裝HBM3的利川工廠，預(yù)計到今年年末，后道工藝設(shè)備規(guī)模將增加近一倍。由于HBM主要是通過垂直堆疊多個DDR來提高數(shù)據(jù)處理速度，因此只有增加后道設(shè)備才能擴大HBM的出貨量。這筆投資金額大約在1萬億韓元（約合人民幣56.41億元）。

此外，SK 海力士宣布決定使用最新的尖端 10 納米級第五代 (1b) 技術(shù)大幅提高明年的產(chǎn)量，大部分增量將由 HBM3E 填充。

三星：同樣投資一萬億韓元，下半年量產(chǎn)HBM3

今年7月，三星宣布將投資一萬億韓元在天安工廠展開擴產(chǎn)，該廠主要負(fù)責(zé)半導(dǎo)體封裝等后道工藝，三星計劃在該廠生產(chǎn)目前正在供應(yīng)的HBM2和HBM2E等產(chǎn)品，目標(biāo)明年底之前將 HBM產(chǎn)能提高一倍。此外，三星還計劃于下半年量產(chǎn)8層堆疊HBM3和12層HBM3E。

美光：增加HBM投資

美光已開始向客戶提供HBM3產(chǎn)品樣品，預(yù)計這款HBM3產(chǎn)品將于2024年初開始量產(chǎn)，并在2024財年實現(xiàn)可觀的收入。此外，美光決定在中國臺灣增加HBM內(nèi)存產(chǎn)品組裝和測試能力的投資，以應(yīng)對人工智能浪潮下該領(lǐng)域出現(xiàn)的強勁需求。

存儲大廠們都在積極擴產(chǎn)HBM，但這樣可以保證HBM的供應(yīng)嗎？

先從需求端來看，HBM目前仍然主要被應(yīng)用于高端GPU中，例如英偉達(dá)的H100和AMD的MI300，不過谷歌在其TPU中也采用了HBM來構(gòu)建Bard基礎(chǔ)設(shè)施，也可能帶動HBM 的需求。

花旗預(yù)期，2023年HBM DRAM需求（1Gb）將達(dá)到35億片，較去年增加99％，而2024年將達(dá)到102億片，再增191％。

從供應(yīng)端來看，花旗預(yù)計，2023年HBM DRAM供應(yīng)量（1Gb）將達(dá)到31億片，年增長80％，2024年將成長至87億片，年增183％。

雖然大廠們都在積極擴產(chǎn)HBM，但是從預(yù)計的供需量來看，供應(yīng)的增長速度略慢于需求的飛漲。此外，有相關(guān)研究單位分析，2023年HBM供需比為-13％，2024年為-15％。近兩年HBM或許仍將處于供不應(yīng)求的狀態(tài)。