AI需求大增，HBN從幕后走向臺(tái)前，年增長率將超50%
關(guān)鍵詞： ?ChatGPT 人工智能 半導(dǎo)體
突破“內(nèi)存墻”瓶頸，HBM應(yīng)運(yùn)而生
HBM（High Bandwidth Memory）即高帶寬存儲(chǔ)器，按照J(rèn)EDEC的分類，HBM屬于圖形DDR內(nèi)存的一種，其通過使用先進(jìn)的封裝方法（如TSV硅通孔技術(shù)）垂直堆疊多個(gè)DRAM，并與GPU封裝在一起。
存儲(chǔ)器與處理器性能差異正隨時(shí)間發(fā)展逐漸擴(kuò)大，當(dāng)存儲(chǔ)器訪問速度跟不上處理器數(shù)據(jù)處理速度時(shí)，存儲(chǔ)與運(yùn)算之間便筑起了一道“內(nèi)存墻”。而隨著人工智能、高性能計(jì)算等應(yīng)用市場興起，數(shù)據(jù)爆炸式增長之下，“內(nèi)存墻”問題也愈發(fā)突出。為此，業(yè)界希望通過增加存儲(chǔ)器帶寬解決大數(shù)據(jù)時(shí)代下的“內(nèi)存墻”問題，HBM便應(yīng)運(yùn)而生。
存儲(chǔ)器帶寬是指單位時(shí)間內(nèi)可以傳輸?shù)臄?shù)據(jù)量，要想增加帶寬，最簡單的方法是增加數(shù)據(jù)傳輸線路的數(shù)量。據(jù)悉，典型的DRAM芯片中，每個(gè)芯片有八個(gè)DQ數(shù)據(jù)輸入/輸出引腳，組成DIMM模組單元之后，共有64個(gè)DQ引腳。而HBM通過系統(tǒng)級(jí)封裝（SIP）和硅通孔（TSV）技術(shù)，擁有多達(dá)1024個(gè)數(shù)據(jù)引腳，可顯著提升數(shù)據(jù)傳輸速度。
HBM技術(shù)之下，DRAM芯片從2D轉(zhuǎn)變?yōu)?D，可以在很小的物理空間里實(shí)現(xiàn)高容量、高帶寬、低延時(shí)與低功耗，因而HBM被業(yè)界視為新一代內(nèi)存解決方案。
自2014年首款硅通孔HBM產(chǎn)品問世至今，HBM技術(shù)已經(jīng)發(fā)展至第四代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代），HBM芯片容量從1GB升級(jí)至24GB，帶寬從128GB/s提升至819GB/s，數(shù)據(jù)傳輸速率也從1Gbps提高至6.4Gbps。
借AI東風(fēng)，HBM需求激增
2021年的時(shí)候，HBM位元需求占整體DRAM市場只有不到1%。主要是因?yàn)镠BM高昂的成本以及當(dāng)時(shí)服務(wù)器市場中搭載相關(guān)AI運(yùn)算卡的比重仍小于1%，且多數(shù)存儲(chǔ)器仍使用GDDR5(x)、GDDR6來支持其算力。
而到了今年年初，HBM的需求激增，并且業(yè)內(nèi)人士稱，與最高性能的 DRAM 相比，HBM3 的價(jià)格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務(wù)器需求的爆發(fā)。
在ChatGPT火了之后，一下子點(diǎn)燃了AIGC（生成式AI）的熱潮，誰不追，誰就要被拋下，于是大廠們紛紛開始推出自己的類ChatGPT的大模型。據(jù)不完全統(tǒng)計(jì)，自3月16日百度率先公布“文心一言”以來，國內(nèi)已有超過30項(xiàng)大模型產(chǎn)品亮相。
而AI大模型的基礎(chǔ)，就是靠海量數(shù)據(jù)和強(qiáng)大算力來支撐訓(xùn)練和推理過程。AI服務(wù)器作為算力基礎(chǔ)設(shè)施單元服務(wù)器的一種類型也來到了臺(tái)前，備受追捧。TrendForce集邦咨詢預(yù)估，2023年AI服務(wù)器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬臺(tái)，同步上修2022-2026年AI服務(wù)器出貨量年復(fù)合成長率至22%。
HBM成本在AI服務(wù)器成本中占比排名第三，約占9%，單機(jī)ASP（單機(jī)平均售價(jià)）高達(dá)18,000美元。所以，AI服務(wù)器是HBM目前最矚目的應(yīng)用領(lǐng)域。
AI服務(wù)器需要在短時(shí)間內(nèi)處理大量數(shù)據(jù)，包括模型訓(xùn)練數(shù)據(jù)、模型參數(shù)、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數(shù)量少不了，比如ChatGPT基于的GPT3.5大模型的參數(shù)量就高達(dá)135B。數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務(wù)器對(duì)帶寬提出了更高的要求，而HBM基本是AI服務(wù)器的標(biāo)配 。
AI服務(wù)器GPU市場以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會(huì)發(fā)布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內(nèi)存。HBM方案目前已演進(jìn)為較為主流的高性能計(jì)算領(lǐng)域擴(kuò)展高帶寬的方案。
隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預(yù)估2023年HBM需求量將年增58%，2024年有望再成長約30%。
除了AI服務(wù)器，汽車也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢。但是最新的HBM3目前還沒有取得汽車認(rèn)證，外加高昂的成本，所以遲遲還沒有“上車”。不過，Rambus的高管曾提出，HBM 絕對(duì)會(huì)進(jìn)入汽車應(yīng)用領(lǐng)域。
AR和VR也是HBM未來將發(fā)力的領(lǐng)域。因?yàn)閂R和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實(shí)時(shí)處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來助力。
此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來支持其不斷增長的計(jì)算需求，HBM也有望在這些領(lǐng)域得到增長。并且，5G 和物聯(lián)網(wǎng) (IoT) 等新技術(shù)的出現(xiàn)也進(jìn)一步推動(dòng)了對(duì) HBM 的需求。
不過，目前來講，HBM還是主要應(yīng)用于服務(wù)器、數(shù)據(jù)中心等領(lǐng)域，消費(fèi)領(lǐng)域?qū)Τ杀颈容^敏感，因此HBM的使用較少。
可以肯定的是，對(duì)帶寬的要求將不斷提高，HBM也將持續(xù)發(fā)展。市場調(diào)研機(jī)構(gòu)Omdia預(yù)測，2025年HBM市場的總收入將達(dá)到25億美元。據(jù)新思界發(fā)布的分析報(bào)告顯示，預(yù)計(jì)2025年中國HBM需求量將超過100萬顆。
HBM市場格局：SK海力士、三星、美光三分天下
HBM是新一代內(nèi)存解決方案，其市場被三大DRAM原廠牢牢占據(jù)。集邦咨詢調(diào)查顯示，2022年三大原廠HBM市占率分別為SK海力士50%、三星約40%、美光約10%。
公開資料顯示，SK海力士是HBM市場的先行者，也是全面布局四代HBM的廠商。2014年，SK海力士與AMD聯(lián)合開發(fā)第一代硅通孔HBM產(chǎn)品；2018年SK海力士發(fā)布第二代HBM產(chǎn)品HBM2；隨后2020年SK海力士發(fā)布第三代HBM——HBM2E，作為HBM2的擴(kuò)展版本，性能與容量進(jìn)一步提升；2021年10月SK海力士成功開發(fā)出第四代產(chǎn)品HBM3，并于2022年6月開始量產(chǎn)，今年4月，該公司進(jìn)一步宣布，已經(jīng)全球率先研發(fā)出12層堆疊的HBM3內(nèi)存，單顆容量可達(dá)24GB。
三星對(duì)HBM的布局從HBM2開始，目前，三星已經(jīng)向客戶提供了HBM2和HBM2E產(chǎn)品。2016年三星量產(chǎn)HBM2；2020年三星推出了HBM2；2021年2月，三星推出了HBM-PIM（存算一體），將內(nèi)存半導(dǎo)體和AI處理器合二為一；2022年三星表示HBM3已量產(chǎn)。另據(jù)媒體報(bào)道，三星已于今年4月26日向韓國專利信息搜索服務(wù)提交“Snowbolt”商標(biāo)申請(qǐng)，預(yù)估該商標(biāo)將于今年下半年應(yīng)用于DRAM HBM3P產(chǎn)品。
美光進(jìn)軍HBM相對(duì)較晚，相關(guān)產(chǎn)品公開報(bào)道不多。2020年美光表示將開始提供HBM2產(chǎn)品，用于高性能顯卡，服務(wù)器處理器產(chǎn)品。另據(jù)業(yè)界透露，美光亦在發(fā)力最新HBM3產(chǎn)品。
集邦咨詢指出，2023下半年伴隨NVIDIA H100與AMD MI300的搭載，三大原廠也已規(guī)劃相對(duì)應(yīng)規(guī)格HBM3的量產(chǎn)。其中，在今年將有更多客戶導(dǎo)入HBM3的預(yù)期下，SK海力士作為目前唯一量產(chǎn)新世代HBM3產(chǎn)品的供應(yīng)商，其整體HBM市占率可望藉此提升至53%，而三星、美光則預(yù)計(jì)陸續(xù)在今年底至明年初量產(chǎn)，HBM市占率分別為38%及9%。
HBM未來潛力與演進(jìn)方向
對(duì)于接下來的規(guī)劃策略和技術(shù)進(jìn)步，業(yè)界旨在突破目前HBM在速度、密度、功耗、占板空間等方面的極限。
首先，為了打破速度極限，SK海力士正在評(píng)估提高引腳數(shù)據(jù)速率的傳統(tǒng)方法的利弊，以及超過1024個(gè)數(shù)據(jù)的I/O總線位寬，以實(shí)現(xiàn)更好的數(shù)據(jù)并行性和向后設(shè)計(jì)兼容性。簡單來講，即用最少的取舍獲得更高的帶寬性能。
針對(duì)更大數(shù)據(jù)集、訓(xùn)練工作負(fù)載所需的更高內(nèi)存密度要求，存儲(chǔ)廠商開始著手研究擴(kuò)展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。
另一方面也在致力于提高功耗效率，通過評(píng)估從最低微結(jié)構(gòu)級(jí)別到最高Die堆疊概念的內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴(kuò)展的絕對(duì)功耗。由于現(xiàn)有中介層光罩尺寸的物理限制以及支持處理單元和HBM Cube的其他相關(guān)技術(shù)，實(shí)現(xiàn)總內(nèi)存Die尺寸最小化尤為重要。因此，行業(yè)廠商需要在不擴(kuò)大現(xiàn)有物理尺寸的情況下增加存儲(chǔ)單元數(shù)量和功能，從而實(shí)現(xiàn)整體性能的飛躍。
但從產(chǎn)業(yè)發(fā)展歷程來看，完成上述任務(wù)的前提是：存儲(chǔ)廠商要與上下游生態(tài)系統(tǒng)合作伙伴攜手合作和開放協(xié)同，將HBM的使用范圍從現(xiàn)有系統(tǒng)擴(kuò)展到潛在的下一代應(yīng)用。
此外，新型HBM-PIM（存內(nèi)計(jì)算）芯片將AI引擎引入每個(gè)存儲(chǔ)庫，從而將處理操作轉(zhuǎn)移到HBM。
在傳統(tǒng)架構(gòu)下，數(shù)據(jù)從內(nèi)存單元傳輸?shù)接?jì)算單元需要的功耗是計(jì)算本身的約200倍，數(shù)據(jù)的搬運(yùn)耗費(fèi)的功耗遠(yuǎn)大于計(jì)算，因此真正用于計(jì)算的能耗和時(shí)間占比很低，數(shù)據(jù)在存儲(chǔ)器與處理器之間的頻繁遷移帶來嚴(yán)重的傳輸功耗問題，稱為“功耗墻”。新型的內(nèi)存旨在減輕在內(nèi)存和處理器之間搬運(yùn)數(shù)據(jù)的負(fù)擔(dān)。
過去幾年來，HBM產(chǎn)品帶寬增加了數(shù)倍，目前已接近或達(dá)到1TB/秒的里程碑節(jié)點(diǎn)。相較于同期內(nèi)其他產(chǎn)品僅增加兩三倍的帶寬增速，HBM的快速發(fā)展歸功于存儲(chǔ)器制造商之間的競爭和比拼。
