
如今科技领域的一切似乎都围绕着AI,存储芯片市场尤其如此。AI数据中心中用于GPU和其他加速器的DRAM需求量巨大且利润丰厚,正在转移其他用途的存储器供应,导致价格飙升。根据Counterpoint Research的数据,本季度DRAM价格已上涨80-90%。
最大的AI硬件公司表示,他们已经确保芯片供应到2028年,但这让其他所有人——PC制造商、消费类电子产品制造商以及所有需要临时存储大量数据的设备制造商——都在努力应对供应短缺和价格飞涨的困境。
电子行业是如何陷入这种困境的,更重要的是,如何摆脱这种困境?IEEE Spectrum采访了经济学家和存储专家进行解释。他们表示,今天的情况是DRAM行业历史性的繁荣与衰退周期与史无前例规模的AI硬件基础设施建设碰撞的结果。除非AI行业发生重大崩溃,否则新产能和新技术需要数年时间才能使供应与需求保持一致。即便如此,价格可能仍会保持高位。
要理解这个故事的来龙去脉,需要了解供需摆动的主要罪魁祸首——高带宽存储器(HBM)。
高带宽存储器技术解析
HBM是DRAM行业利用3D芯片封装技术来应对摩尔定律放缓步伐的尝试。每个HBM芯片由多达12个被称为裸片的薄化DRAM芯片组成。每个裸片包含许多被称为硅通孔(TSV)的垂直连接。这些裸片相互堆叠,通过与TSV对齐的微观焊球阵列连接。这个DRAM塔——厚度约为750微米,更像是一个野兽派办公楼而非塔楼——然后堆叠在被称为基础裸片的器件之上,基础裸片在存储器裸片和处理器之间传输数据。
这种复杂的技术然后被放置在GPU或其他AI加速器的一毫米范围内,通过多达2048个微米级连接与之相连。HBM附着在处理器的两侧,GPU和存储器被封装在一起成为一个单元。
与GPU如此紧密、高度连接的设计理念是为了打破所谓的存储墙。这是将运行大语言模型所需的每秒太字节数据带入GPU时在能量和时间方面的障碍。存储带宽是限制大语言模型运行速度的关键因素。
作为一项技术,HBM已经存在超过10年,DRAM制造商一直在忙于提升其能力。
随着AI模型规模的增长,HBM对GPU的重要性也在增加。但这是有代价的。SemiAnalysis估计,HBM的成本通常是其他类型存储器的三倍,占封装GPU成本的50%或更多。
周期性行业的困境
存储器和存储行业观察者一致认为,DRAM是一个高度周期性的行业,有着巨大的繁荣和毁灭性的衰退。由于新晶圆厂成本高达150亿美元或更多,公司极不愿意扩张,可能只有在繁荣时期才有现金这样做,存储和存储专家、Coughlin Associates总裁Thomas Coughlin解释道。但建造这样的晶圆厂并投入运营需要18个月或更长时间,实际上确保了新产能在初始需求激增后很久才到达,使市场饱和并压低价格。
Coughlin表示,今天这个周期的起源可以追溯到COVID-19大流行期间的芯片供应恐慌。为了避免供应链问题并支持向远程工作的快速转变,超大规模运营商——亚马逊、谷歌和微软等数据中心巨头——大量购买存储器和存储设备,推高了价格。
但随后供应变得更加正常,2022年数据中心扩张减少,导致存储器和存储价格暴跌。这种衰退持续到2023年,甚至导致三星等大型存储器和存储公司削减50%的产量,试图防止价格跌破制造成本,Coughlin说。这是一个罕见且相当绝望的举措,因为公司通常必须全产能运营才能收回投资价值。
在2023年底开始复苏后,"所有存储器和存储公司都非常谨慎地再次增加生产能力,"Coughlin说。"因此2024年和2025年大部分时间里,新生产能力投资很少或没有。"
AI数据中心建设热潮
产能投资的缺乏与新数据中心需求的巨大提升正面冲突。据Data CenterMap统计,全球目前有近2000个新数据中心正在规划或建设中。如果全部建成,这将代表全球供应量20%的跃升,目前约有9000个设施。
如果当前的建设继续保持步伐,McKinsey预测公司到2030年将投入7万亿美元,其中大部分——5.2万亿美元——将投向以AI为重点的数据中心。在这一部分中,3.3万亿美元将投向服务器、数据存储和网络设备。
到目前为止,AI数据中心热潮最大的受益者无疑是GPU制造商英伟达。其数据中心业务的收入从2019年最后一个季度的勉强10亿美元增长到2025年10月结束的季度的510亿美元。在此期间,其服务器GPU需要的DRAM不仅在容量上越来越多,在芯片数量上也在增加。最近发布的B300使用八个HBM芯片,每个芯片是12个DRAM裸片的堆叠。竞争对手对HBM的使用在很大程度上反映了英伟达的做法。例如,AMD的MI350 GPU也使用八个12裸片芯片。
随着如此大的需求,DRAM制造商来自HBM的收入比例越来越大。排名第三的生产商美光——仅次于SK海力士和三星——报告称,HBM和其他云相关存储器从2023年占其DRAM收入的17%增长到2025年的近50%。
美光预测HBM的总市场将从2025年的350亿美元增长到2028年的1000亿美元——这个数字比2024年整个DRAM市场还要大,CEO Sanjay Mehrotra在12月告诉分析师。这比美光之前预期的时间提前了两年。在整个行业中,"在可预见的未来,需求将大幅超过供应",他说。
供应增加的路径
"解决DRAM供应问题有两种方式:通过创新或建造更多晶圆厂,"Mkecon Insights经济学家Mina Kim解释道。"随着DRAM缩放变得更加困难,行业转向先进封装...这实际上是使用更多DRAM。"
美光、三星和SK海力士合计占据存储器和存储市场的绝大部分,三家公司都有新的晶圆厂和设施在建。然而,这些不太可能对降低价格产生有意义的贡献。
美光正在新加坡建设一个HBM晶圆厂,应该在2027年投产。它还在改造从台湾PSMC购买的一个晶圆厂,将在2027年下半年开始生产。上个月,美光在纽约奥农达加县破土动工建设DRAM晶圆厂综合体,要到2030年才能全面投产。
三星计划在2028年在韩国平泽的新工厂开始生产。
SK海力士正在印第安纳州西拉法叶建设HBM和封装设施,定于2028年底开始生产,在清州建设的HBM晶圆厂应该在2027年完成。
谈到对DRAM市场的看法,英特尔CEO谭立布在上周的思科AI峰会上告诉与会者:"直到2028年都不会有缓解。"
由于这些扩张无法在几年内做出贡献,需要其他因素来增加供应。"缓解将来自现有DRAM领导者的增量产能扩张、先进封装良率改进和供应链更广泛多样化的结合,"全球电子协会(前身为IPC)首席经济学家Shawn DuBravac说。"新晶圆厂在边际上会有帮助,但更快的收益将来自工艺学习、更好的DRAM堆叠效率以及存储器供应商与AI芯片设计师之间更紧密的协调。"
那么,一旦这些新工厂投产,价格会下降吗?别指望了。"一般来说,经济学家发现价格下跌比上涨更慢、更不情愿。考虑到对计算的无尽需求,今天的DRAM不太可能是这一一般观察的例外,"Kim说。
与此同时,正在开发的技术可能使HBM成为硅的更大消耗者。HBM4标准可以容纳16个堆叠DRAM裸片,尽管今天的芯片只使用12个裸片。达到16个很大程度上与芯片堆叠技术有关。通过HBM的硅、焊料和支撑材料"层蛋糕"传导热量是提高堆叠高度和在封装内重新定位HBM以获得更多带宽的关键限制因素。
SK海力士声称通过称为先进MR-MUF(大规模回流模塑底填料)的制造工艺具有导热优势。更远的未来,称为混合键合的替代芯片堆叠技术可以通过将裸片间垂直距离基本减少到零来帮助导热。2024年,三星的研究人员证明他们可以用混合键合生产16层堆叠,他们表示20个裸片并非不可及。
Q&A
Q1:什么是HBM?它为什么对AI芯片如此重要?
A:HBM(高带宽存储器)是DRAM行业利用3D封装技术开发的存储芯片,由多达12个薄化DRAM芯片堆叠而成。它紧密连接GPU,通过多达2048个连接来突破"存储墙",为大语言模型提供每秒太字节级的数据传输,是限制大语言模型运行速度的关键因素。
Q2:DRAM价格上涨的主要原因是什么?
A:主要原因是AI数据中心建设热潮与DRAM行业周期性产能不足的碰撞。本季度DRAM价格已上涨80-90%,因为全球近2000个新数据中心在建,而DRAM制造商在经历2022-2023年的衰退后,对增加产能非常谨慎,导致供不应求。
Q3:存储芯片价格何时能够回落?
A:预计要到2028年才会有缓解。美光、三星、SK海力士的新晶圆厂要到2027-2030年才能投产,而且经济学家发现价格下跌比上涨更慢更不情愿。英特尔CEO表示"直到2028年都不会有缓解",考虑到AI领域的无尽需求,价格可能长期保持高位。