AI对内存的需求，正在以连美光自己都没预料到的速度爆炸式增长。

The Circuit播客近日发布了一期对话节目，主持人专访了美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner。对话围绕AI时代内存与存储行业的结构性变化展开。

Werner开门见山地表示，这一轮内存行业的繁荣与以往的周期性波动有本质区别。

内存已经成为数据中心推理环节突破瓶颈的关键战略资产，也是训练全球最先进模型的核心支撑。我不认为这个趋势会放缓。

AI推理的“内存墙”：不够用就得从头算

Werner用一个直白的逻辑解释了为什么推理对内存的需求如此特殊。

训练和推理对内存的使用方式截然不同。Werner说：“训练用内存来学习，然后遗忘，最终输出一个模型。但推理用内存来记忆。”

推理过程分为两个阶段：预填充（prefill）和解码（decode）。在解码阶段，模型需要不断调用此前的计算结果——也就是所谓的KV缓存（KV Cache）——来生成更准确的答案。

问题在于：如果内存不够存下这些历史状态，模型就必须从头重新计算。Werner解释了这意味着什么：

每一轮重新计算，所需的算力相当于此前所有轮次的总和。也就是说，算力需求是指数级增长的。而如果你能存下上一轮的状态，每一轮只需要线性地多做一步。

换句话说，内存不足会让GPU的算力利用率急剧下降。反过来，Werner指出：“如果你能提供足够快、足够大的内存，理论上可以从GPU中榨取出平方倍的算力。”

推动KV缓存需求膨胀的因素有三个：上下文窗口越来越长、模型参数量越来越大、同时并发使用AI的用户越来越多。Werner透露，目前上下文长度正以每年30倍的速度增长。

内存层级：从HBM到SSD，一条完整的“存储链”

Werner详细梳理了AI数据中心的内存层级结构，从最靠近GPU的高带宽内存（HBM）到最远端的海量SSD，构成一条完整的“存储链”。

第一层：HBM，紧贴GPU，典型容量在10至100GB之间，速度最快，但容量有限。

第二层：主内存（Main Memory），连接至CPU，容量通常是HBM的4至20倍，但速度更慢、距离更远。以英伟达Blackwell系统为例，主内存连接至Grace CPU。

第三层：扩展内存（Expansion Memory），通过光纤连接独立内存模块，目前尚未大规模量产部署，但已是业界关注的方向。

第四层：上下文内存存储（Context Memory Storage），即用SSD来存储KV缓存。Werner指出，英伟达CEO黄仁勋今年已公开谈及这一方向。与HBM相比，SSD的延迟更高、带宽更低，但容量可达HBM的1000倍。

第五层：数据湖，数据中心底层的海量SSD存储，以EB（艾字节）计。

Werner表示，目前整个层级从上到下都处于供不应求的状态：“只要我们发布产品，他们就会消耗掉。只要我们提升容量和性能，他们就会找到方法部署。”

HBM4与245TB SSD：美光的两张王牌

面对上述需求，美光正在两个方向同时发力。

HBM4方面，Werner透露，美光刚刚发布了HBM4产品，带宽是上一代HBM3e的两倍以上。他强调，提升带宽的核心逻辑在于：当瓶颈不是算力而是内存带宽时，必须加快数据送达GPU的速度。

SSD方面，美光推出了一款245TB超大容量SSD，Werner形容“这个东西比一副扑克牌大不了多少”。

这款产品的意义不仅在于容量本身。Werner解释，目前数据中心部署的硬盘容量普遍在30TB出头，而245TB的SSD意味着同等存储量所需的设备数量大幅减少，连带减少了网络连接、电源、风扇等配套设施，最终将存储占地面积压缩逾80%，同时显著降低功耗。

“你只需要为你真正需要的性能付费，而这些性能是以更高效的每瓦特GB来交付的。”Werner说。

这直接回应了数据中心当前最棘手的两大约束：电力预算和物理空间。Werner表示：“如果电力是限制增长的瓶颈，那我们就必须在固定功耗预算内，找到提供更高效性能的方法。这正是我们大量创新的来源。”

产能已经跟不上：全球五座晶圆厂同步开建

尽管需求旺盛，Werner坦承，内存行业的产能已经无法跟上需求。

“我们没有在全球建造足够多的晶圆厂。”他直接说道。

目前美光正在全球同步推进五座晶圆厂的建设：

爱达荷州博伊西：60万平方英尺洁净室，相当于10个足球场大小

纽约州北部：已宣布开工建设

弗吉尼亚州：现有晶圆厂扩建

新加坡：南部晶圆厂（Nanfab）破土动工

日本：DRAM生产设施扩建

中国台湾：刚刚从PSMC收购一座晶圆厂

Werner表示，目前整个行业都受制于洁净室空间，这一状况短期内难以改变。

我们已经无法跟上需求了，其他所有人也一样——英特尔、英伟达、台积电都在说，我们已经满负荷了。晶圆厂不是说长就能长出来的。

市场还没看懂这件事

对于市场的担忧，Werner有不同看法。

他认为，市场目前看到云服务商（CSP）资本开支大幅增加，就开始担心这是否可持续。但他的判断是：“这些企业正在经历一场巨大的革命，其潜力仍然超出大多数人的想象。”

Werner还指出，AI的应用场景远未饱和。训练时代已经过去，推理时代刚刚开始，而Agentic AI（智能体AI）和物理AI（Physical AI）甚至还没有真正大规模落地。“我真的相信，我们只是刚刚触及AI将要带来的变革的表面。”

他也承认，硅谷内外对AI的认知存在巨大落差：

在硅谷，大家都非常兴奋，很容易陷入自己的信息茧房。但当我和不在这个行业的朋友聊天，他们很多人还没有意识到未来20年将会发生什么。

⭐星标华尔街见闻，好内容不错过⭐

本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。

觉得好看，请点“在看”