人工智能芯片的竞争正在进入一个新的阶段。过去几年，行业关注点集中在GPU算力提升、模型规模扩大以及训练效率优化，但随着AI应用不断深入，一个更底层的问题逐渐浮出水面：芯片算得越来越快，数据却未必跟得上。
“内存墙依旧存在，甚至情况或许还在进一步恶化。”美光HBM设计架构方向专家拉古·斯里拉马内尼在Hot Chips 2026半导体学术会议上表示。
所谓“内存墙”，指的是处理器计算能力快速提升，而负责数据存储和传输的内存系统无法同步升级，由此造成的性能限制。简单来说，芯片拥有更强的大脑，但数据流动速度跟不上，大量计算能力可能被等待数据浪费。
AI时代让这一矛盾更加明显。
大型语言模型、生成式AI以及多模态应用需要处理的数据规模持续扩大，算力芯片正在不断堆叠更多计算单元。过去依靠提升晶体管数量和计算频率实现性能增长的方式，逐渐遇到新的限制。
根据斯里拉马内尼的介绍，AI加速器的计算性能大约每两年提升3倍，而作为关键数据供给环节的HBM（高带宽内存），同期性能提升幅度不到2倍。
这意味着，即便未来GPU和AI加速器继续保持高速迭代，如果内存带宽无法同步提升，整体系统效率仍然会受到限制。
HBM近年来已经成为AI芯片产业链中的关键环节。英伟达、AMD等厂商推出高性能AI加速器时，都高度依赖HBM提供更高的数据吞吐能力。随着AI服务器需求增长，HBM甚至成为影响芯片产能的重要因素之一。
但问题在于，提升内存性能并不是简单增加容量。
从制造工艺到封装方式，再到芯片之间的数据通信架构，整个存储体系都需要重新设计。传统CPU、内存分离架构在过去几十年支撑了计算产业发展，但面对AI工作负载，其效率开始受到挑战。
斯里拉马内尼认为，未来突破“内存墙”的方向，可能不是单纯提升某一个组件性能，而是重新设计计算单元与内存之间的关系，让两者边界进一步融合。
这种趋势已经在行业中出现。
先进封装、近存计算、存算一体等技术路线，都试图减少数据搬运距离，提高计算效率。对于AI产业而言，未来竞争可能不只是芯片算力竞赛，而是围绕“算力如何被有效利用”的系统级竞争。
这也解释了为什么当前半导体企业不断投入新的架构研发。AI模型规模仍在扩大，但硬件提升空间正在从单纯堆叠计算资源，转向优化整个数据流动体系。
未来几年，真正限制AI发展的因素，可能不只是有没有更强的芯片，而是数据能否以足够快的速度流向芯片。谁能够解决计算和存储之间的鸿沟，谁就可能在下一轮AI基础设施竞争中占据更主动的位置。
