AI时代，内存与存储架构如何重塑智能基座？

AI推理时代已经到来。想象一个医疗系统在实时分析数百万份数据，帮助研究人员更快找到致命疾病的线索；又或者一个智能助手，同时处理成千上万用户的复杂问题，并在一瞬间给出准确回答。这些真实世界的突破背后，是一套极度考验底层能力的基础设施——它如同引擎一般持续输出“智能”，而不只是训练阶段的一次性计算。数据流源源不断，内存与存储架构，正成为决定AI服务体验的关键变量。

计算重心转向推理：服务化AI成为常态

过去几年的大规模AI竞赛，焦点几乎都放在“训练”：把数千张GPU连在一起，在数周内消耗惊人电力，训练出参数量以千亿计的模型。训练如同一部电影“拍摄”，而推理则是它每时每刻的“点播放映”。拍摄可以接受漫长的停机与返工，但点播必须即时流畅。今天，从金融风控、智慧医疗到在线办公，AI已经被嵌入毫秒必争的业务链路。任何一次磁盘寻址卡顿、内存命中延迟，都会直接影响用户感受。

内存与存储：悄然成为瓶颈

在传统冯·诺依曼架构中，CPU负责计算，内存暂时存放指令和数据，硬盘则长期保存信息。当AI模型变得越来越大、调用频率越来越高，数据在存储设备、内存与计算单元之间反复迁移，其搬运开销已经远超计算本身。业界常说“存储墙”和“内存墙”，说的就是算力增长与数据搬运能力之间的巨大鸿沟。推理服务读取特征向量、加载模型参数、写入上下文日志，每一次交互都伴随着海量I/O。若没有高带宽、低延迟的存储与内存协同，即便GPU再强，也只能空转等待数据。

面向持续智能的架构演化

为解决上述问题，存储器与存储的“代际升级”正在多个层面展开。

首先是存储介质的分层与优化。内存数据库、高性能SSD和持久化存储之间，数据被更智能地调度，让“热数据”驻留最快介质，“冷数据”沉没至低成本层。其次是内存池化与近计算架构。借助高速互连技术，多个计算节点可以共享一块逻辑内存池，或让存储设备直接在内部完成过滤、聚合等操作，减少数据搬家。

更深层的变化在于，系统设计开始从“以CPU为中心”转向“以数据为中心”。在这种思想下，内存与存储不再是被动的容量容器，而是主动参与计算的伙伴。模型权重可以被映射到存储侧，训练中间结果在内存网络中被有效复用，系统吞吐量取得数量级提升。

编者按：一场静默的底层革命

AI产业的目光长期被大模型和算力芯片吸引，而真正决定规模化落地的，往往是被忽视的内存与存储体系。存储层级和带宽格局正在被改写。无论是支持千亿级模型在海量用户间高效推理，还是让端侧AI设备实时响应，底层架构的每一点创新，都会转化成产品体验的大幅跃升。可以预见，未来的AI竞争不再单纯是参数的较量，更是计算、内存、存储协同设计的系统战。

从医学研究的每一次数据比对，到智能助手对每一个问题的即时回答，AI推理已渗透进现实世界的高频场景。要让“持续智能”不再是昂贵的示范，而成为可靠的日常，我们既要仰望算法天空，更需要夯实内存与存储的大地。本文编译自MIT Technology Review