近日，3D NAND 闪存和 3D DRAM 创新技术的领先开发商 NEO Semiconductor 宣布推出其 3D X-AI芯片技术，旨在取代高带宽内存 （HBM） 内部的现有 DRAM 芯片，通过在 3D DRAM 中实现 AI 处理来解决数据总线带宽瓶颈。
NEO Semiconductor 称，3D X-AI 可以减少 AI 工作负载期间 HBM 和 GPU 之间传输的大量数据，这将彻底改变 AI 芯片的性能、功耗和成本，助力各类生成式 AI应用。具体来说，采用NEO Semiconductor的3D X-AI技术的AI芯片可以实现：
1、100 倍性能加速：包含 8，000 个神经元电路，可在 3D 内存中执行 AI 处理；
2、功耗降低 99%：最大限度地减少将数据传输到 GPU 进行计算的需求，从而降低数据总线的功耗和发热。
3、8 倍内存密度：包含 300 个DRAM层，并允许通过类似 HBM 的堆叠，可以运行更大的 AI 模型。
其实早在2023年5月，NEO Semiconductor就宣布将推出全球首款3D DRAM技术，该技术的思路跟3D NAND Flash类似，都是通过堆栈层数来提高内存容量，类似于3D NAND Flash芯片中的FBC浮栅极技术，但增加一层Mask光罩就可以形成垂直结构，因此良率高，成本低，密度大幅提升。
NEO Semiconductor当时就表示，其将推出的第一代3D X-DRAM就可以做到230层堆栈，核心容量128Gb，而当前2D DRAM内存的核心容量还在16Gb。
而此次NEO Semiconductor推出的 3D X-AI 芯片，就是在进一步提升3D X-DRAM层数的基础上加入了面向AI的神经元电路。
具体来说，单个 3D X-AI 芯片包括 300 层容量为 128 Gb 的 3D DRAM 单元和一层具有 8000 个神经元的神经回路。根据NEO Semiconductor公布的数据，这可以支持每个芯片高达 10 TB/s 的 AI 处理吞吐量。如果使用 12 个 3D X-AI 芯片通过类似HBM的堆叠封装， 则可以可实现 120 TB/s 的处理吞吐量，从而实现 100 倍的性能提升。
“由于架构和技术效率低下，当前的AI芯片浪费了大量的性能和功率，”NEO Semiconductor的创始人兼首席执行官Andy Hsu说。“当前的 AI 芯片架构将数据存储在 HBM 中，并依赖 GPU 执行所有计算。这种分离的数据存储和数据处理架构使得数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据将会导致性能受限和非常高的功耗。3D X-AI 可以在每个 HBM 芯片中执行 AI 处理。这可以大大减少 HBM 和 GPU 之间传输的数据，从而提高性能并显著降低功耗。”
Network Storage Advisors总裁Jay Kramer表示：“3D X-AI技术的应用可以加速新兴AI用例的开发，并促进新用例的创造。利用3D X-AI技术创建下一代优化的AI芯片，将开启AI应用创新的新时代。”