据报道，三星推出了一款名为 CXL 分层内存混合内存模块 (CMM-H TM：CXL Memory Module-Hybrid for Tiered Memory) 的新型 Compute Express Link (CXL)附加卡，该卡添加了可由 CPU 和加速器远程访问的额外 RAM 和闪存。
该扩展卡混合了高速DRAM和NAND闪存，旨在提供一种经济高效的方式来提高服务器的内存容量，而无需使用本地安装的DDR5内存，而这在超额认购的服务器中通常是不可行的。
三星的解决方案在Compute Express Link (CXL)上运行，这是一种开放式行业标准，可在 CPU 和加速器之间提供缓存一致性互连，从而允许 CPU 使用与利用 CXL 的连接设备相同的内存区域。远程存储器（或者在本例中为混合 RAM/闪存设备）可通过 PCIe 总线访问，但代价是大约 170-250 纳秒的延迟，或者大约是 NUMA 跳的成本。
CXL 于 2019 年推出，目前处于第三个版本，支持 PCIe 6.0。
CXL 规范支持三种类型的设备：Type 1 设备是缺乏本地内存的加速器，Type 2 设备是具有自己内存的加速器（例如具有 DDR 或 HBM 的 GPU、FPGA 和 ASIC），Type 3 设备由内存设备组成。三星设备属于 Type 3 类别。
CMM-H TM 是三星CMM-H CXL 内存解决方案的一个分支。三星表示，它是世界上第一个基于FPGA的分层 CXL 内存解决方案，旨在“应对内存管理挑战，减少停机时间，优化分层内存的调度，并最大限度地提高性能，同时显着降低总拥有成本。”
这种新的 CMM-H 速度不如 DRAM；然而，它通过闪存增加了强大的容量，但通过扩展卡内置的巧妙的内存缓存功能隐藏了大量延迟。热数据被转移到卡的 DRAM 芯片中以提高速度，而较少使用的数据则存储在 NAND 存储中。三星表示，这种行为会自动发生，但某些应用程序和工作负载可以通过 API 向设备发出提高性能的提示。当然，这会增加缓存数据的一些延迟，这并不适合所有用例，特别是那些依赖严格 99% 性能的用例。
三星的新型扩展卡将为客户提供扩展服务器内存容量的新方法。随着更先进的大型语言模型继续要求其主机和加速器提供更多内存，这种新的设计范例变得越来越重要。
全球最大的存储芯片制造商三星电子公司计划于2025年推出人工智能行业游戏规则改变者三维(3D) DRAM，目前以规模较小的竞争对手SK海力士公司主导的全球人工智能半导体市场。
3D为主导的DRAM芯片通过垂直互连单元而不是像目前那样水平放置它们，能将单位面积的容量增加了三倍。相比之下，高带宽内存（HBM）垂直互连多个DRAM芯片。据首尔的半导体行业消息知情人士周二透露，三星上个月在加利福尼亚州圣何塞举行的全球芯片制造商聚会Memcon 2024上公布了其3D DRAM开发路线图。
这家总部位于韩国水原的巨头计划于2025年推出基于垂直沟道晶体管技术的早期版本3D DRAM，该技术在构成单元的晶体管中该垂直设置沟道（电子流动的通道），并用充当开关的门。公司还计划在2030年推出一个式DRAM，将包括在内部的所有单元都在一起。
目前 DRAM 在主板上包含多达 620 亿个单元，晶体管在平面上密集集成，这使得不可能避免漏电流和干扰。由于 3D DRAM 中的晶体管由于可以在同一上放置更多单元，因此3D DRAM预计将增加单位芯片内的容量。
3D DRAM的基本容量为100 GB，几乎是当前可用DRAM最大容量36 GB的三倍。有消息称，到2030年，全球3D DRAM市场可能会增长到1000亿美元，但由于市场仍处于起步阶段AI半导体市场的领导者该技术有望帮助三星审视全球AI半导体行业的王座，击败目前在AI芯片领域主导地位的SK海力士，他们在AI应用的HBM、DRAM全球市场中占有90%的份额”业内人士表示。
尽管三星的竞争对手（包括SK海力士和美光科技公司）一直在研究该技术，但尚未公布任何3D DRAM的路线图。SK海力士在各个行业会议上介绍了其3D DRAM的概念。美光于2019年开始开发3D DRAM，拥有约30项该技术专利，是三大芯片制造商中最多的。
十多年来，随着智能手机等配备DRAM的电子设备变得更小、功能更多，全球DRAM行业一直在开发具有更大数据处理能力的更小芯片。人工智能的快速发展需要快速大规模处理数据，这一趋势正在加剧。3DDRAM预计将满足此类芯片的需求，因为它比现有的DRAM更小，容量更大。
短期内，新型半导体可能用于智能手机和笔记本电脑等小型信息技术设备，这些设备需要高性能 DRAM 来实现设备上的 AI 功能。汽车行业预计将长期使用 3D DRAM，因为电动汽车和自动驾驶汽车需要能够实时处理从道路收集的 DRAM 的大数据。
三星正在开发主导3D DRAM领域的技术，以期到2027年至2028年将其关键尺寸缩小到8-9纳米(nm)。最新的DRAM预计为12 nm左右。该公司还积极扩大3D DRAM研发人员队伍它在其半导体研究中心针对该技术成立了下一代工艺开发团队。