《科创板日报》8月12日讯（记者 黄心怡）华为今日发布AI推理创新技术UCM（推理记忆数据管理器）。作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。
据悉，华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。
IDC预测，到2027年中国智能算力中，推理算力占比将从2023年的41%左右上升到72.6%左右。中国信息通信研究院人工智能研究所平台与工程化部主任曹峰表示，大模型推理需求爆发。一方面大模型服务调用量、推理计算量将翻倍，另一方面大模型推理算力供给将超过训练，基础设施重心将逐步向推理偏移。
不过，当前AI推理应用落地过程中存在推不动、推得慢、推得贵等问题。华为数据存储产品线总裁周跃峰举例：中国互联网大模型的首Token时延普遍慢于海外互联网头部的首Token时延，海外头部大模型的推理吞吐率也要远高于中国。因此，如何改进推理系统的效率和体验是重要课题。这也是华为此次推出UCM推理记忆数据管理器的原因。
据介绍，UCM推理记忆数据管理器已经在中国银联的客户服务、营销策划、办公会议等业务场景中，开展AI推理加速应用试点。
华为数据存储产品线副总裁、闪存领域总裁谢黎明表示，从银行业来看，不管是生产环境的投研分析，还是舆情分
