7月31日消息,据媒体报道,2025(第二届)产融合作大会在北京召开。会上,浪潮存储重磅发布了推理加速存储产品AS3000G7,旨在解决大模型推理中因KV Cache重复计算导致的算力浪费和时延问题,为金融、科研等领域的模型规模化落地提供关键支撑。
当前,大模型推理高度依赖昂贵的GPU服务器,其利用效率直接决定了模型从“实验室”走向“生产线”的速度。
与此同时,IDC预测未来五年智能算力规模将增长1.7倍,且到2027年,推理工作负载占比将超过70%,提升GPU利用效率的需求愈加迫切。
浪潮存储AS3000G7创新性地提出“以存代算”方案。该产品能够集中存储所有KV Cache及多轮对话结果。
其架构将KV Cache从GPU本机内存,通过高速网络缓存至AS3000G7。在后续对话中,系统可按需直接拉取缓存,彻底避免了重复计算。
这一突破性设计显著节省了算力消耗,提升了宝贵的GPU资源利用率,加速了大模型在实际场景中的高效应用。
本文转载于快科技,文中观点仅代表作者个人看法,本站只做信息存储
阅读前请先查看【免责声明】本文内容由互联网用户自发贡献,该文观点仅代表作者本人,本站仅供展示。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 1217266901@qq.com 举报,一经查实,本站将立刻删除。 转载请注明出处:https://jingfakeji.com/tech/93821.html