顶点光电子商城2026年8月28日消息:8月28日,在数博会活动现场,中科曙光正式对外发布新一代词元加速方案ParaCache。该技术方案旨在通过复用历史计算结果减少大模型推理环节的重复运算,提升现有算力资源的业务承载能力。
据介绍,ParaCache技术的核心思路为长时间保存并且复用已经生成的计算结果。通过削减推理流程当中的重复计算工作量,同一套算力基础设施便可承接更多来自上层业务的访问请求。

目前,ParaCache加速方案已经在曙光8000推理应用场景下完成落地验证工作。该产品可与行业内主流的推理生态实现兼容适配,企业无需大规模调整现有软硬件环境即可开展部署工作。
落地应用之后,该加速方案可帮助相关企业优化单位词元的使用成本,同时提升大模型项目整体的部署与运行效率。该方案面向大模型推理降本增效的实际需求,可为AI业务规模化运行提供一条技术路径。
本次新品发布进一步丰富了中科曙光面向大模型推理场景的技术产品矩阵。后续该方案有望在更多大模型落地项目当中开展适配测试与商业化应用。
鄂公网安备 42011502001385号 鄂ICP备2021012849号