顶点光电子商城2024年9月5日消息:近日,壁仞科技在AI芯片领域取得了重大突破,成功实现了业界首次的三种异构GPU混训技术。这一技术成就不仅标志着中国AI芯片技术的飞跃,也为全球AI训练技术的发展注入了新的活力。
壁仞科技在2024全球AI芯片峰会上首次公布了其自主原创的异构GPU协同训练方案HGCT。该方案业界首次支持3种及以上异构GPU(包括壁仞GPU、英伟达GPU及其他国产芯片)混合训练同一个大模型。这一技术突破解决了传统AI模型训练中不同厂商、不同架构甚至不同型号GPU之间难以流畅协同的问题,实现了异构算力的有效整合和利用。
技术特点与优势有
异构协同通信效率高:壁仞HGCT方案的异构协同通信效率大于98%,这一高效的通信效率保证了异构GPU在混合训练过程中的数据交换和协同工作的顺畅进行。端到端训练效率高:该方案的端到端训练效率达到90-95%,这意味着在大模型训练过程中,整体训练效率得到了显著提升,从而缩短了训练周期,降低了训练成本。普适性与易用性:壁仞HGCT方案用一套统一方案支持多种不同型号、不同厂商的GPU,并且一行代码即可适配多种框架。这种普适性和易用性使得该方案能够广泛应用于各种AI训练场景中。解决异构算力孤岛难题:通过实现三种及以上异构GPU的混合训练,壁仞科技突破了异构算力孤岛难题,使得不同来源、不同性能的GPU能够协同工作,共同承担大模型的训练任务。
壁仞科技的这一技术突破实现了国产GPU和英伟达GPU的异构共存,有助于加快国产GPU的落地迁移和市场应用,提升国产芯片在AI领域的竞争力。HGCT方案具备普适性、易用性和兼容性,能够助力最终客户实现多种异构算力聚合,最大化异构GPU集群利用效率,从而推动整个算力产业的发展。高效的异构GPU协同训练方案能够显著提升AI模型的训练效率,缩短训练周期,降低训练成本,为AI技术的广泛应用提供更加坚实的算力支撑。
未来,壁仞科技在实现三种异构GPU混训技术的基础上,将继续深化技术研发,推动异构GPU协同训练生态的完善和发展。同时,壁仞科技还将积极联合客户、合作伙伴和科研机构,共同推动AI技术的创新和应用,为构建更加智能、高效、可持续的未来世界贡献力量。