近日,蚂蚁集团Ling团队的技术成果论文《每一个FLOP都至关重要:无需高级GPU即可扩展3000亿参数混合专家LING大模型》正式发表于预印版平台Arxiv。这一研究展示了如何在资源受限的环境中高效训练超大规模语言模型,为AI技术的普及化迈出了重要一步。
论文中介绍了两款基于MoE(Mixture of Experts)架构的大语言模型——百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)。其中,Ling-Lite拥有168亿参数(激活参数27.5亿),而Ling-Plus的基座模型参数规模更是高达2900亿(激活参数288亿)。两者在性能上均达到了行业领先水平。
当前,尽管DeepSeek、阿里通义千问等系列MoE大模型在特定任务中表现出色,但其训练通常依赖于高性能计算资源,如英伟达H100/H800等先进GPU。这种对高端硬件的依赖不仅导致高昂的成本,还因高性能芯片供应短缺而限制了技术的广泛应用。相比之下,低性能加速器虽然供应充足且成本较低,但如何利用这些资源实现高效的模型训练仍是一个挑战。
为此,Ling团队设定了“不使用高级GPU”的目标,并通过一系列创新性的训练策略,成功突破了资源与预算的限制。他们提出了一种能够跨异构计算单元与分布式集群无缝切换的技术框架,使模型训练更加灵活且经济。
根据论文数据,Ling团队在五种不同的硬件配置上完成了Ling-Plus的预训练,涉及9万亿个token的数据量。在高性能硬件配置下,训练1万亿token的成本约为635万元人民币。然而,通过蚂蚁优化方法的应用,使用低规格硬件的训练成本降低至508万元左右,节省了近20%。与此同时,Ling-Plus的性能依然能够媲美阿里通义Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat等顶尖模型。
此前,DeepSeek团队已经通过算法创新和工程优化,成功在性能较低的英伟达H800上训练出了V3与R1等性能卓越的模型,为大模型的高效训练开辟了新路径。如果蚂蚁集团的技术成果得到进一步验证和推广,将为国产大模型寻找更低成本、更高效率的替代方案铺平道路,从而减少对英伟达芯片的依赖。
除了在大模型领域的持续探索,蚂蚁集团还在AI医疗领域加大了投入力度。今年3月21日,蚂蚁对外公布了其在医疗机构、医生和用户三端的最新AI产品体系升级计划。
面向医疗机构,蚂蚁联合华为医疗卫生军团和阿里云推出了“蚂蚁医疗大模型一体机”全栈式解决方案,旨在为医院提供智能化技术支持;针对好大夫在线平台上超过29万名注册医生,蚂蚁发布了AI医生助手系列工具,帮助医生提升工作效率;同时,面向普通用户,蚂蚁健康应用“AI健康管家”新增了智能思考、健康自测等多项功能,以更好地满足用户的健康管理需求。
值得一提的是,蚂蚁集团近期在人形机器人领域也展现出积极布局的姿态。今年2月,某招聘平台显示,蚂蚁开放了具身智能人形机器人系统及相关应用岗位,年薪可达百万元级别。此外,去年12月,蚂蚁还成立了上海蚂蚁灵波科技有限公司,专注于具身智能技术和产品研发。
这些动作表明,蚂蚁不仅致力于推动AI技术的发展,也在积极探索人工智能与其他前沿科技结合的可能性,努力打造更加智能化、多元化的未来世界。
文章内容来源于网络,不代表本站立场,若侵犯到您的权益,可联系多特删除。(联系邮箱:[email protected])
相关阅读











近期热点
最新资讯