Meta的新AI卡是减少对NvidiaGPU依赖的一步
Meta最近公布了该公司AI训练基础设施的详细信息,透露它目前依靠近50,000个NvidiaH100GPU来训练其开源Llama3LLM。
与许多参与人工智能的大型科技公司一样,Meta希望减少对Nvidia硬件的依赖,并朝着这个方向迈出了又一步。
Meta已经拥有自己的AI推理加速器MetaTrainingandInferenceAccelerator(MTIA),它是为这家社交媒体巨头的内部AI工作负载量身定制的,尤其是那些可以改善其各种产品体验的工作负载。该公司现在分享了有关其第二代MTIA的见解,该加速器比其前代产品有了显着改进。
MTIA的这个改进版本可以处理推理但不能处理训练,它将过去解决方案的计算和内存带宽增加了一倍,与Meta的工作负载保持了紧密的联系。它旨在有效地服务于向用户提供建议的排名和推荐模型。新的架构旨在提供计算能力、内存带宽和内存容量的平衡组合,以满足这些模型的独特需求。该架构增强了SRAM功能,即使在减少批量大小的情况下也能实现高性能。
最新的加速器由8x8处理单元(PE)网格组成,密集计算性能提高了3.5倍,稀疏计算性能据说比MTIAv1高出7倍。这一进步源于新架构对稀疏计算流水线以及数据输入PE方式的优化。主要功能包括本地存储大小增加三倍、片上SRAM增加一倍、带宽增加3.5倍以及LPDDR5容量增加一倍。
除了硬件之外,Meta还专注于将软件堆栈与硅片共同设计,以协同实现最佳的整体推理解决方案。该公司表示,它已经开发出一种强大的机架式系统,可容纳多达72个加速器,旨在使时钟频率达到1.35GHz,运行功率为90W。
除其他发展外,Meta表示还升级了加速器之间的结构,显著提高了带宽和系统可扩展性。Triton-MTIA是一个后端编译器,专为MTIA硬件生成高性能代码而构建,进一步优化了软件堆栈。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
大众CC作为一款备受关注的中型轿车,凭借其优雅的设计和出色的性能一直吸引着众多消费者的目光。2025款大众CC...浏览全文>>
-
2025款阜阳途锐新车正式上市,凭借其卓越的性能和豪华配置吸引了众多消费者的关注。这款车型以最低售价55 88...浏览全文>>
-
在准备购买一辆汽车之前,了解车辆的落地价格是非常重要的。所谓落地价,是指购车时除了车款之外还需要支付的...浏览全文>>
-
安徽淮南地区的长安启源E07作为一款备受关注的新能源车型,凭借其时尚的设计、丰富的配置以及出色的续航能力,...浏览全文>>
-
安徽淮南长安启源A05 2025款新车现已正式上市,这款车型以其高性价比和出色性能吸引了众多消费者的关注。作为...浏览全文>>
-
安徽阜阳地区的威然车型在近期进行了配置上的升级,对于想要购买这款MPV的消费者来说,这是一个值得关注的消息...浏览全文>>
-
随着汽车市场的不断发展,SUV车型因其宽敞的空间和多功能性受到了越来越多消费者的青睐。作为大众旗下的高端旗...浏览全文>>
-
安徽蚌埠地区想要购买长安启源E07这款新能源汽车的朋友,可以参考以下信息来做出更明智的选择。长安启源E07定...浏览全文>>
-
随着汽车市场的不断发展,2025款安庆高尔夫作为一款备受关注的车型,其价格和配置自然成为消费者热议的话题。...浏览全文>>
-
近期,安徽蚌埠地区的帕萨特车型迎来了新一轮的价格调整,其落地价再次创下新低,吸引了众多消费者的关注。作...浏览全文>>
- 悉尼最后几个年薪低于 10 万美元的郊区
- 2025 年新南威尔士州值得投资的地方
- 揭秘在澳大利亚买房需要多少收入
- 悉尼最后几个年薪低于 10 万美元的郊区
- 昆士兰有望成为澳大利亚房地产强国之一
- MSI 推出首款双模式 4K 曲面电竞显示器
- 飞利浦 Screeneo GamePix 900:在发布前进行预览
- 您会在这个奇怪的电动露营三轮车里露营吗
- Meross 推出支持 Matter 的智能恒温器
- 配备出色 3K OLED 显示屏的 Acer Swift 16 现已降价至史上最低价
- Acer Predator Helios 18 RTX 4080 游戏笔记本电脑 现优惠 725 美元
- VivoX200Pro视频和新样张揭示了200MP蔡司变焦相机的锐利眼睛可以达到多远
- 派对氛围天文爱好者又一次欣赏到极光秀
- iPhone16相机控制按钮有史以来最不苹果的东西
- 贾雷尔夸萨与利物浦签订新合同
- 首款在安兔兔上得分300万的手机拥有非常强大的SoC即将发布
- HumaninMotionRobotics的自平衡XoMotion外骨骼获得加拿大批准用于物理治疗
- 龙宫样本对之前关于富碳小行星形成的观点提出了质疑
- 凯文德布劳内伤情更新曼城球星的伤势进展和可能的回归日期
- 实验室实验表明用核武器轰炸一颗巨大的小行星可以拯救地球