2024-12-11 23:02:37
根据AMD官方的说法，虽然还没到2025年，但他们现在距离这一成果已经只差临门一脚：配备最新EPYC9575F和InstinctMI300X的机器相比2020年一台未公开的机器能效提高了28.3倍。AMD在测试中使用了Llama3.1-70B（vLLM0.6.1.post2、TP8Parallel、FP8、连续批处理）模型，然后对比其推理性能的差异。AMD并未透露其测试中用到的这套2020年硬件规格，但很显然基于Zen2系列的EPYC7002处理器（单个CPU最多64核）以及基于初代CDNA架构的InstinctMI100加速器。AMD还表示，除了“给力”的硬件提升之外，这一成绩是通过架构改进和软件优化综合实现的成果，这是可以预料到的结果。该公司最近刚推出了基于CDNA3架构的InstinctMI325X加速器，配备了288GBHBM3E内存子系统；AMD明年还将推出基于CDNA4架构的InstinctMI355X，与MI325X相比性能（FP8和FP16）将提高约80%。除了FP8和FP16外，MI325X还将支持FP4和FP6格式，其峰值性能将达到9.2PetaFLOPS（FP4），这对于许多大语言模型来说非常实用。也就是说，AMD要想实现在2025年实现其计算平台能效提高30倍的目标并不难。AMD高级副总裁、AMD公司研究员和产品技术架构师SamNaffziger表示，“通过我们对硬件和软件协同设计中深思熟虑的方法，我们对实现30x25目标很有信心，并对未来充满期待，我们已经看到了在未来几年内实现大幅能效提升的有效途径。”相关阅读：《《广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。
您正在访问亚汇网香港分站，本站所提供的内容均遵守中华人民共和国香港特别行政区法律法规。
