开始:IT之家
12 月 11 日音书,AMD 早在 2021 年就制定了“到 2025 年将 EPYC 处置器和 Instinct 加快器的能效提高 30 倍”的目标。
确认 AMD 官方的说法,天然还没到 2025 年,但他们目下距离这一扫尾也曾只差临门一脚:配备最新 EPYC 9575F 和 Instinct MI300X 的机器比较 2020 年一台未公开的机器能效提高了 28.3 倍。
AMD 在测试中使用了 Llama3.1-70B(vLLM 0.6.1.post2、TP8 Parallel、FP8、衔接批处置)模子,然后对比其推感性能的互异。
AMD 并未显现其测试顶用到的这套 2020 年硬件规格,但很显然基于 Zen 2 系列的 EPYC 7002 处置器(单个 CPU 最多 64 核)以及基于初代 CDNA 架构的 Instinct MI100 加快器。
AMD 还默示,除了“过劲”的硬件进步以外,这一收货是通过架构校正和软件优化概括竣事的扫尾,这是不错意意象的扫尾。
该公司最近刚推出了基于 CDNA 3 架构的 Instinct MI325X 加快器,配备了 288 GB HBM3E 内存子系统;AMD 来岁还将推出基于 CDNA 4 架构的 Instinct MI355X,与 MI325X 比较性能(FP8 和 FP16)将提高约 80%。
除了 FP8 和 FP16 外,MI325X 还将维持 FP4 和 FP6 形态,其峰值性能将达到 9.2 PetaFLOPS(FP4),这关于很多大言语模子来说卓绝实用。也即是说,AMD 要想竣事在 2025 年竣事其盘算平台能效提高 30 倍的目标并不难。
AMD 高档副总裁、AMD 公司计划员和居品本领架构师 Sam Naffziger 默示,“通过咱们对硬件和软件协同遐想中三念念尔后行的法式,咱们对竣事 30x25 目标很有信心,并对改日充满期待,咱们也曾看到了在改日几年内竣事大幅能效进步的灵验阶梯。”
海量资讯、精确解读,尽在新浪财经APP包袱裁剪:丁文武