{主关键词}

一 | AI(人工智能)芯片龙头英伟达史上最大规模收购的技术实现了商业化。

二 | 当地时间8月24日,英伟达宣布,旗下Groq 3 LPX架构已经实现全面量产,该架构通过大幅提升Token(字元)生成速率,扩展了英伟达Vera Rubin NVL72系统的推理性能。 8月25日消息,小米创始人雷军今早发文介绍自研芯片玄戒O100,这是一颗1.22TB/s高带宽的AI加速芯片,基于玄戒创新的高带宽矩阵总线,实现远超传统旗舰SoC的端侧AI性能。 雷军强调,玄戒O100未来将应用于手机、汽车、机器人等全生态品类。 玄戒O100是大模型专用的AI加速芯片,更是全球首款6nm 3D晶圆级堆叠的AI加速芯片。 通过先进的3D堆叠工艺,实现了1.22TB/s的超高带宽,这一速度是目前主流旗舰手机的16倍之多,可以让移动端设备的AI性能实现质的突破。 玄戒O100与玄戒O3是AI终端的“最佳CP”,最高可以实现本地AI推理速度高达330Tokens/s。 小米介绍,在传统计算架构下,计算单元与存储单元物理分离,数据必须在两者之间反复搬运。同时,新云厂商Nebius成为首个采用英伟达Groq 3 LPX的AI云服务商,产品将于今年晚些时候上线。但内存数据通路受限于物理引脚数量,遇到了增长瓶颈。

三 | 当AI算力以指数级增长时,内存访问速度与算力之间已经严重脱节,成为性能的关键阻碍,业界称之为“内存墙”。 英伟达表示,智能体AI(Agentic AI)带来了两个独特的计算挑战:对海量上下文的高效处理,以及以极低延迟生成Token。

四 | 玄戒O100,则是小米“推倒内存墙”的破局之法,区别于以往晶圆→切割为裸片(Die)→逐片封装互联的方式,玄戒O100采用先进的Wafer on Wafer封装技术,也就是将多片完整的晶圆直接高精度对准与键合,继而再切割成独立的3D芯片。

五 | 因此,Groq 3 LPX专为拓展Vera Rubin的交互性(即针对单个用户生成Token的速率)而生,这决定了智能体完成其工作中每一步的速度。

六 | 据介绍,在全球知名独立AI大模型评测机构Artificial Analysis的基准测试中,Groq 3 LPX在智能体编程及其他对延迟敏感的工作负载中展现出了“世界级的速度”,其响应速度比表现最接近的替代平台还要快4倍。

七 | 这彻底摆脱了传统引脚数量对带宽的物理限制,将数据通路从“平面走线”变为“垂直穿透”,实现真正的近存计算(Near-Memory Computing)。

八 | 玄戒O100采用了先进的Hybrid Bonding混合键合工艺,摒弃了传统微凸点(Micro Bump)结构,直接将物理通路的间隔缩短至1.4μm,让数据通路密度大幅提升。

九 | 英伟达CEO黄仁勋表示:“Vera Rubin延续了我们的愿景,推出了针对智能体AI时代设计的‘工作负载优化型AI工厂配置’,通过LPX实现超高速Token生成,再度突破性能上限。

十 | 还采用了Face to Face(简称F2F)金属层直连结构,进一步缩短DRAM与NPU计算层的物理距离,让DRAM与NPU的金属走线“面面相对”,实现更短的物理互联距离,实现更快的信号传输。

十一 | 正如全球对AI计算的需求正在加速增长一样,这改变了智能的生产方式,使AI吞吐量、效率和响应速度实现了又一次巨大飞跃。 此外,玄戒O100配备了14颗高算力NPU,通过玄戒高带宽矩阵总线,让数据可以在NPU与内存、与其他NPU核心之间等高速流转。” 这也意味着,英伟达公司史上最大规模收购所获得的技术正式完成商业化落地。

十二 |

十三 | 去年12月,英伟达以200亿美元拿下了芯片初创公司Groq的核心班底,这也是英伟达迄今为止规模最大的一笔收购交易。 今年3月,英伟达宣布推出新的定制芯片Groq 3 LPU,预计其将于第三季度出货,还有装载该芯片的数据中心机架LPX。今年5月,黄仁勋在财报电话会上表示,该机架是“为低延迟和高token生成速度而设计的,但其吞吐量很低”,用例并不广泛。 英伟达正在努力制造Groq芯片并向客户交付,凸显出低延迟推理日益增长的重要性。像Groq这样的低延迟芯片并不会取代GPU,而是专注于模型服务中被称为“解码”阶段的部分。 英伟达高级总监狄翁·哈里斯(Dion Harris)在接受外媒采访时表示,云服务厂商可以针对这种高质量的Token输出收取更高的费用:“他们能够解锁新的商业模式,为那些对延迟极其敏感、且对此有严格服务协议(SLA)需求的最终用户和客户,提供更高溢价的高级服务套餐。” 24日当天,英伟达(Nasdaq:NVDA)股价跌2.91%收于每股208.48美元,总市值5.05万亿美元。

十四 | 公司股价连续第七个交易日收跌,创下2022年以来的最长连跌纪录。英伟达即将在当地时间8月26日美股盘后发布财报。 此外,据外媒近日报道,英伟达最大的几家客户已被告知,搭载其AI芯片的服务器价格将上涨超过15%,从明年初出货的系统正式生效,将影响包括搭载旗舰级Vera Rubin和Grace Blackwell芯片在内的服务器系统。
(文章来源:澎湃新闻)。
Current article:http://wsd22.tibiantasangnenti.buzz/list_8g7m9/iol3q.html
Published on:08:09:00
我的网站热门国内