文章
警惕中青年的“隐形杀手”——心源性猝死\_哔哩哔哩\_bilibili
摆脱压力-成功的恶性循环|我的脑子不转了②
压力对大脑、身体运转的影响|我的脑子不转了③(完)
能够感受到遗憾与悔恨,本身是一种能力|生命情感对话①
课间闲聊(2)AI技术的发展不是一个单纯的科技议题
Ep 001|持续大量的记录自己,真的可以逆天改命
续航、安全、成本,动力电池的「终极方案」是什么?| S10E07
光進銅退還是光銅並進?獨家解析輝達 GTC 2026!震撼全整理!AI算力暴增一萬倍,揭露「五層架構+超級推論革命」! [1Rms3FYgfPo]
人工智慧不是算不動,而是記不夠!Kioxia AiSAQ技術讓SSD取代DRAM解鎖效能瓶頸! [_rUpsipbQDA].md
本站点使用 MrDoc 构建
-
+
光進銅退還是光銅並進?獨家解析輝達 GTC 2026!震撼全整理!AI算力暴增一萬倍,揭露「五層架構+超級推論革命」! [1Rms3FYgfPo]
# NVIDIA GTC 2026 大会解析总结 ## 概述 本文是对 NVIDIA GTC 2026 大会内容的详细解析,主要围绕 AI 算力增长一万倍、五层架构以及超级推论革命展开。文章指出,人工智能已经从以训练为主的阶段进入以推论为主的第二阶段,云端服务商需要开始考虑如何盈利。 ## 核心内容细节 ### 1. AI 发展阶段的转变 - **第一阶段**:以训练为主。 - **第二阶段**:以推论为主。这意味着云端服务工厂需要提升推论运算效能,以实现盈利。 ### 2. 语言处理器 (LPU) - NVIDIA 首次将语言处理器 (LPU) 整合到其 AI 工厂中,目标是提升推论运算效能,帮助云端服务商降低成本并增加收入。 - LPU 是专门为人工智能推论运算设计的加速器。 ### 3. 五层 AI 架构 黄仁勋演讲中提出人工智能的五层架构: 1. **能源层**:提供电力基础。 2. **芯片层**:包括 GPU、LPU 等。 3. **基础设施层**:构成 AI 工厂。 4. **模型层**:从数据中提取规则,建立 AI 模型。 5. **应用层**:利用训练好的模型进行预测,涵盖聊天机器人、数字生物学、自动驾驶、企业 AI 代理、科学应用、机器人、制造、AI 城市转型等。 ### 4. 软件与计算框架 - **统一计算架构 CUDA**:包括安装基础、开发者使用和技术突破,构建完整生态。 - **深度学习超级采样 (DLSS) 5.0**:利用深度学习将低分辨率图像提升至高分辨率,改善游戏性能和视觉品质。 - **结构化数据处理**:使用 CUDA DataFrames (QDF) 处理结构化数据。 - **非结构化数据处理**:使用向量搜索技术处理非结构化数据。 ### 5. 合作伙伴与案例 - 与 IBM、MDR、NTT DATA、Snap、Google Cloud、AWS、微软等合作。 - 通过 NVIDIA 的软硬件解决方案,客户数据处理成本降低 83%(IBM)、速度提升 3 倍(NTT DATA)、成本降低 76%(Snap)等。 ### 6. 推论转折点与算力增长 - 2023 年生成式 AI 兴起,运算量设为 1。 - 2024 年推理型 AI 发展,模型和情境运算增加 10 倍,服务 token 运算增加 10 倍,总体增加 100 倍。 - 2025 年代理型 AI 发展,模型和情境运算增加 100 倍,服务 token 运算增加 100 倍,总体增加 **一万倍**。 ### 7. 极限协同设计 - **GB300 服务器** 相比 H200 能效提升 50 倍,服务成本降低 35 倍。 - 通过硬件与软件的协同优化,大幅降低每 token 的推理成本。 ### 8. AI 工厂发展历程 过去十年 NVIDIA 推出六代产品: 1. P 版 GPU(8 GPU,NVLink 连接) 2. P100 GPU(16 GPU,NVSwitch) 3. A100 GPU(NVLink 3,ConnectX-6,Quantum InfiniBand) 4. Hopper GPU(NVLink 4,ConnectX-7,BlueField-3 DPU) 5. Blackwell GPU(Grace CPU,NVLink 5,ConnectX-9,BlueField-4 DPU) 6. **Ruby GPU**(Grace CPU,NVLink 6,ConnectX-9,BlueField-4 DPU,Spectrum-X 以太网交换机,Groke 3 LPU) - 算力累计增加 **4000 万倍**。 ### 9. 推论效能与云端收入关系 - 用户分为免费、中度、高度、优职和超级使用者,使用复杂度越高,需要的服务器资源越多。 - 使用旧平台(如 Blackwell)时,高复杂度用户带来的收入反而下降。 - 采用 **Ruby GPU + LPU** 组合后,所有用户类别的运算量都大幅提升,优职用户提升 35 倍,超级用户也能保持高效。 - 年度总收入对比: - 仅用 Blackwell:约 300 亿美元 - 仅用 Ruby:约 1500 亿美元(增加 5 倍) - Ruby + LPU:约 3000 亿美元(增加 10 倍) ### 10. LPU 技术细节 - **Groke 3 LPU 服务器 (LPX)**:包含 8 个 LPU,专为推论加速设计。 - 推论流程分为两个阶段: - **预填充阶段**:处理输入提示(prompt)。 - **解码阶段**:生成输出 token。 - LPU 通过 **KV 缓存** 和 **前馈网络** 加速上述过程。 ### 11. 三层 DSX AI 平台 1. **芯片系统设备层**:包含 AI 运算集群、电源和冷却硬件。 2. **函数库与应用接口层**:包括 DSX MaxQ(最大化吞吐量)、DSX Flex(安全动态电源管理)、DSX Extranged(AI 工厂运营数据处理)、DSX 性(实体电池散热模拟)。 3. **参考设计与最佳实践层**:提供 Rubin DSX 参考设计、生态系统解决方案和数字孪生工具。 ### 12. 太空规格验证 - Varion Rubin 模块通过严格的太空环境测试(Media Spec-1),为太空 AI 数据中心奠定基础。 ### 13. AI 代理生态 - **Open KELLOW**(可能指类似 OpenAI 的工具)成长迅速,超过其他开发工具。 - NVIDIA 推出 **NIMO KELLOW** 企业版 AI 代理,基于 Open KELLOW,增加强化学习、后训练、新用户 DF 和酷 DS 等功能,处理企业结构化和非结构化数据。 ### 14. 开放模型生态系统 - NVIDIA 提供多种开源 AI 软件: - BIO NIMO(生物学 AI) - NIMO KELLOW(代理型 AI) - Cosmos(实体 AI) - Grute(机器人 AI) - LPUMA(自动驾驶 AI) - NIMO KELLOW 3 Super 在多项评测中领先其他开源模型。 ### 15. 机器人应用 - 使用 GB300 AI 工厂进行训练数据处理,RTX Pro 进行模拟,LPU 进行推理。 - 现场展示了迪士尼机器人学实验室的机器人互动。 ### 16. 结论 - AI 产业正从训练转向推论为主,通用 GPU 在推论效能上受限,必须导入 LPU 专用加速器。 - NVIDIA 的 Ruby GPU + LPU 解决方案有望帮助云端服务商提升效能、降低成本并实现盈利。 - 这标志着 AI 产业逐渐进入成熟期。 > 整理自《光進銅退還是光銅並進?獨家解析輝達 GTC 2026!震撼全整理!AI算力暴增一萬倍,揭露「五層架構+超級推論革命」!》字幕内容。
peipeo
2026年5月18日 08:52
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档(打印)
分享
链接
类型
密码
更新密码