乐鱼官方网站

网站首页

产品中心

乐鱼 乐鱼官方 乐鱼官方网站 乐鱼电子官方网站

新闻中心

关于乐鱼官方网站

公司概况 核心优势 核心团队 发展历程

联系乐鱼官方网站

官方微信 官方微博
乐鱼官方网站 > 新闻中心

比英伟达H100快90%!最强大模型AI芯片来了首搭141GB HBM3e

发布时间:2024-02-15 15:21浏览次数: 来源于:网络

  智东西11月14日消息,昨日晚间,英伟达在国际超算大会SC23上宣布推出新一代AI计算平台NVIDIA HGX H200。

  需注意的是,虽然都是“200”,但与此前英伟达发布的GH200 Grace Hopper超级芯片不同,GH200是英伟达Grace CPU与H100 GPU的组合版,而H200是新一代GPU芯片,为大模型与生成式AI而设计,因此相比H100主要优化的是显存和带宽,算力则与H100基本持平。

  HGX H200支持NVIDIA NVLink和NVSwitch高速互连,可支持超过1750亿参数规模模型的训练和推理,相比于H100,H200的性能提升了60%到90%。英伟达高性能计算和超大规模数据中心业务副总裁Ian Buck将其描述为“世界领先的AI计算平台”。

  这也是首款内置全球最快内存HBM3e的GPU,英伟达的新闻稿写道,GPT-3的推理表现中,H100的性能比A100提高了11倍,H200 Tensor Core GPU的性能比A100提高到了18倍。

  Buck称,英伟达将在未来几个月内继续增强H100和H200的性能,2024年发布的新一代旗舰AI芯片B100将继续突破性能与效率的极限。

  英伟达还展示了一个服务器平台,可以通过NVIDIA NVLink互连连接四个NVIDIA GH200 Grace Hopper超级芯片,其具有四路和八路配置。

  其中,四路配置在单个计算节点中配备了多达288个Arm Neoverse内核和16PetaFLOPS的AI性能,以及高达2.3TB的高速内存。

  八路配置的HGX H200提供超过32PetaFLOPS的FP8深度学习计算和1.1TB聚合高带宽内存,可在生成式AI和HPC应用中实现最高性能。

  这些服务器主板与HGX H100系统的硬件和软件兼容。它还可用于英伟达8月份发布的采用HBM3e的新一代NVIDIA GH200 Grace Hopper超级芯片中。

  基于此,H200可以部署在各种类型的数据中心中,包括本地、云、混合云和边缘。包括华硕、戴尔科技、惠普等在内的英伟达全球生态系统合作伙伴服务器制造商也可以使用H200更新其现有系统。

  除了AI算力和云服务公司CoreWeave比英伟达H100快90%!最强大模型AI芯片来了首搭141GB HBM3e、亚马逊无服务器计算服务Lambda和云平台Vultr之外,AWS、谷歌云、微软Azure和甲骨文云将从明年开始成为首批部署基于H200实例的云服务提供商。

  同时,新的全球TOP 500超算榜名单中包含了有史以来使用英伟达技术数量最多的系统为379个,而5月份的榜单中为372个,其中还包括了38台超级计算机。

  英伟达加速计算平台还提供了强大的软件工具支持,能使开发人员和企业构建和加速从AI到HPC的生产就绪型应用程序,其中包括用于语音、推荐系统和超大规模推理等工作负载的NVIDIA AI Enterprise软件套件。

  生成式AI催生的大量加速计算需求仍然在不断增长,大模型开发和部署带来的算力需求也成为企业的核心痛点,性能更强的AI芯片仍然是当下大模型企业竞争的重点之一。

  如今,英伟达再次围绕着生成式AI的开发和部署甩出了一系列硬件基础设施和软件工具,帮助企业突破大模型开发和部署的核心痛点,并且通过在数值、稀疏性、互联、内存带宽等方面的革新,不断巩固其在AI时代的霸主地位。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  山东男篮加时3分险胜北京北汽,高诗岩29+9堪比外援,范子铭16+10

  腾讯、网易市值共蒸发超4600亿元!腾讯游戏副总裁紧急回应!游戏工委内部人士:对征求意见稿,各界可畅所欲言……

  重庆38岁男子失业后徒步送外卖月入2000,最高单日走38公里,不敢要小孩

  刚刚,董宇辉再发声:个人工作室由东方甄选100%控股,不希望大家误会俞敏洪,不然会觉得很愧对他

  上海一税务大厅有“半裸女子脚踩长城”浮雕?税务热线多项改革?“休克疗法”太猛,阿根廷爆发新政府上台后首次大规模

  国家新闻出版署:网络游戏不得泄露国家秘密、危害国家安全或损害国家荣誉和利益

下一篇:英伟达发布世界最强AI芯片H200性能飙升90%!
上一篇:AI算力芯片迎来超重磅利好9家机构用100亿布局龙头将迎来大涨

咨询我们

输入您的疑问及需求发送邮箱给我们