乐鱼官方网站

网站首页

产品中心

乐鱼 乐鱼官方 乐鱼官方网站 乐鱼电子官方网站

新闻中心

关于乐鱼官方网站

公司概况 核心优势 核心团队 发展历程

联系乐鱼官方网站

官方微信 官方微博
乐鱼官方网站 > 新闻中心

最强AI芯片英伟达H200Llama2-70B推理提速90%2024年二季度发货

发布时间:2024-02-20 13:06浏览次数: 来源于:网络

  英伟达在 2023 年全球超算大会(SC2023)上发布了目前世界上最强的 AI 芯片 H200。

  这款新的 GPU 基于 H100 进行了升级最强AI芯片英伟达H200Llama2-70B推理提速90%2024年二季度发货,内存带宽提高了 1.4 倍,内存容量提高了 1.8 倍,提高了处理生成式 AI 任务的能力。该公司高性能计算和超大规模数据中心业务副总裁 Ian Buck 表示:「英伟达在硬件和软件上的创新正在缔造新型 AI 超算。」

  英伟达在官方博客中表示:NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能,可增强生成式 AI 和高性能计算 (HPC) 工作负载。作为首款采用 HBM3e 的 GPU,H200 借助更大更快的内存可加速生成式 AI 和大型语言模型 (LLM) 的运行,同时推进 HPC 工作负载的科学计算。

  NVIDIA H200 基于 NVIDIA Hopper 架构,与 H100 相互兼容,这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。

  H200 更大更快的内存可加速生成式 AI 和 LLM 的运行,同时以更高的能源效率和更低的成本推进 HPC 工作负载的科学计算。

  内存带宽对于 HPC 应用程序至关重要,因为它可以实现更快的数据传输,减少复杂的处理步骤。对于那些内存密集型 HPC 应用如模拟仿线 更高的内存带宽可确保高效地访问和操作数据,与 CPU 相比,给出结果的时间最多可加快 110 倍。

  英伟达表示,从明年开始,亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 实例的云服务提供商。

  官网信息显示,H200 将于 2024 年第二季度开始向全球系统制造商和云服务提供商供货。但对于 H200 的价格,英伟达还没有透露具体数字。CNBC 报道称,上一代 H100 的售价估计为每台 2.5 万美元至 4 美元,需要数千台才能以最高水平运行。

  关于 H200 是否会像 H100 一样供应紧张,英伟达对此并没有给出答案。

  在给 The Verge 的邮件中,英伟达发言人 Kristin Uchiyama 表示 H200 的亮相不会影响 H100 的生产:「你会看到我们全年的总体供应量有所增加,并且我们将继续长期购买供应。」

  与此同时,SC23 大会还发布了最新一期超算 TOP500 榜单。Frontier 系统仍保持榜首位置,并且仍然是榜单上唯一的百亿亿次计算机,但前十名的格局已经被五个新的或升级后的系统改变。

  在新一期榜单中,使用英伟达技术的超算系统数量达到了有史以来的最高水平 379 台,其中包括 49 台新上榜超算中的 38 台。这一数字在今年 5 月份是 372 台。

  基于强大的性能,英伟达未来将为世界各地的超算中心提供更好的算力服务。就在 SC23 大会上,多家超算中心宣布了正在为自己的超算集成 GH200 系统。

  比如,德国尤利希超算中心将在「木星」(JUPITER)上使用 GH200 超级芯片,这将成为欧洲第一台百亿亿次超级计算机。

  特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。

  摆脱OpenAI依赖!微软组建王牌AI团队专攻「小模型」,为大模型降本增效

  Linux基金会:在接受调查的开源贡献者中,只有14%的人获得工作报酬

  中国GPU芯片独角兽“壁仞科技”联合创始人徐凌杰离职,公司已融资超50亿元|硅基世界

下一篇:国内最好的ai芯片公司
上一篇:产品展示

咨询我们

输入您的疑问及需求发送邮箱给我们