推荐使用谷歌浏览器访问
  • 搜索门户
  • 问答
  • 活动
    • 登录/注册
    • 动态
    写文章
    • 搜索门户

    他来了他来了,英伟达发布全新Hopper架构GPU“H100”4nm制程800亿晶体管

    AI星球官媒 发布于2022-03-23 9:47:58 热度:0 回复:0
    还能输入1000个字符
    • 微信
      复制链接
    写下你的想法,一起交流

    3 月 22 日,在 2022 GTC 大会上,NVIDIA 重磅推出“核弹级” Hopper 架构的新一代加速计算平台,其将取代两年前推出的 Ampere 架构(NVIDIA 迄今为止最成功的 GPU 架构)。同时,NVIDIA 发布了其首款基于 Hopper 架构的 GPU—NVIDIA H100。

     

     

    之前业内猜测5nm制程工艺,NVIDIA直接上了台积电4nm工艺。

     

    NVIDIA H100集成了800亿个晶体管,是全球范围内最大的加速器,拥有Transformer引擎和高度可扩展的NVLink互连技术(最多可连接达256个H100 GPU,相较于上一代采用HDR Quantum InfiniBand网络,带宽高出9倍,带宽速度为900GB/s)等功能,可推动庞大的AI语言模型、深度推荐系统、基因组学和复杂数字孪生的发展。

    NVIDIA H100具体参数有多爆炸?看下与前代A100和V100的对比吧:

     

     

    在模型训练上,H100 GPU在FP16、FP32和FP64计算方面比上一代A100快三倍,在8位浮点数学运算方面快六倍。“对于大型Transformer模型的训练,H100将提供高达9倍的性能,过去需要数周时间才能完成的训练可以减少到几天内,”NVIDIA产品管理高级总监Paresh Kharya在发布会上称。

     

     

    H100将支持聊天机器人使用功能强大的monolithic Transformer语言模型Megatron 530B,吞吐量比上一代产品高出30倍,同时满足实时对话式AI所需的次秒级延迟。利用H100,研究人员和开发者能够训练庞大的模型,如包含3950亿个参数的混合专家模型,训练速度加速达9倍,将训练时间从几周缩短到几天。

     

    H100可部署于各种数据中心,包括内部私有云、云、混合云和边缘数据中心,产品预计于今年晚些时候全面发售。