智见焦点｜英伟达携H200再次席卷AI界 一文看懂AI“军火商”的大动作_英伟达hgx a100

出品｜网易科技《智见焦点》栏目

作者｜赵芙瑶

“AI军火商”又有大动作了！在算力紧缺、H100被疯抢、热炒之时，北京时间11月13日晚间，英伟达带着NVIDIA H200 Tensor Core GPU（图形处理器）再次燃爆AI界！

英伟达此次最新推出的 H200 GPU，是其前代产品 H100的升级版。这款GPU基于强大的 NVIDIA Hopper 超级芯片架构，专为处理超大规模的大型模型训练和推理而设计，非常适合生成式人工智能和高性能计算（HPC）任务。

此次H200的性能都有哪些飞跃？无论是部署在本地、云环境、混合云还是边缘计算环境中，H200都能轻松应对吗？答案是确定的。

性能、内存实现飞跃 成倍提升LLM推理能力

性能提升：H200在执行Llama2 70B推理任务时比H100快了1.9倍，在执行GPT-3 175B推理任务时快了1.6倍。对于高性能计算（HPC）任务，H200显示出比传统的双x86 CPU快110倍的性能。更令人震撼的是，与传统的中央处理器（CPU）相比，H200在高性能计算方面的速度提升了惊人的110倍。

内存优势：H200是第一个提供141GB HBM3e内存的GPU，内存带宽高达每秒4.8TB，这几乎是H100的两倍。这种大幅增加的内存和带宽对于需要处理大量数据的应用，如大规模模型的训练和推理，以及科学计算非常重要。

在AI大模型时代，企业依赖LLM（大语言模型）来处理多样化的推理需求。一个AI推理加速器必须提供最高的吞吐量，以便在为庞大用户基础规模部署时具有最低的总体拥有成本(TCO)。数据显示，H200在处理像Llama2这样的LLM时，与H100 GPU相比，推理速度提高了2倍。

具体而言，Llama2 13B模型在H100 GPU上的性能是1倍，在H200上是1.4倍；GPT-3 175B模型在H100和H200上性能都是1倍；Llama2 70B模型在H100上的性能是1倍，在H200上是1.9倍。

HPC性能：在HPC（高性能计算）应用中，H200与H100和A100相比表现出高达2倍的性能提升。这表明H200在需要大量内存和高带宽的应用中尤其有优势，如物理模拟、气候研究或复杂的数据分析。

能源和总拥有成本（TCO）：H200显著降低了LLM推理工作负载的能源使用和TCO，据英伟达称，能够减少50%。在保持与H100相同功耗配置的情况下，H200提供了更好的性能，这表明其在能源效率上有所改进，对于需要在数据中心规模部署的企业而言，这是一个重要的经济考量因素，也就是说，企业“买的越多，省的越多”。

代际变革：NVIDIA GPU在GPT-3 175B推理性能上也呈现不断增长地趋势。从A100到预计在2024年发布的B100，性能的增长实现了从1倍到预计的18倍。相比于A100，H200的性能提高了11倍。也就是说，NVIDIA的Hopper架构实现了在其前代产品基础上的显著性能跃升，并且通过不断的软件增强和开源库的发布（如TensorRT-LMLM）持续推动性能的提升，为大语言模型的推理能力提供能量。

GPU赋能企业AI软件:NVIDIA此次强调了H200 GPU与其AI企业软件的结合，希望简化企业创建AI平台的过程，加快生成式AI的开发和部署。无论是3D模型、图表还是图像，H200在多个AI应用领域中都具有应用潜力，包括计算机视觉、语音AI等。

GH200加持AI超级计算机：可用于气候、医药和量子研究等

值得一提的是，GH200的发布还将为AI超算中心提供算力支持。新一代超级计算机JUPITER将由NVIDIA Grace Hopper™加速计算架构提供动力，为AI和模拟工作负载提供极端规模的计算能力。

JUPITER设在德国Jülich研究中心，由EuroHPC联合企业拥有，由Eviden和ParTec承包。JUPITER是与NVIDIA、ParTec、Eviden和SiPearl合作建造的，旨在加速气候和天气研究、材料科学、药物发现、工业工程和量子计算等领域基础AI模型的创建。

JUPITER标志着四节点NVIDIA GH200 Grace Hopper Superchip配置的首次亮相，基于Eviden的BullSequana XH3000液冷架构，并配备一个由近24,000个NVIDIA GH200 Superchip组成的增强模块，这些Superchip通过NVIDIA Quantum-2 InfiniBand网络平台相互连接。

JUPITER能够为AI训练提供超过90 exaflops的性能，比Jülich之前的JUWELS Booster系统多出45倍。其还能提供1 exaflop的高性能计算（HPC）应用性能，同时仅消耗18.2兆瓦的电力。

四节点GH200具有创新的节点架构，配备288个Arm Neoverse核心，能够使用高达2.3太字节的高速内存实现16 petaflops的AI性能。四个GH200处理器通过高速NVIDIA NVLink®连接网络。

结语

前一阵子GPTs以及GPT turbo的更新令人振奋，尤其是图片解析功能更是让诸多创业公司叫苦不迭，此次英伟达携GH200震撼登场，配备了7个NVDEC（硬件解码器）和7个JPEG解码器来用于处理视频和图像数据，这无疑意味着其视频分析和图像处理应用将爆炸式提升。相信全球都将无比期待明年公布的英伟达B100 AI 芯片以及GH200的上市了。