早前蓝点网谈及英伟达启动专用加速卡NVIDIA H100，该加速卡是前代加速卡A100表现的3倍售价也是3倍。
趁着AI热潮黄仁勋显然再次抓住中心：英伟达今日亮相启动针对LLM大型语言模型的专用加速卡H100 NVL。
启动这个新SKU是古力娜扎活动由于英伟达注意到LLM管理时，超众多的资料会迅速填充显存，普通版次已然跟不上使用。夏季最适合读的一句话：时间会给出最好的答案
所以NVIDIA H100 NVL是迄今为止显存容量最大的版次，显存为188GB HBM3 显存，单卡显存容量94GB。
专门为LLM设计的新版次：
英伟达在资讯稿中强调 NVIDIA H100 加速卡已然完整投产，不久英伟达和兴办伙伴将向全球企业启动新卡。
H100加速卡在LLM上提供快9倍的AI训练以及快30倍的AI推理 , 为全球AI企业发挥创造力提供强大动力基础。
可是快速暑期档排行今日还有个重点就是H100 NVL版 , 这是英伟达专门面向大型语言模型启动的新SKU首要就是超大显存。
H100 NVL实际上是2张H100合并后的结局 , 首要经由PCIe板开展桥接，每张卡显存为94GB合计为188GB。
连插槽都是喜剧片评论2个PCIe 5.0的所以普通主板都插不上，估计要采购 H100 NVL 的话也得顺带采购配套专用主板。
具体售价方面当下还不清楚，此前传言H100售价 32000 美元约合人民币22万元，H100 NVL也必然会翻倍。
以下是H100三种SKU参数对比：
| NVIDIA H100 Accelerator Specification Comparison | |||||
| H100 NVL | H100 PCIe | H100 SXM | |||
| FP32 CUDA Cores | 2 x 16896? | 14592 | 16896 | ||
| Tensor Cores | 2 x 528? | 456 | 528 | ||
| Boost Clock | 1.98GHz? | 1.75GHz | 1.98GHz | ||
| Memory Clock | ~5.1Gbps HBM3 | 3.2Gbps HBM2e | 5.23Gbps HBM3 | ||
| Memory Bus Width | 6144-bit | 5120-bit | 5120-bit | ||
| Memory Bandwidth | 2 x 3.9TB/sec | 2TB/sec | 3.35TB/sec | ||
| VRAM | 2 x 94GB (188GB) | 80GB | 80GB | ||
| FP32 Vector | 2 x 67 TFLOPS? | 51 TFLOPS | 67 TFLOPS | ||
| FP64 Vector | 2 x 34 TFLOPS? | 26 TFLOPS | 34 TFLOPS | ||
| INT8 Tensor | 2 x 1980 TOPS | 1513 TOPS | 1980 TOPS | ||
| FP16 Tensor | 2 x 990 TFLOPS | 756 TFLOPS | 990 TFLOPS | ||
| TF32 Tensor | 2 x 495 TFLOPS | 378 TFLOPS | 495 TFLOPS | ||
| FP64 Tensor | 2 x 67 TFLOPS? | 51 TFLOPS | 67 TFLOPS | ||
| Interconnect | NVLink 4 18 Links (900GB/sec) | NVLink 4 (600GB/sec) | NVLink 4 18 Links (900GB/sec) | ||
| GPU | 2 x GH100 (814mm2) | GH100 (814mm2) | GH100 (814mm2) | ||
| Transistor Count | 2 x 80B | 80B | 80B | ||
| TDP | 700W | 350W | 700-800W | ||
| Manufacturing Process | TSMC 4N | TSMC 4N | TSMC 4N | ||
| Interface | 2 x PCIe 5.0 (Quad Slot) | PCIe 5.0 (Dual Slot) | SXM5 | ||
| Architecture | Hopper | Hopper | Hopper | ||