AWS EC2 GPU 实例简介及费用对比

Aug 27, 2024 • 5 min read

本文介绍了AWS EC2 GPU实例的性能与费用对比，帮助大家选择适合自己需求的实例类型。文中对比了全球区和中国区的实例价格，并推荐了几种性价比较高的实例类型。还简要介绍了各类GPU实例的特点和性能差异，为需要在AWS上运行大模型的场景提供一些参考。

一、实例性能与费用对比

想要在本地运行大模型（LLM），一定少不了GPU，这里介绍一下目前在AWS上全球区和中国区所有带英伟达的 GPU EC2实例 [1]。

我整理了一张表格，用与对比各个实例的性能参数与价格。对于性能主要考虑显卡的型号、显卡数量、总GPU内存大小。

对于实例价格，AWS 全球区域选取了俄亥俄州区域（us-east-2）作为参考 [2]，表格展示了每小时的按需费用，以及按照汇率7.2折算成人民币的价格。中国区选取了宁夏区域（cn-northwest-1）作为参考 [3]，有些实例类型宁夏区域未上线，费用使用/表示。

从GPU大小和费用来看，下面几个实例类型是比较推荐的：

g4dn.xlarge：配备1个NVIDIA T4显卡，共16GB GPU。是带有NVIDIA显卡最便宜的实例，适合运行小模型，如使用ollama init4量化的Qwen2-7B、Baichuan-13B。宁夏区域按需实例费用为3.711元/小时。
g4dn.12xlarge：配备4个NVIDIA T4显卡，共64GB GPU。适合需要更大GPU的模型，g4dn中间档的实例类型只是增加了CPU和内存，并没有增加GPU，g4dn类型如果需要更大的GPU向上只能选择12xlarge。宁夏区域按需实例27.596元/小时。
g5.xlarge：配备1个NVIDIA A10G显卡，共24GB GPU。这是我最常用的实例类型，适合需要大于16GB但小于24GB GPU的场景，例如Ollama运行Qwen1.5-32B init4版本，这个版本会消耗19GB GPU。宁夏区域按需实例费用为6.701元/小时。
g5.12xlarge：配备4个NVIDIA A10G显卡，共96GB GPU。适合运行更大模型，例如Qwen2-72B init4版本需要约43GB GPU。宁夏区域按需实例费用为40.206元/小时。
g6.xlarge：配备1个NVIDIA L4显卡，共24GB GPU。宁夏区域没有此实例类型，全球区目前上线的也较少，如果能启动此实例，相对g4dn.xlarge性价比更高。us-east-2按需实例费用折算成人民币为5.796元/小时。

实例一般选新不选旧：最新实例通常配备更先进的硬件和技术，提供更高性能和更低成本。例如，P5实例相较于上一代P4实例在性能和成本上有明显优势。

P5实例：使用NVIDIA H100 Tensor Core GPU，适用于深度学习和高性能计算（HPC）应用，具有Nitro架构，提供最高性能和40%的成本节约。
P4实例：使用NVIDIA A100 GPU，适合大模型训练和HPC，支持400 Gbps网络。
P3实例：使用NVIDIA V100 GPU，适用于机器学习和HPC，提供高达100 Gbps网络带宽，加快训练时间。
P2实例：使用NVIDIA K80 GPU，提供强大并行计算性能，适用于机器学习和科学计算应用。
G6实例：使用NVIDIA L4 GPU，适用于深度学习推理和图形密集型工作负载，比前代提升2倍性能。
G5g实例：使用AWS Graviton2处理器和NVIDIA T4G GPU，适合Android游戏流和经济高效的机器学习推理，提供最佳性价比。
G5实例：使用NVIDIA A10G GPU，提供图形密集型应用和机器学习推理的高性能，比前代提升3倍。
G4实例：使用NVIDIA T4或AMD Radeon Pro V520 GPU，提供成本效益高的GPU性能，适用于机器学习推理和图形密集型应用，具有Nitro架构。

NVIDIA L4：最新发布，基于Ada Lovelace架构，具有高AI和图形处理性能，适用于视频处理、AI计算和图形工作负载。其24GB GDDR6显存和较低功耗在性能和能效方面表现出色 [4]。

NVIDIA A10G：基于Ampere架构，专为机器学习推理和图形密集型应用设计。拥有24GB显存和高计算能力，适合需要高性能计算和快速数据传输的任务，但其功耗较高 [5]。

NVIDIA T4：基于Turing架构，主要用于AI推理和多样化的云工作负载。尽管发布较早，但其良好的能效比和优化设计使其在许多场景下仍具竞争力 [6]。

gpu-compare