GGUF、EXL2、GPTQ 和 AWQ：LLM 服务的全面比较

了解 GGUF、EXL2、GPTQ 和 AWQ 量化格式之间的主要区别，以及它们如何用于 llama.cpp 和 vLLM 中，服务于家庭和企业用户。

引言

现代大型语言模型（LLM）非常消耗内存。一个 700 亿参数的模型在全精度（FP16）下需要约 140 GB 的 VRAM，远超最强大的消费级 GPU。量化将权重的精度从 16 位降低到 4 位或更低，大幅削减了内存需求。但并非所有量化格式都相同。在 GGUF、EXL2、GPTQ 和 AWQ 之间的选择取决于您的硬件、服务引擎以及您的优先事项：可移植性、速度还是多用户吞吐量。

量化格式概述

GGUF（GPT-Generated Unified Format）是 llama.cpp 的原生格式，也是最多功能的。它可以在 CPU、Apple Silicon、混合 CPU/GPU 设置上运行，并支持广泛的量化级别（2 到 8 位）。它是本地、单用户和边缘部署的标准。GPTQ（Generalized Post-Training Quantization）曾是长期的 GPU 标准。它针对 NVIDIA GPU 进行了优化，在压缩和推理速度之间提供了良好的平衡，但正逐渐被 AWQ 等新格式取代。AWQ（Activation-aware Weight Quantization）是当前 GPU 生产的行业标准。它根据激活模式保护重要权重，从而在相同位宽下提高精度。它针对现代 NVIDIA GPU 内核（Marlin）进行了高度优化，非常适合高吞吐量服务。EXL2 是 ExLlamaV2 引擎的格式。它提供最精细的位宽控制（例如每个权重 3.5、4.25、5.0 位），并允许您将模型精确地放入有限的 VRAM 中。它通常是 NVIDIA 消费级 GPU 上单用户生成最快的格式。

格式比较表

在 llama.cpp 中的使用

llama.cpp 围绕 GGUF 格式构建。它是没有专用高端 NVIDIA GPU、需要在 CPU 或 Apple Silicon 上运行模型或需要易于设置的一体化解决方案的用户的主要引擎。使用 llama.cpp，您可以将模型的一部分卸载到 GPU，同时将其余部分保留在系统 RAM 中（CPU+GPU 卸载）。这使得即使在 VRAM 有限的设备上也能运行大型模型。像 Ollama 和 LM Studio 这样的工具在后台使用 llama.cpp，使 GGUF 成为初学者最简单的选择。对于本地聊天应用程序、笔记本电脑上的文本生成或边缘设备，GGUF 是无可争议的冠军。

在 vLLM 中的使用

vLLM 专为高吞吐量生产环境而设计。它实现了 PagedAttention 和连续批处理，以同时服务许多用户。vLLM 原生支持 AWQ 和 GPTQ。这些是在生产环境中部署 vLLM 时应使用的格式。AWQ 因其卓越的精度和速度（尤其是使用 Marlin 内核）而受到青睐。GPTQ 仍受支持，但对于新项目，建议使用 AWQ。GGUF 在 vLLM 中仅得到实验性支持，不适合生产环境（通常速度较慢且优化不足）。EXL2 不受 vLLM 支持；它专用于 ExLlamaV2 引擎，该引擎针对单用户低延迟进行了优化。

选择正确的格式

对于家庭用户或本地开发：使用 GGUF 配合 llama.cpp（或 Ollama 等工具）。它兼容性最强，几乎可以在任何硬件上运行，并且易于管理。对于企业或高吞吐量服务：在 NVIDIA GPU 上使用 AWQ 配合 vLLM。它为服务多个并发用户提供了速度、精度和可扩展性的最佳平衡。对于高级用户（单用户速度）：如果您拥有 NVIDIA GPU 并希望获得单用户绝对最快的生成速度，请使用 EXL2 配合 ExLlamaV2 引擎。在量化模型之前，请务必检查您的服务引擎是否支持所选的格式。

结论

量化格式的选择是基于用例的战略决策。GGUF 主导本地领域，AWQ 在生成中领先，EXL2 统治高速细分市场，而 GPTQ 仍然是一个可靠但较旧的选择。通过理解这些差异，您可以针对家庭和企业需求优化您的 LLM 服务。