GGUF、EXL2、GPTQ、AWQ：LLMサービングの包括的な比較

GGUF、EXL2、GPTQ、AWQの量子化形式の主な違いと、それらがllama.cppやvLLMでどのように家庭用およびエンタープライズユーザー向けに使用されるかを学びます。

はじめに

現代の大規模言語モデル（LLM）は非常にメモリを消費します。70億パラメータのモデルを完全精度（FP16）で実行するには約140GBのVRAMが必要であり、これは最も強力なコンシューマーGPUでも対応できません。量子化は、重みの精度を16ビットから4ビット以下に削減し、メモリ要件を大幅に削減します。しかし、すべての量子化形式が同じように作られているわけではありません。GGUF、EXL2、GPTQ、AWQの選択は、ハードウェア、サービングエンジン、および優先事項（移植性、速度、またはマルチユーザースループット）に依存します。

量子化形式の概要

GGUF（GPT-Generated Unified Format）は、llama.cppのネイティブ形式であり、最も汎用性が高いです。CPU、Apple Silicon、CPU/GPU混在環境で動作し、幅広い量子化レベル（2ビットから8ビット）をサポートします。ローカル、シングルユーザー、エッジデプロイメントの標準です。GPTQ（Generalized Post-Training Quantization）は長年にわたりGPUの標準でした。NVIDIA GPU向けに最適化されており、圧縮と推論速度のバランスが良好ですが、AWQなどの新しい形式に徐々に置き換えられています。AWQ（Activation-aware Weight Quantization）は、現在のGPUプロダクションの業界標準です。アクティベーションパターンに基づいて重要な重みを保護し、同じビット幅で精度を向上させます。最新のNVIDIA GPUカーネル（Marlin）に高度に最適化されており、高スループットサービングに最適です。EXL2はExLlamaV2エンジンの形式です。ビット幅（例：3.5、4.25、5.0ビット/ウェイト）を最も細かく制御でき、限られたVRAMにモデルを正確に適合させることができます。NVIDIAコンシューマーGPUでのシングルユーザー生成において、多くの場合最速の形式です。

形式の比較表

llama.cppでの使用

llama.cppはGGUF形式を中心に構築されています。専用のハイエンドNVIDIA GPUを持たないユーザー、CPUやApple Siliconでモデルを実行する必要があるユーザー、または簡単にセットアップできるオールインワンソリューションを必要とするユーザーにとって、主要なエンジンです。llama.cppを使用すると、モデルの一部をGPUにオフロードし、残りをシステムRAMに保持できます（CPU+GPUオフローディング）。これにより、VRAMが限られたデバイスでも大規模モデルを実行できます。OllamaやLM Studioなどのツールは内部でllama.cppを使用しており、GGUFは初心者にとって最も簡単な選択肢です。ローカルチャットアプリケーション、ラップトップでのテキスト生成、エッジデバイスには、GGUFが圧倒的な王者です。

vLLMでの使用

vLLMは高スループットのプロダクション環境向けに設計されています。PagedAttentionと継続的バッチ処理を実装し、多くのユーザーを同時に処理します。vLLMはネイティブでAWQとGPTQをサポートしています。これらは、vLLMをプロダクションにデプロイする際に使用すべき形式です。AWQは、優れた精度と速度（特にMarlinカーネル）が好まれます。GPTQは引き続きサポートされていますが、新しいプロジェクトではAWQが推奨されます。GGUFはvLLMでは実験的にのみサポートされており、プロダクションには適していません（多くの場合遅く、最適化が不十分です）。EXL2はvLLMではサポートされていません。シングルユーザーの低レイテンシ向けに最適化されたExLlamaV2エンジン専用です。

適切な形式の選択

家庭ユーザーまたはローカル開発の場合：llama.cpp（またはOllamaなどのツール）とともにGGUFを使用してください。最も互換性が高く、ほぼすべてのハードウェアで動作し、管理が簡単です。エンタープライズまたは高スループットサービングの場合：NVIDIA GPU上でvLLMとともにAWQを使用してください。複数の同時ユーザーを処理するための速度、精度、スケーラビリティの最良のバランスを提供します。パワーユーザー（シングルユーザー速度）の場合：NVIDIA GPUを持っていて、シングルユーザー向けの絶対的に最速の生成速度を望むなら、ExLlamaV2エンジンとともにEXL2を使用してください。モデルを量子化する前に、サービングエンジンが選択した形式をサポートしていることを必ず確認してください。

結論

量子化形式の選択は、ユースケースに基づく戦略的な決定です。GGUFはローカル領域を支配し、AWQはプロダクションでリードし、EXL2は高速ニッチを支配し、GPTQは堅実ながら古い選択肢として残ります。これらの違いを理解することで、家庭用とエンタープライズ用の両方のニーズに合わせてLLMサービングを最適化できます。