統合アーキテクチャの対決：AMD Strix Halo vs Apple M3/M4/M5 Max - LLM推論性能比較

はじめに

大規模言語モデル（LLM）をローカルで実行する際、最も重要な性能要因はメモリ帯域幅と生の計算能力です。メモリ帯域幅はトークン生成（デコード）速度を決定し、計算能力（TFLOPS）は初期プロンプト処理（プリフィル）の速度を決定します。AMDとAppleはどちらも統一メモリアーキテクチャを採用しており、CPU、GPU、Neural Engineが単一の高帯域幅メモリプールを共有するため、VRAMとシステムRAM間でデータをコピーする必要がありません。このアーキテクチャは、大規模モデルをメモリに完全にロードできるため、RTX 4090（24GB VRAM）などの従来のディスクリートGPUでは収まらない巨大モデルの実行を可能にします。本稿では、最大128GBのLPDDR5X-8000メモリを搭載した最新のAMD Strix Halo（Ryzen AI Max 300シリーズ）と、AppleのM3 Pro/Max、M4 Pro/Max、そして新たに強化されたM5 Pro/Maxシリーズを比較し、メモリ帯域幅がプロンプト処理とデコード速度にどのように影響するかに焦点を当てます。

アーキテクチャの違い

AMD Strix Haloは、x86エコシステム向けの高性能統合グラフィックスへの大きな進出を表しています。最大128GBのLPDDR5Xメモリ（8000 MT/s）を備えた統合メモリアーキテクチャを採用し、約256 GB/sのメモリ帯域幅を提供します。統合RDNA 3.5 GPUは最大40 Compute Unitsまで拡張可能で、計算負荷の高いワークロードに対して実質的なTFLOPSを提供します。対照的に、AppleのMシリーズチップは、システムインパッケージ設計でカスタム統合メモリを使用しています。M3 Maxは約400 GB/s、M4 Maxは構成に応じて410～546 GB/s、最新のM5 Maxは業界をリードする614 GB/sに達します。Appleは各GPUクラスタに統合された専用Neural Engineコアも含んでおり、M4世代と比較してAI性能が最大4倍向上したと主張しています。これらのアーキテクチャの選択により、LLM推論の異なるフェーズで明確な強みが生まれます。

メモリ帯域幅の比較

プロンプト処理（プリフィル）速度

プロンプト処理は、モデルが入力シーケンス全体を読み取り、初期のキーバリューキャッシュと隠れ状態を計算するフェーズです。この操作は、モデルがすべての入力トークンに対して同時に多数の行列乗算を実行する必要があるため、非常に計算負荷が高くなります。AMD Strix Haloは、RDNA 3.5 GPUにより、多くのディスクリートGPUに匹敵する高いTFLOPSを提供できます。ベンチマークでは、Strix Haloは数千トークンのプロンプトを1秒未満で処理でき、長いプロンプトが一般的な文書分析や検索拡張生成などのアプリケーションで強力な競争力を持ちます。AppleのM5 MaxはNeural EngineとGPU計算能力を向上させていますが、Strix Haloの生のTFLOPSは純粋なプリフィル速度でわずかに優位です。ただし、Appleの統合メモリを効率的に活用するMLXなどの最適化された推論フレームワークを使用すると、その差は縮まります。

デコード（トークン生成）速度

デコードは、新しいトークンを1つずつ自己回帰的に生成するプロセスです。各ステップでは、モデルの重み全体をメモリから計算ユニットにフェッチする必要があります。このプロセスはほぼ完全にメモリ帯域幅に制限されます。トークン生成速度（1秒あたりのトークン数）は、メモリ帯域幅をモデルサイズ（バイト単位）で割った値に直接比例します。例えば、4ビット量子化された700億パラメータモデルは約35GBのメモリを使用します。AMDの256 GB/sの帯域幅では、理論上の最大デコード速度は約7.3トークン/秒です。対照的に、AppleのM5 Maxは614 GB/sで、同じ条件下で約17.5トークン/秒を達成できます。実際の測定でもこの差は確認されており、M5 MaxはLlama 3.1 70B Q4などのモデルでStrix Haloの2～3倍のトークン/秒を一貫して提供します。これにより、M5 Maxは、トークンあたりの低レイテンシが重要なチャットアプリケーションやテキスト生成において明確な勝者となります。

容量と実用的な考慮事項

両プラットフォームとも最大128GBの統合メモリを構成でき、コンシューマ向けディスクリートGPUには収まらない非常に大規模なモデルを実行できます。例えば、8ビット精度の1200億パラメータモデルや4ビットの70Bモデルは、どちらのシステムでも快適に動作します。AMD Strix Haloはx86アーキテクチャで動作する利点があり、Linux互換性が必要なユーザーやApple Silicon向けに最適化されていないソフトウェアを使用したいユーザーに適しています。一方、AppleのエコシステムはMLXフレームワークとmacOSとの緊密な統合を提供し、推論をさらに高速化できます。M5 Maxの巨大な帯域幅は、Stable Diffusionによる画像生成やビデオ処理など、帯域幅に敏感な他のタスクにも利益をもたらします。

結論

ローカルLLM推論のための統合アーキテクチャの戦いでは、単一の勝者はいません。AMD Strix Haloはプロンプト処理に優れた計算能力とよりオープンなプラットフォームを提供し、AppleのM5 Maxは優れたメモリ帯域幅によりデコード速度で支配的です。選択はユーザーの主要なワークロードに依存します：長いドキュメントを処理したり、計算負荷の高いAIパイプラインを実行する場合はStrix Haloが魅力的な選択肢であり、長いテキストシーケンスを生成したり対話的にチャットする場合はM5 Maxが著しくスムーズな体験を提供します。両システムは、ディスクリートGPUのVRAMの制限なしに大規模モデルのパワーをパーソナルコンピュータにもたらす、高性能統合メモリコンピューティングの新時代を象徴しています。