2026年9月のベストなコンシューマー向けローカルAI構成：RTX 3090×2または4090×2でQwen 3.8 27Bを3.5 bpwで動かす

2026年9月は、ローカルAIにとって画期的な時期です。RTX 3090を2枚、あるいはRTX 4090を2枚搭載したコンシューマー向けワークステーションで、270億パラメータのモデルを256kトークンのコンテキストウィンドウ付きで完全にオフラインで実行できるようになりました。これを可能にしたのがQwen 3.8 27B GSQ-RCO GGUFの公開です。この量子化チェックポイントは重みあたり3.5ビットでありながら、元のベースモデルと同等の精度を実現します。本記事では、ハードウェアの選定、GSQとRCOの量子化技術、そして自宅で同じ結果を再現するためのllama.cppの具体的な設定を解説します。

2026年でもRTX 3090×2が最良の選択である理由

RTX 3090とRTX 4090はいずれも24GBのVRAMを搭載しており、ローカル推論を制限するのは生の演算性能ではなくこの容量です。2枚構成なら合計48GBのメモリを利用でき、27Bモデルと非常に大きなキー・バリューキャッシュを載せるのに最適なバランスとなります。4090はトークン生成が約2倍速く、プロンプト処理も明らかに高速ですが、1ギガバイトあたりのコストははるかに高くなります。多くの愛好家にとって、中古の3090を2枚揃えるのが価格・メモリ・信頼性のバランスに最も優れています。予算が許せば4090と3090の組み合わせも動作しますが、テンソル並列処理では低速なカードが全体の速度を決めます。どちらの組み合わせを選ぶにしても、電源ユニットが850ワット以上を供給できること、そしてマザーボードに十分なエアフローを確保したPCIe x16スロットが2つあることを確認してください。

GSQとRCO：3.5ビットでベースモデルに並ぶ仕組み

Qwen 3.8 27B GSQ-RCO GGUFはDistributed Algorithms and Systems Labによる成果で、2つの相補的な手法を組み合わせています。Gumbel-Softmax Quantization（GSQ）は学習後スカラー量子化手法であり、座標ごとのグリッド割り当てとグループごとのスケールをGumbel-Softmax緩和によって同時に学習します。すべての重みを同じグリッドに丸めるのではなく、GSQは座標ごとに最適な割り当てを探索するため、2～3ビットにおいてスカラー量子化とベクトル量子化の差の大部分を埋めつつ、GGUFのような標準的なスカラー形式で配布できます。次にRiemannian Constrained Optimization（RCO）が、全体のサイズ予算の下でN個のテンソルそれぞれにK種類の量子化タイプのいずれかを割り当てます。予算制約はロジット空間における滑らかなリーマン多様体として再定式化され、制約固有のハイパーパラメータ調整を必要とせずに、タスク損失上で直接勾配ベースの最適化を行いながら予算を厳密に守ることができます。

その実用的な効果は公開されているタスク平均対平均ビット幅のグラフにはっきりと表れています。3.5 bpwのGSQ-RCO版は未量子化のベースモデルに近い性能を維持し、同じサイズの3ビットUnsloth動的量子化を明確に上回ります。パープレキシティは低く抑えられ、推論・コーディング・多言語のベンチマークも安定しています。

KVキャッシュ、Q8精度、そして完全な256kコンテキスト

256kのコンテキストウィンドウは大量のメモリを消費しますが、重みが小さければ48GBで十分です。3.5 bpwではモデルはおよそ12～14GBを占め、30GB以上をアクティベーションとKVキャッシュに充てられます。キャッシュをQ8に量子化すると、FP16と比べてサイズを半分に抑えつつ、長いコンテキストでの推論の一貫性を保てます。262,144トークンすべてを使うには、テンソル並列処理でモデルを2枚のGPUに分割し、キャッシュを含むすべてのレイヤーをGPUにオフロードする必要があります。VRAMが不足する場合はキャッシュをQ4_0に落とすこともできますが、100kトークンを超えると一貫性が目に見えて低下します。

llama.cppでローカルにホストする

GSQ-RCOのチェックポイントは通常のGGUFファイルなので、独自のフォークは不要です。最新のllama.cppビルドを入手し、下記のリンクから量子化モデルをダウンロードして、テンソル分割・GPUへの完全オフロード・Q8キャッシュを指定してサーバーを起動します。コンテキスト長は262144に設定し、flash attentionを有効にしてください。ビルドがマルチトークン予測に対応していれば有効にしましょう。2枚のGPU構成では生成スループットが大幅に向上する可能性があります。初回ロード時はVRAMを監視し、割り当てに失敗する場合はキャッシュが量子化されているか、他のプロセスがメモリを占有していないかを確認してください。

実践的なチューニングのポイント

最高の忠実度を求めるなら、Unsloth UD Q4ビルドも有力な選択肢ですが、そのパープレキシティはGSQ-RCO 3.5 bpw版より高くなります。したがって、最小のメモリコストで最大のコンテキストを得たい場合にはGSQ-RCO版が既定の選択となります。ドライバーを最新に保ち、プロセスをパフォーマンスモードに設定し、温度を監視してください。3090を2枚連続負荷で動かすとかなりの発熱があります。丁寧に調整すれば、この構成はデスクサイドのマシンでデータセンター並みの推論品質を実現します。