Qwen3.8-Flash-Next と DeepSeek-V4.1-Flash-1017:Unsloth Dynamic V3.1 GGUF 対 GSQ-RCO 量子化
Qwen3.8-Flash-Next と DeepSeek-V4.1-Flash-1017:Unsloth Dynamic V3.1 GGUF と GSQ-RCO 量子化の対決
ローカル推論の世界は、いまや本格的な量子化競争の様相を呈しています。Unsloth は、最先端の Mixture-of-Experts 系である Qwen3.8-Flash-Next と DeepSeek-V4.1-Flash-1017 向けに Dynamic V3.1 GGUF ビルドを公開し、ISTA-DASLab が発表した GSQ-RCO 量子化に真っ向から対抗しています。その主張は大胆です。同等のファイルサイズで他の最先端量子化より約 15 パーセント高い精度を実現し、Terminal Bench と DeepSWE で最高スコアを記録するというものです。本記事では、量子化器の内部で何が変わったのか、数値がどのように測定されたのか、そしてこれらのモデルを 1 台のワークステーションで動かす方法を説明します。
Dynamic V3.1 が均一な量子化を上回る理由
従来の学習後量子化は、ネットワーク内のすべてのテンソルに同一のレシピを適用します。高速で予測しやすい手法ですが、ルーターのゲートを冗長なエキスパートとまったく同じように扱ってしまい、まさにそこから精度が失われます。Unsloth Dynamic V3.1 は代わりに、高品質で多様な imatrix キャリブレーションデータ、インテリジェントな多層選択、そして Mixture-of-Experts やハイブリッド構造のために設計された層ごとのカスタム量子化スキーマを採用しています。重要な層にはより多くのビットを割り当て、重複するエキスパートはより強く圧縮します。その結果、KL ダイバージェンスのプロファイルが改善され、極端な低ビット設定でも機能的な忠実度が保たれます。
その主張が具体的になるのはベンチマークの分布です。Terminal Bench 2.1、DeepSWE v1.1、Aider Polyglot、LiveCodeBench v6、GPQA Diamond において、Dynamic V3.1 は同サイズクラスの最上位に位置します。評価は約 260 億から 300 億トークンに及び、チームは AIME25 の回復率に関する競合の主張にも異議を唱えています。マルチターンのツール呼び出し、シェル実行、パッチ生成といったエージェントループでは、推論経路のわずかなずれが致命的になるため、差はさらに広がります。
DeepSeek-V4.1-Flash-1017 の実践
DeepSeek-V4.1-Flash-1017 では、Dynamic V3.1 のファイルがルーティングされるエキスパートの精度を保ちつつ、パラメータ数の大半を占める巨大な n-gram 埋め込みバンクを縮小しています。このバランスが重要です。埋め込みテーブルは常に読み出されますが粗い精度に耐える一方、特定のトークンで発火するエキスパートは可能な限りのビットを必要とします。並べて比較すると、Dynamic ビルドは長いコンテキストでの検索や多段階のツール利用で精度を維持するのに対し、GSQ-RCO 版はコンテキストが長くなりエージェントが複数の呼び出しを連鎖させる段階で失速し始めます。


Qwen3.8-Flash-Next とコーディングタスク
1,250 億パラメータの MoE である Qwen3.8-Flash-Next が、もう 1 つの注目リリースです。コード指向の GSQ-RCO ビルドと比較すると、Unsloth Dynamic 3.1 版はコーディングタスクで優れているように見えます。壊れたパッチが少なく、リポジトリの慣習により確実に従い、テスト失敗後の復帰も速やかです。単一のプロンプトでは差は大きくありませんが、長いエージェントセッションを通じて積み重なります。これはまさに、これらのモデルが投入される想定シナリオです。

VRAM・RAM・SSD で MoE モデルを動かす
1,250 億パラメータのモデルをローカルで動かすには、かつてデータセンター級のハードウェアが必要でした。現代の推論エンジンは、階層型メモリ戦略によってそれを変えます。アクティブなルーティング済みエキスパート、アテンションの重み、KV キャッシュはレイテンシが最も低い VRAM に固定されます。エングラム切り替えと SSD ベースのメモリマッピングが、巨大な n-gram 埋め込みバンクを含む残りのパラメータプールを担います。エングラムの精度切り替えは BF16、Q8_0、Q5_1、IQ4_NL といった形式に対応し、マルチトークン予測ヘッドが投機的デコーディングを追加します。これらの手法を組み合わせることで、32 GB から 128 GB の RAM またはユニファイドメモリを搭載したワークステーションでも、精度を大きく損なわずに大規模なローカルエージェントを実行できます。
Dynamic V3.1 と GSQ-RCO の概要比較
| 項目 | Unsloth Dynamic V3.1 | GSQ-RCO |
|---|---|---|
| 最先端量子化に対する精度 | +10〜15% | 基準 |
| Terminal Bench 2.1 / DeepSWE v1.1 | 同クラス最上位 | より低い |
| キャリブレーションデータ | 多様な imatrix、多層選択 | 均一なレシピ |
| MoE とハイブリッドの扱い | 層ごとのスキーマ | 汎用的 |
| KL ダイバージェンス | より低い | より高い |
| 低ビット時の挙動 | 忠実度を維持 | 顕著なずれ |
| メモリ階層 | VRAM + RAM + SSD | VRAM + RAM |
適切なファイルの選び方
ベンチマーク表ではなく、利用可能なメモリから選び始めてください。ユニファイドメモリが 32 GB なら中ビットの Dynamic V3.1 ファイルを選び、KV キャッシュを小さく保ちます。128 GB あれば、より高ビットのバリアントと SSD オフロードを組み合わせることで、ほぼ損失のない挙動が得られます。どれを選ぶにせよ、自分のタスクスイートで検証してください。Terminal Bench 風のエージェントループと短い Aider 実行があれば、その量子化が自分のワークロードに適しているかどうかはたいてい判明します。
一緒に取り組みましょう
さらに詳しい情報やプロジェクトのヘルプ、またはアイデアの構築が必要ですか?
簡単な質問でもフルプロジェクトでも、お気軽にどうぞ。お問い合わせいただき、あなたのアイデアを一緒に実現しましょう。
お問い合わせ →