DeepSeek-V4.1-Flash-1017 Coder:コンシューマー向けワークステーションで動く圧縮コーディングモデル
前回の記事では、VRAM、システムメモリ、NVMeストレージを組み合わせて DeepSeek-V4.1-Flash をコンシューマー向けワークステーションで起動する方法を紹介しました。今回は、ソフトウェア開発に的を絞った第2の選択肢として、ISTA-DASLab が公開した DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF を取り上げます。このリリースは同じベースモデルから疎なエキスパートの大部分を取り除いたもので、重みファイルが十分に小さくなった結果、コーディングアシスタント一式をグラフィックスメモリとシステムメモリだけに収められ、NVMe への退避をまったく必要としません。
coder 版で変わった点
新しいビルドは単純な再量子化ではありません。能力を狙い撃ちしたリリースであり、圧縮パイプラインはコーディングとエージェントのワークロードを中心に設計されています。そのため、プログラミングに最も重要なネットワーク部分は高い精度で保持され、それ以外は積極的に削減されます。結果として、汎用モデルではなく専門モデルとして振る舞い、多くの開発者がすでに持っているハードウェアに収まるモデルになっています。
GSQ と RCO:圧縮の2本の柱
1本目の柱は Gumbel-Softmax 量子化(GSQ)です。重みを固定グリッドに丸める代わりに、GSQ は座標ごとのグリッド割り当てとグループごとのスケールを同時に学習し、低ビットのスカラー量子化の精度を大幅に高めます。2本目の柱は Riemannian Constrained Optimization(RCO)で、各テンソルのビット予算を同時最適化における厳格な制約として扱います。実際には RCO が利用可能なビットの配分先を決め、敏感な層には多くの精度を、強い圧縮に耐える層には少ない精度を割り当てます。この2つの手法により、通常なら品質が崩壊するようなビットレートでもモデルの一貫性が保たれます。
エキスパートの枝刈り:384 から 192 のルーティング済みエキスパートへ
最も目に見える変化は構造的なものです。疎な mixture-of-experts のルーティング層の半分が完全に削除されます。各層の元の 384 個のルーティング済みエキスパートのうち、コーディングタスクへの関連性に基づいて選ばれたちょうど 192 個が残ります。残存する重みは IQ2_XXS ビルドのテンソルごとの精度を維持します。エキスパートを量子化するのではなく丸ごと取り除くため、ビット幅の削減だけでは得られない大きな節約になります。
メモリ使用量
Transformer の重みは現在 72.1 GB で、枝刈り前の IQ2_XXS ビルドの 138.2 GB と比べて半分近くになっています。元のモデルの Transformer パラメータ数と比較すると、パラメータあたり実効約 1 ビットに相当しますが、密なテンソルは高い精度で保持されるため、残存パラメータの平均は 2.06 ビットになります。モデルは枝刈り前のリリースと同じ 110.6 GB の共有 Engram ルックアップテーブルを引き続き使用します。このテーブルはトークンごとに1行を読み出すだけで、ディスク上またはシステムメモリ上に置けるため、VRAM に常駐させる必要はありません。

ハードウェア構成
実用上の意味は明快です。十分なシステムメモリを積んだデュアル GPU ワークステーションなら、NVMe ドライブに手を触れることなく全体をホストできます。RTX 3090 を2枚、あるいは AMD R9700 を2枚用意し、192 GB の RAM と組み合わせれば、Transformer の重みと Engram テーブルの両方を高速メモリに保持できます。コストを抑えたい場合は、Engram テーブルの一部を NVMe ドライブに退避させることもできます。その場合でも、ベースモデルの元の 2.2 bpw 量子化と比べて総使用量は 50 GB 未満に収まります。
| 構成 | GPU メモリ | システムメモリ | NVMe 使用量 |
|---|---|---|---|
| RTX 3090 2枚 | 48 GB | 192 GB | なし |
| AMD R9700 2枚 | 64 GB | 192 GB | なし |
| GPU 1枚+退避 | 24 GB | 128 GB | Engram の行をディスクに配置 |
ベンチマーク結果
一般に積極的な枝刈りは精度を犠牲にしますが、公開された評価ではコーディング能力の大部分が維持されることが示されています。LiveCodeBench v6 では coder ビルドが 88.57 を記録し、ベースモデルの 89.71 に対して元の能力の 98.7 パーセントを保持しています。SWE-bench Verified では 77.00 に達し、ベースライン性能の 94.8 パーセントを維持します。つまり、かつてはサーバーを必要とした数十億パラメータ級のコーディングモデルが、現実的なソフトウェアエンジニアリングのタスクでわずか数ポイントを失うだけでワークステーション上で動作するのです。
はじめかた
GGUF ファイル、量子化設定、評価グラフはすべて Hugging Face 上の ISTA-DASLab リポジトリで公開されています。メモリ予算に合ったバリアントをダウンロードし、お好みの推論エンジンで読み込み、コードベースに向けてください。以前の DeepSeek-V4.1-Flash のガイドから続けている場合、手順はまったく同じです。変わるのはモデルファイルとメモリ計画だけです。
一緒に取り組みましょう
さらに詳しい情報やプロジェクトのヘルプ、またはアイデアの構築が必要ですか?
簡単な質問でもフルプロジェクトでも、お気軽にどうぞ。お問い合わせいただき、あなたのアイデアを一緒に実現しましょう。
お問い合わせ →