DeepSeek-V4.1-Flash-1017 Coder:面向消费级工作站的压缩编程模型
在上一篇文章中,我们介绍了如何结合显存、系统内存和 NVMe 存储,在消费级工作站上启动 DeepSeek-V4.1-Flash。今天我们带来第二个方案,专门面向软件开发:由 ISTA-DASLab 发布的 DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF。该版本沿用同一基础模型,但移除了大量稀疏专家,使权重文件缩小到足以让完整的编程助手完全驻留在显存和系统内存中,完全不需要向 NVMe 卸载。
coder 版本带来了哪些变化
新构建并非简单的重新量化,而是一个面向特定能力的版本:压缩流程围绕编程与智能体工作负载设计,因此对编程最关键的网路部分以更高精度保留,其余部分则被大幅压缩。最终得到的模型更像一位专家而非通才,并且能装进大多数开发者已经拥有的硬件中。
GSQ 与 RCO:压缩的两大支柱
第一根支柱是 Gumbel-Softmax 量化(GSQ)。GSQ 不把权重舍入到固定网格,而是同时学习逐坐标的网格分配和逐组的缩放系数,从而获得精确得多的低位标量量化。第二根支柱是黎曼约束优化(RCO),它在联合优化过程中把每个张量的比特预算当作硬约束。实践中,RCO 决定可用比特该分配到哪里:对敏感层给予更高精度,对能承受强压缩的层则减少精度。两项技术结合,使模型在通常会破坏质量的比特率下依然保持连贯。
专家剪枝:从 384 个路由专家到 192 个
最明显的变化是结构性的。稀疏混合专家模型中一半的路由层被整体移除:每层原有的 384 个路由专家中,恰好保留 192 个,依据它们与编程任务的相关性进行挑选。保留下来的权重维持 IQ2_XXS 构建的逐张量精度。由于是整个专家被删除而非仅仅量化,节省的规模远大于单纯降低位宽所能带来的效果。
内存占用
Transformer 权重现在占用 72.1 GB,而未剪枝的 IQ2_XXS 构建为 138.2 GB。若以原始模型的 Transformer 参数量衡量,这相当于每个参数约 1 个有效比特,不过由于稠密张量保持较高精度,存活参数平均为 2.06 比特。模型仍使用未剪枝版本中共享的 110.6 GB Engram 查找表;它每个 token 读取一行,可以留在磁盘或系统内存中,因此不必常驻显存。

硬件配置
实际意义在于:一台配备充足系统内存的双 GPU 工作站无需访问 NVMe 硬盘即可承载整套系统。两张 RTX 3090 或两张 AMD R9700,搭配 192 GB 内存,就足以把 Transformer 权重和 Engram 表都放在高速内存中。如果想降低成本,仍可将部分 Engram 表卸载到 NVMe 硬盘;即便如此,与基础模型原始的 2.2 bpw 量化相比,总占用仍低于 50 GB。
| 配置 | 显存 | 系统内存 | NVMe 使用 |
|---|---|---|---|
| 双 RTX 3090 | 48 GB | 192 GB | 无 |
| 双 AMD R9700 | 64 GB | 192 GB | 无 |
| 单 GPU 加卸载 | 24 GB | 128 GB | Engram 行存放于磁盘 |
基准测试结果
激进的剪枝通常会牺牲精度,但公开评测显示大部分编程能力得以保留。在 LiveCodeBench v6 上,coder 构建得分 88.57,而基础模型为 89.71,保留了原有能力的 98.7%。在 SWE-bench Verified 上达到 77.00,保持了基线性能的 94.8%。换言之,一个曾经需要服务器才能运行的数十亿参数编程模型,如今可以在工作站上运行,而在真实的软件工程任务中仅损失几个百分点。
快速上手
GGUF 文件、量化配置和评测图表均可在 Hugging Face 上的 ISTA-DASLab 仓库中获取。下载与你的内存预算相匹配的变体,用偏好的推理引擎加载,并指向你的代码库。如果你此前已跟随 DeepSeek-V4.1-Flash 的指南,流程完全相同,只是模型文件和内存方案有所变化。
