2026-11-05 · 1 分钟阅读

Qwen3.8-Flash-Next 与 DeepSeek-V4.1-Flash-1017:Unsloth Dynamic V3.1 GGUF 对比 GSQ-RCO 量化

Qwen3.8-Flash-Next 与 DeepSeek-V4.1-Flash-1017:Unsloth Dynamic V3.1 GGUF 对决 GSQ-RCO 量化

本地推理领域已经演变成一场真正的量化之战。Unsloth 为两个前沿的混合专家(Mixture-of-Experts)系列——Qwen3.8-Flash-Next 与 DeepSeek-V4.1-Flash-1017——发布了 Dynamic V3.1 GGUF 构建版本,并直接对标 ISTA-DASLab 发布的 GSQ-RCO 量化。其主张相当大胆:在相近文件大小下,精度比其他前沿量化高出约 15%,并在 Terminal Bench 与 DeepSWE 上取得最高分。本文将说明量化器内部发生了什么变化、这些数字是如何测得的,以及如何在单台工作站上运行这些模型。

为什么 Dynamic V3.1 优于均匀量化

经典的后训练量化对网络中的每个张量套用同一套方案。这种做法快速且可预测,但它把路由门控与冗余专家一视同仁,而精度恰恰就是在这里流失的。Unsloth Dynamic V3.1 转而依靠高质量、多样化的 imatrix 校准数据、智能的多层选择,以及专为混合专家与混合架构设计的逐层自定义量化方案。关键层保留更多比特,重复的专家则被更激进地压缩。其结果是更优的 KL 散度表现,即使在极低比特设置下也能保持功能保真度。

基准测试的分布让这一论点变得具体。在 Terminal Bench 2.1、DeepSWE v1.1、Aider Polyglot、LiveCodeBench v6 与 GPQA Diamond 上,Dynamic V3.1 稳居同尺寸级别的首位。评估覆盖约 260 亿至 300 亿个 token,团队还对竞争对手关于 AIME25 恢复率的说法提出质疑。在多轮工具调用、shell 执行、补丁生成等智能体循环中,差距会进一步拉大,因为这类工作负载对推理路径的任何偏移都极为敏感。

DeepSeek-V4.1-Flash-1017 的实践表现

对于 DeepSeek-V4.1-Flash-1017,Dynamic V3.1 文件在保持路由专家锐度的同时,压缩了占据参数总量大头的庞大 n-gram 嵌入库。这种平衡至关重要:嵌入表被持续读取,但可以容忍较粗的精度;而在特定 token 上被激活的专家则需要尽可能多的比特。在并排测试中,Dynamic 构建在长上下文检索与多步工具使用上保持了精度,而 GSQ-RCO 版本在上下文变长、智能体需要串联多次调用时开始出现下滑。

Unsloth Dynamic V3.1 与 GSQ-RCO 量化对比的基准测试图表DeepSeek-V4.1-Flash-1017 各量化版本的编码基准测试结果

Qwen3.8-Flash-Next 与编码任务

拥有 1250 亿参数的混合专家模型 Qwen3.8-Flash-Next 是另一个重点发布。与面向代码的 GSQ-RCO 构建相比,Unsloth Dynamic 3.1 版本在编码任务上表现更优:它产生的破损补丁更少,更可靠地遵循仓库约定,并在测试失败后更快恢复。在单个提示上差异并不巨大,但在漫长的智能体会话中会不断累积,而这正是这些模型的实际部署场景。

Qwen3.8-Flash-Next 与 DeepSeek-V4.1-Flash-1017 的最终基准测试汇总

利用显存、内存与 SSD 运行 MoE 模型

过去在本地运行 1250 亿参数的模型需要数据中心级硬件。现代推理引擎通过分层内存策略改变了这一点。活跃的路由专家、注意力权重与 KV 缓存被固定在延迟最低的显存中。engram 切换与基于 SSD 的内存映射负责其余的参数池,包括庞大的 n-gram 嵌入库。engram 精度切换支持 BF16、Q8_0、Q5_1 与 IQ4_NL 等格式,多 token 预测头则提供投机解码。这些技术结合起来,使配备 32 GB 至 128 GB 内存或统一内存的工作站也能顺畅运行大规模本地智能体,而不会出现严重的精度下降。

Dynamic V3.1 与 GSQ-RCO 一览

Qwen3.8-Flash-Next 与 DeepSeek-V4.1-Flash-1017 的量化对比。
对比项Unsloth Dynamic V3.1GSQ-RCO
相对前沿量化的精度+10–15%基准
Terminal Bench 2.1 / DeepSWE v1.1同级最高较低
校准数据多样化 imatrix、多层选择统一方案
混合专家与混合架构处理逐层方案通用方案
KL 散度更低更高
低比特表现保持保真度明显偏移
内存层级显存 + 内存 + SSD显存 + 内存
← 向右滚动查看更多 →

选择合适的文件

请从可用内存出发,而不是从基准表格出发。如果拥有 32 GB 统一内存,请选择中等比特的 Dynamic V3.1 文件并保持较小的 KV 缓存;如果拥有 128 GB,则更高比特的版本配合 SSD 卸载可带来近乎无损的表现。无论选择哪一种,都请用自己的任务套件进行验证:Terminal Bench 风格的智能体循环加上一次简短的 Aider 运行,通常就足以判断某个量化是否适合你的工作负载。

让我们合作吧

您需要更多信息、项目帮助或开发构想吗?

无论是简单的问题还是完整的项目,我都在这里。联系我,让我们将您的想法变为现实。

联系我 →

切换主题

选择一个专业主题进行探索: