参数之后，带宽为王 · anthony-zy

2026 年的两代“轻量旗舰”已经不再用总参数说话。

Qwen3.8-Flash-Next（125B 主干 + 51B 外挂 n-gram，每 token 激活 6B）与 DeepSeek-V4.1-Flash（552B MoE，prefill 激活 8B / decode 激活 16B），真正在做的事是把每 token 在 HBM 里搬动的字节数压到常数级，并把容量参数放逐到 host memory 与 SSD。竞争的计量单位从 FLOPs 换成了 HBM 带宽 × 跨节点互联 × 内存层级效率。

读前须知：数字口径

本文全部数字取自两家官方技术报告与发布博客（见文末来源）。厂商自报的性能提升倍数均未经第三方基准横评，解读时请把它们当作「架构意图的证据」，而不是「可复现的性能结论」。

01 · 两张架构底牌，同一张考题

两家的总参数都比上一代大，但每 token 实际要从 HBM 读出来计算的东西反而少了。下面这张表是它们对同一张考卷（长上下文 agent、input-heavy 工作负载）给出的不同解法。

维度	Qwen3.8-Flash-Next	DeepSeek-V4.1-Flash
总参数	125B 主干 MoE + 51B n-gram embedding（host memory）	552B 主干 MoE + 196B Engram 条件记忆
激活参数	6B / token（不分 prefill / decode）	8B（prefill）→ 16B（decode），CED 非对称
上下文	262K 原生，YaRN 扩到 1M	原生 1M tokens
注意力	GDN : QSA = 3 : 1 混合。Gated DeltaNet 把历史压成固定状态（线性注意力，无 KV cache 膨胀）；QSA 用 micro-block 级轻量索引器做稀疏检索	40 层 = 20 层 causal encoder + 20 层 decoder。CSA2 跨层共享 global KV 与 Top-K 索引，三模式 Full / Reindex / Reuse；SWA window = 128
残差流	Gated Residual：单残差流扩成 4 分支 + elementwise gate，残差状态可 FP8 存储	Single-Pass mHC：四 kernel 合一，activation memory traffic 减半
外挂记忆	51B n-gram embedding：查表，地址可预测，常驻 host DRAM，与 GPU 计算异步 prefetch 重叠	196B Engram 条件记忆；分布式 host DRAM 池（每机 10%）存短 TTL 的 SWA KV
KV cache 精度	残差状态 FP8	global KV 用 FP4（E2M1 + 每 16 通道 E4M3 scale，OCP MXFP4），QAT 训练；SWA KV 保留 FP8
部署形态	统一 serving（Qwen Cloud 0.15 / 0.47 USD per M tokens）	Prefill / Decode 物理分离：prefill 跑在 8 卡节点，decode 跑在 64–128 卡超节点

共同点

两家都把“容量参数”和“每 token 计算参数”解耦了。总参数继续涨（125B / 552B），但每 token 从 HBM 读的权重是 6B / 8B–16B——剩下的容量要么在 host DRAM，要么在 SSD，要么是“查一次就走”的稀疏查表。

02 · 注意力的合流：把 O(n) 的 KV 搬运压成常数

Decode 阶段是 memory-bound 的：每生成一个 token，模型要把所有激活权重和整条 KV cache 从 HBM 读一遍。H100 的 HBM 带宽 3.35 TB/s，但 BF16 MHA 的 KV cache 随上下文线性膨胀——这才是长上下文的真瓶颈，不是算力。两家从不同路径攻同一个点。

Qwen：线性注意力记住 + 稀疏注意力检索

3/4 层 GDN：用类似 Mamba2 / Delta Rule 的递推，把历史信息压进一个固定大小的隐状态。上下文再长，这层的 KV 也不增长。
1/4 层 QSA：每一层独立把序列压缩成 micro-block，轻量索引器先做 block 级打分，再选重要区域做精确注意力。
1M context 下，QSA kernel 相比前代在 prefill 加速 7.6×、decode 加速 4.9×；90% prefix-cache 命中率时 prefill 吞吐 8.6×。
设计哲学：GDN 负责“记住”，QSA 负责“检索”——两者各司其职，不要求跨层注意力相似。

DeepSeek：跨层共享 KV + 非对称编解码

CED 架构：decoder 的 global KV 直接从 encoder 最终 hidden state 投影出来，大部分 prompt token 不跑完整 decoder——prefill 算力近乎砍半。
CSA2 三维压缩：entry size（GQA / MLA）× sequence dim（m=2 压缩）× layer dim（Full / Reindex / Reuse 跨层共享 KV 与 Top-K）三个维度同时压。
Decode FLOPs 在上下文从 4K 拉到 1M（256×）时只增加 1/4——曲线近乎水平。
CSA2 Reuse Mode 一层在 prefill 只用 15 个 kernel、decode 只用 11 个 kernel。

为什么这是带宽问题，而不是参数问题

线性注意力（GDN）把历史压缩成固定状态，本质上是让 HBM 里每 token 的 KV 占用不随上下文增长；跨层共享（CSA2）则是让多层共用一份 KV，避免在 HBM 里存 N 份冗余。两者都在做同一件事——减少 decode 时每个 token 必须从 HBM 读出来的字节数。

03 · KV Cache 的数字竞赛：890 字节意味着什么

DeepSeek 这代最狠的数字是 890 bytes/token 的 global KV（常驻 HBM）。它不是单一技巧的结果，而是架构（CSA2 跨层复用）× 精度（FP4 QAT）× 部署（SWA Bounded Replay 不再持久化 SWA KV）三层叠乘。

DeepSeek 历代模型 global KV cache 占用数据来源：DeepSeek-V4.1-Flash 技术报告（arXiv:2609.19969）。V4.1 相对 V1 压缩 437×，相对 V4-Flash 压缩 4×。对数轴。

890 B/token 落地后

1M token 上下文的 global KV = ~890 MB，一张 GPU 的 HBM 就能装下。
多轮对话 + prefix cache 复用，global KV 保证 72 小时常驻 SSD。
SWA KV 不再持久化，改用 Bounded Replay：miss 时只重算最近 n_win = 128 个 token，而不是 L × n_win 个。
持久层 KV（SSD / host）进一步压到 V4-Flash 的 1/8。

这对硬件意味着什么

HBM 容量不再被 KV cache 吃光 → 同样的 GPU 可以塞更大 batch。
但 decode 时每 token 仍要扫过这 890B × 序列长度的 KV——HBM 带宽仍是决定性指标。
FP4 KV 需要硬件在 attention kernel 里做 dequant（每 16 channel 一次 E4M3 scale）——对指令集和 kernel 融合提出要求。
压缩不是免费的：Bounded Replay 会在 miss 时触发少量重算，是用算力换带宽。

04 · 模型开始自己管理三层内存

最关键的架构信号是：分层内存已经从工程补丁变成了模型结构本身。Qwen 把 51B n-gram 放 host DRAM，DeepSeek 把 SWA KV 放分布式 host DRAM、global KV 放 SSD——模型在训练时就知道自己的数据会落在哪一层。

2026 大模型推理的三层内存金字塔每层都有明确的 TTL、数据类型和带宽量级。模型架构在设计时就为每层分配了对应的数据。

关键转变

以前分层内存是推理引擎做的事（vLLM 的 PagedAttention、Offload），模型本身不管。现在模型在架构上就预留了“这部分数据注定要待在 host memory”的接口——Qwen 的 n-gram 查表地址可预测、可以异步 prefetch；DeepSeek 的 SWA KV 天生短 TTL、适合放 host DRAM 池。编译器、运行时、硬件和模型权重第一次为同一个内存层级图共同优化。

05 · Prefill 与 Decode 不再同居一室

DeepSeek 把推理流程物理拆成两段，因为它们对硬件的诉求完全相反：prefill 是 compute-bound（要高 FLOPs），decode 是 bandwidth-bound（要大 HBM 和高 HBM 带宽）。

Prefill 节点 · 8 卡

处理长 prompt、新输入、prefix 首次编码。
compute-bound：大矩阵乘，吃 BF16 / FP8 算力。
CED 下只激活 8B，把 prompt 压成 encoder hidden states。
产出 global KV，通过网络送给 decode 超节点。

Decode 超节点 · 64–128 卡

逐 token 自回归生成，memory-bound。
激活 16B，权重在卡间切分（TP / EP）。
需要超大 HBM 总量装下所有用户的 KV cache。
卡间高频 all-reduce / KV 传输 → NVLink / NVLink Domain 带宽是硬指标。

不同阶段对硬件资源的相对诉求 Prefill 要算力，Decode 要带宽——这就是它们被拆到不同节点的原因。数值为相对需求强度的示意性量化（100 = 该阶段最吃紧的资源），用于比较量级，不是实测数据。

06 · 硬件的新考题：HBM4、CXL、超节点互联、FP4

当模型架构把瓶颈从“算不动”挪到“搬不动”，硬件路线图也跟着改写。

硬件维度	2023–2025 的关注点	2026 的新要求（被这两代模型逼出来的）
HBM	容量（80GB H100）、BF16 带宽 3.35 TB/s	HBM4 带宽 ≥ 6 TB/s；KV cache 压到 890 B/token 后，每 token 的 HBM 流量直接决定 decode 吞吐。容量让给 batch，不是让给 KV。
CPU–GPU 通道	PCIe 4.0 x16 做模型加载就够	CXL / PCIe 5.0–6.0 成为一线接口：Qwen 51B n-gram、DeepSeek SWA KV 池都在 host DRAM，需要持续低延迟 prefetch。
节点内互联	NVLink 900 GB/s 做 8 卡 NVL	NVLink Domain / UALink：64–128 卡 decode 超节点，KV 在卡间频繁传输，互联带宽决定有效 decode 吞吐。
节点间网络	InfiniBand 做训练同步	IB / RoCE 同时承担 prefill → decode 的 KV 传输，长 prefix cache 命中后网络流量特征完全改变。
数值格式	BF16 / FP8 (E4M3) 张量核心	FP4（E2M1, MXFP4）成为 KV cache 与 attention dequant 的一等公民；E4M3 per-block scale 要硬件原生支持。
芯片设计哲学	堆 CUDA Core / Tensor Core 数量	模型定义芯片：XHEART X7 Ultra 这类超大核 NPU，把小核间百 GB/s 交互聚合到核内 TB/s——因为模型里全是稀疏查表和跨层复用。

07 · 结论：竞争计量单位已经换了

从参数规模 × 训练 FLOPs，到每 token HBM 字节数 × 跨节点带宽 × 内存层级效率

总参数继续涨，但被拆成两类——活跃权重（6B–16B，必须在 HBM）和容量记忆（51B–196B，放逐到 host / SSD，查表访问）。
Decode 的每 token HBM 流量被压到近乎常数：GDN 让历史不膨胀，CSA2 让多层共享，FP4 让每个 KV 元素从 16 bit 变 4 bit。
模型开始自己管理三级内存，编译器和 kernel 融合要为分层 prefetch、zero-copy、bounded replay 服务。
Prefill 与 decode 在数据中心里被拆到不同硬件池子，谁的超节点互联好、谁的 HBM4 带宽高，谁的单位 token 成本就低。

对做推理优化、RISC-V 后端、内存子系统的人来说，这是好时代：下一个数量级的成本下降，不来自更大的 GPU，而来自更聪明的内存调度、更 fused 的 kernel、更短的跨层数据路径——这些恰好是软件和架构师能啃下来的硬骨头。