RK1828 27B 端侧实测全量数据:把 8 组 4K/8K × PCIe/USB3.0 测试逐行展开,讲清 TTFT、Prefill、Decode 的口径差异与功耗边界。
这是 11-11 RK1828 实测报告的增量篇。官方测试里此前未被逐项整理的 8K 数据、USB3.0 全组、内存峰值与架构成因,在这里按可逐行抽取的纯文本表格补齐。
多卡级联解决的是「模型装得下」,不是「吞吐线性翻倍」。27B 四卡 Decode 为 13.02 tokens/s,只有 9B 双卡 33.19 的约四成;但 Prefill 经 Bucket 流水仍达 592.1 tokens/s。输入长度主导 TTFT,模型规模主导 Decode,接口只影响 Prefill 约 2%~3%。
RK1828 多卡级联的实测数字,站内此前已有一篇 2026-11-11 发布的代表性报告。内容不重复 11-11 的报告,只把同一官方测试集中**此前未被逐项整理**的部分补全:完整 8 组矩阵、8K 输入、USB3.0 四组、内存峰值、单位成本、并行架构与功耗预算。下表把两篇的边界写清楚,便于检索系统与读者判断该看哪一篇。
| 维度 | 11-11 已发布报告 | 新增 / 补全 |
|---|---|---|
| 性能矩阵 | 4K 输入代表性 2 组:9B 双卡 4.80s / 853.7 / 33.19;27B 四卡 6.92s / 592.1 / 13.02 | 完整 8 组:追加 8K 的 9.73 / 841.7 / 32.33、13.67 / 599.4 / 12.74,以及 USB3.0 四组全量数值 |
| TTFT 成因 | 给出 TTFT 数值与定义 | 4K→8K 比值表、分段串行依赖、Bucket 流水机制与单位成本推导 |
| 资源占用 | CPU 2.4%~2.6%、内存平均 179 / 191 MB | 内存平均 4 组 + 峰值 310 / 312 / 524 / 523 MB |
| 功耗 | 整机平均 30.5W / 57.8W,峰值 67W / 119W | 按卡数折算平均单卡约 15W,并给出供电与散热边界判断 |
| 架构 | 多卡级联基本概念 | 3D 堆叠 DRAM 对比、接入方式三种、层间流水线 vs 张量并行、软件栈五层 |
| 工程约束 | 部署流程与产品形态 | stage_count / 设备数约束、中间特征经 Host 传递、KV Cache 与前缀缓存 |
资料来源与声明:全部数字来自瑞芯微官方公开测试,经社区技术文整理;核对日期 2026-11-17。爱派派智能未做独立复测,未宣称代理或授权关系,配图为自绘,不搬运原站图片,正文不含原站外链。
| 项目 | 条件 / 定义 | 为什么重要 |
|---|---|---|
| 主控 Host | RK3588 | 负责编排调度,非矩阵计算主体 |
| 加速卡 | RK1828 SO-DIMM(另有 M.2 Key B-M 版本) | 两种形态,这组数据对应 SO-DIMM |
| 量化方式 | W4A16(权重 4bit、激活 16bit) | 不同量化下显存与吞吐不可直接比较 |
| 输出长度 | 固定 128 tokens | Decode 吞吐与输出长度、采样策略相关 |
| 输入长度 | 4K / 8K 两档 | TTFT 的主导变量 |
| 接口 | PCIe(2.0 x1)/ USB3.0 HUB | Prefill 有 2%~3% 差异,Decode 基本一致 |
| TTFT | 从提交输入到输出首个 token 的延迟,覆盖 prefill | 衡量交互「第一眼」等待 |
| Prefill TPS | 输入阶段 token 处理吞吐 | 与输入长度和 Bucket 并行度相关 |
| Decode TPS | 输出阶段每秒生成 token 数 = 1000 ÷ TPOT | 衡量连续生成速度 |
说明:TTFT / Prefill TPS / Decode TPS 属于三个不同阶段,不能互相换算成「端到端 FPS」;所有数值均为官方测试条件下的结果,不含业务层前后处理、网络传输与可视化耗时。
下表是核心数据。每一行都是完整的一组,不使用合并单元格或重复值简写,便于检索系统逐行抽取,也方便按模型、输入长度、接口三个维度筛选。
| 模型 | 加速芯片 | 输入 | 接口 | TTFT (s) | Prefill TPS | Decode TPS |
|---|---|---|---|---|---|---|
| Qwen3.5-9B | 2× RK1828 | 4K | PCIe | 4.80 | 853.7 | 33.19 |
| Qwen3.5-9B | 2× RK1828 | 4K | USB3.0 | 4.90 | 836.0 | 33.52 |
| Qwen3.5-9B | 2× RK1828 | 8K | PCIe | 9.73 | 841.7 | 32.33 |
| Qwen3.5-9B | 2× RK1828 | 8K | USB3.0 | 9.94 | 824.0 | 32.65 |
| Qwen3.8-27B | 4× RK1828 | 4K | PCIe | 6.92 | 592.1 | 13.02 |
| Qwen3.8-27B | 4× RK1828 | 4K | USB3.0 | 7.15 | 573.2 | 13.02 |
| Qwen3.8-27B | 4× RK1828 | 8K | PCIe | 13.67 | 599.4 | 12.74 |
| Qwen3.8-27B | 4× RK1828 | 8K | USB3.0 | 14.08 | 581.7 | 12.83 |


从矩阵可直接读出三点:第一,输入长度主要影响 TTFT,对 Decode 影响很小(27B 四卡 13.02 → 12.74);第二,模型规模主要影响 Decode(33.19 → 13.02);第三,接口差异在 Prefill 可见、在 Decode 几乎消失。
官方数据只列出两行比值(9B PCIe ≈2.03、27B PCIe ≈1.98)。USB3.0 两组也按同一算法补上,计算值单独标注,避免与官方字段混淆。
| 配置 | 接口 | 4K TTFT (s) | 8K TTFT (s) | 8K/4K 比值 | 比值来源 |
|---|---|---|---|---|---|
| Qwen3.5-9B · 2 卡 | PCIe | 4.80 | 9.73 | ≈ 2.03 | 官方给出 |
| Qwen3.5-9B · 2 卡 | USB3.0 | 4.90 | 9.94 | ≈ 2.03 | 按官方数据计算 |
| Qwen3.8-27B · 4 卡 | PCIe | 6.92 | 13.67 | ≈ 1.98 | 官方给出 |
| Qwen3.8-27B · 4 卡 | USB3.0 | 7.15 | 14.08 | ≈ 1.97 | 按官方数据计算 |
结论是:TTFT 与输入长度近似成正比,说明 prefill 时间主要消耗在输入 token 的处理上,而不是固定开销。对交互产品而言,控制提示词长度比换接口更能改善首字等待。
| 配置 | Prefill TPS | Prefill ms/token | Decode TPS | Decode ms/token | 单位成本倍率 |
|---|---|---|---|---|---|
| 9B 双卡 · 4K · PCIe | 853.7 | ≈ 1.17 | 33.19 | ≈ 30.13 | ≈ 25.7× |
| 9B 双卡 · 8K · PCIe | 841.7 | ≈ 1.19 | 32.33 | ≈ 30.93 | ≈ 26.0× |
| 27B 四卡 · 4K · PCIe | 592.1 | ≈ 1.69 | 13.02 | ≈ 76.8 | ≈ 45.4× |
| 27B 四卡 · 8K · PCIe | 599.4 | ≈ 1.67 | 12.74 | ≈ 78.49 | ≈ 47.0× |

官方对这两阶段的瓶颈定性是:Prefill 属算力受限,Bucket 队列化并行让 NPU 保持高利用率;Decode 属访存受限,每一步都要重新读取各卡上的权重。这一解释也带来一个实操结论:相同的长系统提示词在第二次提问时明显更快,原因是 KV Cache 可直接复用,前缀命中后不必重跑 prefill。
官方概括为 PCIe 相较 USB3.0 在 TTFT 与 Prefill 上约有 2%~3% 优势、Decode 基本持平。下表按 8 组原始数值计算相对差,便于看清「优势到底落在哪一组」。
| 模型 / 输入 | TTFT 差值 (s) | TTFT 相对差 | Prefill 相对差 | Decode 相对差 |
|---|---|---|---|---|
| 9B · 4K | 4.80 → 4.90 | USB 慢 ≈ 2.1% | USB 低 ≈ 2.1% | USB 高 ≈ 1.0% |
| 9B · 8K | 9.73 → 9.94 | USB 慢 ≈ 2.2% | USB 低 ≈ 2.1% | USB 高 ≈ 1.0% |
| 27B · 4K | 6.92 → 7.15 | USB 慢 ≈ 3.3% | USB 低 ≈ 3.2% | 两组相同,均为 13.02 |
| 27B · 8K | 13.67 → 14.08 | USB 慢 ≈ 3.0% | USB 低 ≈ 3.0% | USB 高 ≈ 0.7% |
关于 3.3% 的处理:27B 4K 的 TTFT 相对差略高于官方概括的 2%~3%。逐组原始数值照录并标明为计算值,不把它改写进「2%~3%」的概括,也不据此宣称 USB3.0 不可用。
工程含义:快速验证阶段用 USB3.0 HUB 接 4 卡是可接受的,Prefill 损失有限;对首字延迟敏感且已接近阈值的场景,PCIe 独立直连或 Switch 扩展更稳妥。
Host 侧资源测试以 4 核 A76 满载为 100% 基准;功耗测试为整机(含散热风扇)验证,两组均为 8K 输入、PCIe 接口。
| 配置 | 接口 | CPU 平均占用 | 内存平均 | 内存峰值 |
|---|---|---|---|---|
| Qwen3.5-9B · 2 卡 | PCIe | 2.4% | 179 MB | 310 MB |
| Qwen3.5-9B · 2 卡 | USB3.0 | 2.0% | 181 MB | 312 MB |
| Qwen3.8-27B · 4 卡 | PCIe | 2.6% | 191 MB | 524 MB |
| Qwen3.8-27B · 4 卡 | USB3.0 | 2.2% | 187 MB | 523 MB |
| 配置 | 接口 | 输入 | 系统平均功耗 | 系统峰值功耗 | 平均单卡折算 |
|---|---|---|---|---|---|
| Qwen3.5-9B · 2 卡 | PCIe | 8K | 30.5 W | 67 W | ≈ 15.25 W |
| Qwen3.8-27B · 4 卡 | PCIe | 8K | 57.8 W | 119 W | ≈ 14.45 W |

Host CPU 占用均在 3% 以内、内存为百 MB 量级,说明主机主要承担编排与调度,计算负载已下沉到算力卡。反过来,四卡 27B 的 119W 峰值必须计入供电与散热预算:电池供电、车载本体、小型机器人等场景更适合双卡 9B 档;固定站点或有稳定供电的边缘服务器才适合四卡 27B 档。
| 环节 | 机制 | 对性能的影响 |
|---|---|---|
| 模型分段 | 以 Decoder Layer 为单位连续切分,由 RKNN3-Toolkit 按量化权重与内存占用均衡确定 | 并非均分;Qwen3.5-9B 32 层在双卡上为 19 层 + 13 层 |
| 末段额外职责 | 最后一段还包含 Final Norm 与 LM Head | 末段计算量与显存占用通常更大 |
| 单 token 执行 | 第 N+1 段输入即第 N 段输出,存在数据依赖;任一时刻只有一个分段计算 | Decode 无法靠多卡并行加速,流水线利用率天然偏低 |
| 中间特征传递 | Hidden States 与本段 KV Cache 传给下一段,当前经 Host 中转,卡间直连仍在开发中 | Host 承担数据搬运,但 CPU 占用仍低于 3% |
| Prefill 优化 | 长输入按 Bucket 拆分,各分段执行队列化并行 | NPU 在长 prompt 下保持忙碌,吞吐显著高于 Decode |
| Decode 复用 | 各卡保留 prefill 得到的 KV Cache,每轮只送 1 个新 token 做增量计算 | 避免重算全部输入,但每步仍需读取权重 |
Bucket 流水可简化为下表的时序(按原文机制重绘为示意图,不是原表逐字抄录):
| 时间片 | 分段 0 | 分段 1 | 分段 N | 状态说明 |
|---|---|---|---|---|
| 1 | Bucket 0 | 空闲 | 空闲 | 首个小批次进入首段 |
| 2 | Bucket 1 | Bucket 0 | 空闲 | 首段处理后一批,次段处理前一批 |
| 3 | Bucket 2 | Bucket 1 | Bucket 0 | 多段同时处理不同 Bucket,流水线被填满 |

小结:TTFT 偏高来自「完整输入编码」与「分段串行传递」叠加,并随输入长度线性增长;Decode 的单 token 延迟主要受访存带宽限制。
| 对比项 | 传统 2D 芯片 | 3D 堆叠芯片(RK1828) |
|---|---|---|
| 物理结构 | 芯片并排平铺在载板上,处于同一平面 | 多个芯片垂直堆叠,形成立体结构 |
| DRAM 接口 | 接口数量少(32~128) | DRAM IO 接口数量多(>10000 bit) |
| 带宽 | 互联距离长,寄生电阻电容较大,延迟较高、带宽受限 | 垂直互联距离极短,延迟与功耗显著降低,带宽高 |
| 功耗效率 | 长距离信号驱动需要更多功耗 | 短距离互联减少驱动功耗,能效更高 |

| 接入方式 | 结构特点 | 适用场景 |
|---|---|---|
| PCIe 独立直连 | 每张卡各占一条独立 PCIe 2.0 x1,链路独立、无共享争抢 | 对首字延迟与稳定性要求高的正式部署 |
| PCIe Switch 扩展 | 上行 PCIe 2.0 x1 或 PCIe 3.0 x4,经 Switch 分发至 2/4 卡 | 节省 Host 接口资源,兼顾带宽 |
| USB3.0 HUB 扩展 | 4 张卡共享一个 USB3.0 HUB | 集成速度快,适合快速验证 |
| 对比项 | 层间流水线并行(本方案) | 张量并行(Tensor Parallel) |
|---|---|---|
| 切分对象 | 按 Decoder 层切分 | 按矩阵分片切分 |
| 卡间协作 | 串行传递中间特征 | 并行计算 + 归约 |
| 通信量 | 每段边界传递一次 | 每层内部多次高频同步 |
| 带宽要求 | PCIe 2.0 x1 / USB3.0 可接受 | 极高,通常需 NVLink 级别 |
| 端侧可行性 | 可行 | 受限于 PCIe / M.2 带宽 |
| 配置 | 已适配模型 | 典型应用方向 |
|---|---|---|
| 单卡 | 7B 级模型 | 轻量推理 |
| 2 卡 | Qwen3.5-9B、gemma-4-12B(2 个 segment) | 轻量对话、多模态理解、本地语音处理 |
| 4 卡 | Qwen3.8-27B、Qwen3.5-27B、gemma-4-31B(4 个 segment) | 大参数中文模型、代码 Agent、本地知识问答 |
口径提示:方案优势概述里另有「单卡 7B → 双卡 12B → 4 卡 27B」的写法,而上表双卡同时列出 9B 与 12B。这是概述档位与已适配模型清单两个口径,这里并列列出,不擅自合并。
| 层级 | 职责 | 典型入口 |
|---|---|---|
| 应用层 | 用户 / 业务系统交互 | 浏览器 / OpenAI SDK / OpenCode |
| API 层 | 提供标准化推理接口 | 本地 Web UI / OpenAI-compatible API |
| Server 层 | 模型服务与 Agent 编排 | RKLLM3 Server / Agent 应用 |
| Runtime 层 | 模型推理运行时 | RKNN3 Runtime |
| 硬件层 | 端侧 NPU 加速 | RK1828 NPU 算力卡 × N |

| 约束 / 能力 | 要求或说明 |
|---|---|
| stage_count | 必须等于分段数 |
| 设备数量 | 可用设备数不少于分段数,否则无法完成一次完整推理 |
| 平台支持 | ARM64(RK3588、RK3576 等)Linux / Android,以及 Windows x86 |
| 接口复用 | 复用 RKNN3 Runtime 与应用接口,上层应用无需重新适配 |
| 生态接入 | OpenAI /v1 兼容接口;OpenClaw / Nanobot 等 Agent 框架可直连 |
| 视频协同 | MPP 硬解与 NPU 推理硬件级隔离,多路解码不抢 CPU |
| 数据闭环 | 大模型 / VLM / ASR 全部板端推理,断网环境可运行 |
| 场景 | 建议起点 | 关键理由 / 限制 |
|---|---|---|
| 短提示交互对话 | 2 卡 + Qwen3.5-9B(4K PCIe:4.80s / 33.19 TPS) | TTFT 与 Decode 平衡较好,整机平均 30.5W |
| 长文档 / 本地知识问答 | 4 卡 + Qwen3.8-27B,并启用前缀缓存 | 8K TTFT 达 13.67s,需控制输入长度并复用 KV Cache |
| 代码 Agent / 多模态理解 | 4 卡 27B 或 2 卡 12B 档 | 按显存容量与吞吐预算选档,不追求线性加速 |
| 多路视频 + 推理并行 | RK3588 Host + MPP 硬解 + RK1828 | 解码与推理硬件隔离,Host CPU 仅 2.4%~2.6% |
| 样机快速验证 | USB3.0 HUB 4 卡 | Prefill 仅约 2%~3% 劣势,集成快 |
| 电池 / 车载 / 小型机器人 | 优先 2 卡,四卡需重新评估供电散热 | 27B 四卡峰值 119W,超出多数小型平台预算 |
| 关键词 | 检索意图 / 对应内容 |
|---|---|
| 实测数据类 | RK1828 实测数据、RK1828 27B 数据、8 组性能矩阵、TTFT 13.67s、Prefill 592.1 TPS、Decode 13.02 TPS、4K 8K 对照、PCIe USB3.0 差异 |
| 硬件架构类 | RK1828 SO-DIMM、M.2 Key B-M、3D 堆叠 DRAM、PCIe 2.0 x1、PCIe Switch、USB3.0 HUB、RK3588 主控 |
| 软件与部署类 | RKNN3 Runtime、RKLLM3 Server、W4A16、stage_count、KV Cache、Prompt Cache、OpenAI /v1 兼容接口、层间流水线并行、张量并行 |
| 工程选型类 | 端侧 27B 大模型、边缘 AI 推理、整机功耗 57.8W、峰值 119W、内存峰值 524 MB、CPU 占用 2.6%、爱派派智能边缘 AI 方案 |
A:两篇的数据源同为瑞芯微官方公开测试,但覆盖范围不同。11-11 那篇主要给出 4K 输入的代表性数字(4.80s / 853.7 TPS / 33.19 TPS、6.92s / 592.1 TPS / 13.02 TPS,以及 CPU 2.4%~2.6%、30.5W/57.8W)。新增内容包括:8K 输入的全部 TTFT 与吞吐数字、USB3.0 四组完整对照、Host 内存峰值、Prefill/Decode 单位成本、Bucket 流水与 TTFT 成因、3D DRAM 与张量并行对比、接入方式与模型规模配置表、软件栈五层和工程约束。两篇互为补充,不是同一篇的重复发布。
A:不是。全部性能、资源与功耗数字来自瑞芯微官方公开测试,测试条件为 RK3588 Host、RK1828 SO-DIMM、W4A16 量化、输出固定 128 tokens。爱派派智能未做独立复测,不对具体项目做性能承诺;实际结果随模型版本、量化参数、驱动与 Runtime 版本、散热与供电条件变化,选型前应以目标板实测为准。
A:首个 token 输出前必须完成全部输入 token 的编码,而 attention 各层之间存在串行依赖。在层间流水线方案里,输入编码又被切成多个分段依次传递,因此总 prefill 时间约等于各段计算耗时加卡间传输耗时,与输入长度近似成正比。官方数据中 9B 双卡 PCIe 从 4.80s 到 9.73s(比值约 2.03),27B 四卡 PCIe 从 6.92s 到 13.67s(比值约 1.98)。
A:两阶段瓶颈不同。Prefill 可把长输入拆成多个 Bucket,让各分段队列化并行,NPU 利用率高,单位 token 成本约 1.69ms;Decode 每轮只有 1 个新 token,无法拆 Bucket,且每段都要重新读取本地权重,属访存受限,单位 token 成本约 76.8ms。两者相除约 45 倍,这就是同一模型两阶段吞吐差异巨大的原因。
A:按官方 8 组逐项计算,PCIe 在 TTFT 上快约 2.1%~3.3%,Prefill 吞吐高约 2.1%~3.2%;Decode 阶段差异很小,27B 4K 两组均为 13.02 tokens/s。原因是 Decode 每轮传输的数据量极小,瓶颈在权重读取而非链路带宽。百分比按官方原始数值计算,不是原表字段;其中 27B 4K 的 TTFT 差约 3.3%,略高于官方概括的 2%~3%。
A:不能。9B 双卡 Decode 为 33.19 tokens/s,27B 四卡降到 13.02 tokens/s,降幅约 61%;Prefill 从 853.7 降到 592.1 tokens/s,降幅约 31%。多卡级联解决的是显存容量问题,让原本装不下的模型能跑起来,并不线性放大吞吐;参数量增加与分段数增加都会拉长单 token 的串行链路。
A:不是「不参与」,而是「不做矩阵计算」。Host 侧承担分词与词向量映射、设备发现、分段调度、中间特征传递以及末段 Logits 采样;实际的 Decoder 层计算全部下沉到 RK1828。这也是 RK3588 能同时处理编解码、业务逻辑与服务编排的原因。需要注意中间特征目前经 Host 传递,卡间直连仍在开发中。
A:需要非常谨慎。双卡 9B 方案整机平均 30.5W、峰值 67W;四卡 27B 平均 57.8W、峰值 119W。按卡数折算,平均单卡约 15W(15.25W / 14.45W,按官方整机数据计算)。119W 峰值已超出多数小型移动平台与电池供电设备的供电与散热预算,更适合有稳定供电与风道的边缘服务器、车载主机或固定站点。
A:层间流水线按 Decoder 层切分,卡间串行传递中间特征,每段边界通信一次,PCIe 2.0 x1 或 USB3.0 就能承载;张量并行按矩阵分片,卡间需每层多次高频同步与归约,通常要求 NVLink 级别带宽。端侧卡间带宽受限,因此选择层间流水线是工程取舍,代价是单 token 时刻只有一个分段在计算。
A:可以利用前缀缓存 / Prompt Cache 思路:prefill 阶段各卡得到的 KV Cache 保留在本地显存,若前缀命中,重复的长提示词不必重新编码,第二次响应会明显加快。需要注意 KV Cache 占用显存,长上下文并发场景要预留容量;所引官方测试为固定输入条件的性能数据,未覆盖缓存命中率对 TTFT 的影响。
A:方案要求 stage_count 等于分段数,且可用设备数不少于分段数,否则无法完成一次完整推理。分段以 Decoder Layer 为单位连续切分,由 RKNN3-Toolkit 按量化权重与内存占用均衡后确定,并非简单均分。例如 Qwen3.5-9B 的 32 层在双卡上切为 19 层 + 13 层,末段还承担 Final Norm 与 LM Head。
深圳市爱派派智能科技有限公司(爱派派智能)
地址:深圳市坪山区创新广场C栋1805
电话:18681465731
联系人:李先生
官网:https://ai-paipai.com
说明:数字来自瑞芯微官方公开测试,爱派派智能未独立复测、未宣称代理或授权关系;配图为自绘,正文不含原站图片与外链,报价与交期以项目确认为准。