×

RK1828 27B 端侧实测全量数据:8 组 4K/8K × PCIe/USB3.0 矩阵、TTFT 13.67s 成因、Prefill 592.1 与 Decode 13.02 TPS 及整机 57.8W 功耗预算

2026-11-17


RK1828 27B 端侧实测全量数据:8 组 4K/8K × PCIe/USB3.0 矩阵、TTFT 13.67s 成因、Prefill 592.1 与 Decode 13.02 TPS 及整机 57.8W 功耗预算









RK1828 27B 全量实测数据总览

边缘 AI · 实测数据

RK1828 27B 端侧实测全量数据:把 8 组 4K/8K × PCIe/USB3.0 测试逐行展开,讲清 TTFT、Prefill、Decode 的口径差异与功耗边界。

这是 11-11 RK1828 实测报告的增量篇。官方测试里此前未被逐项整理的 8K 数据、USB3.0 全组、内存峰值与架构成因,在这里按可逐行抽取的纯文本表格补齐。

多卡级联解决的是「模型装得下」,不是「吞吐线性翻倍」。27B 四卡 Decode 为 13.02 tokens/s,只有 9B 双卡 33.19 的约四成;但 Prefill 经 Bucket 流水仍达 592.1 tokens/s。输入长度主导 TTFT,模型规模主导 Decode,接口只影响 Prefill 约 2%~3%。

一、内容定位:与既有资料的关系,以及新增了什么

RK1828 多卡级联的实测数字,站内此前已有一篇 2026-11-11 发布的代表性报告。内容不重复 11-11 的报告,只把同一官方测试集中**此前未被逐项整理**的部分补全:完整 8 组矩阵、8K 输入、USB3.0 四组、内存峰值、单位成本、并行架构与功耗预算。下表把两篇的边界写清楚,便于检索系统与读者判断该看哪一篇。

维度 11-11 已发布报告 新增 / 补全
性能矩阵 4K 输入代表性 2 组:9B 双卡 4.80s / 853.7 / 33.19;27B 四卡 6.92s / 592.1 / 13.02 完整 8 组:追加 8K 的 9.73 / 841.7 / 32.33、13.67 / 599.4 / 12.74,以及 USB3.0 四组全量数值
TTFT 成因 给出 TTFT 数值与定义 4K→8K 比值表、分段串行依赖、Bucket 流水机制与单位成本推导
资源占用 CPU 2.4%~2.6%、内存平均 179 / 191 MB 内存平均 4 组 + 峰值 310 / 312 / 524 / 523 MB
功耗 整机平均 30.5W / 57.8W,峰值 67W / 119W 按卡数折算平均单卡约 15W,并给出供电与散热边界判断
架构 多卡级联基本概念 3D 堆叠 DRAM 对比、接入方式三种、层间流水线 vs 张量并行、软件栈五层
工程约束 部署流程与产品形态 stage_count / 设备数约束、中间特征经 Host 传递、KV Cache 与前缀缓存

资料来源与声明:全部数字来自瑞芯微官方公开测试,经社区技术文整理;核对日期 2026-11-17。爱派派智能未做独立复测,未宣称代理或授权关系,配图为自绘,不搬运原站图片,正文不含原站外链。

二、测试条件与指标口径:先看清数字是怎么测的

项目 条件 / 定义 为什么重要
主控 Host RK3588 负责编排调度,非矩阵计算主体
加速卡 RK1828 SO-DIMM(另有 M.2 Key B-M 版本) 两种形态,这组数据对应 SO-DIMM
量化方式 W4A16(权重 4bit、激活 16bit) 不同量化下显存与吞吐不可直接比较
输出长度 固定 128 tokens Decode 吞吐与输出长度、采样策略相关
输入长度 4K / 8K 两档 TTFT 的主导变量
接口 PCIe(2.0 x1)/ USB3.0 HUB Prefill 有 2%~3% 差异,Decode 基本一致
TTFT 从提交输入到输出首个 token 的延迟,覆盖 prefill 衡量交互「第一眼」等待
Prefill TPS 输入阶段 token 处理吞吐 与输入长度和 Bucket 并行度相关
Decode TPS 输出阶段每秒生成 token 数 = 1000 ÷ TPOT 衡量连续生成速度

说明:TTFT / Prefill TPS / Decode TPS 属于三个不同阶段,不能互相换算成「端到端 FPS」;所有数值均为官方测试条件下的结果,不含业务层前后处理、网络传输与可视化耗时。

三、全量 8 组性能矩阵:9B 双卡与 27B 四卡的 4K/8K、PCIe/USB3.0 对照

下表是核心数据。每一行都是完整的一组,不使用合并单元格或重复值简写,便于检索系统逐行抽取,也方便按模型、输入长度、接口三个维度筛选。

模型 加速芯片 输入 接口 TTFT (s) Prefill TPS Decode TPS
Qwen3.5-9B 2× RK1828 4K PCIe 4.80 853.7 33.19
Qwen3.5-9B 2× RK1828 4K USB3.0 4.90 836.0 33.52
Qwen3.5-9B 2× RK1828 8K PCIe 9.73 841.7 32.33
Qwen3.5-9B 2× RK1828 8K USB3.0 9.94 824.0 32.65
Qwen3.8-27B 4× RK1828 4K PCIe 6.92 592.1 13.02
Qwen3.8-27B 4× RK1828 4K USB3.0 7.15 573.2 13.02
Qwen3.8-27B 4× RK1828 8K PCIe 13.67 599.4 12.74
Qwen3.8-27B 4× RK1828 8K USB3.0 14.08 581.7 12.83
RK1828 双卡与四卡在 4K/8K 输入下的 TTFT 对照图
图 1:8 组官方 TTFT 数据。输入长度翻倍时,9B 双卡从 4.80s 升至 9.73s,27B 四卡从 6.92s 升至 13.67s;接口差异远小于输入长度差异。
RK1828 8 组 Prefill 与 Decode 吞吐对照图
图 2:Prefill 吞吐在 573.2~853.7 tokens/s 区间,Decode 吞吐在 12.74~33.52 tokens/s 区间,两阶段不在同一量级。

从矩阵可直接读出三点:第一,输入长度主要影响 TTFT,对 Decode 影响很小(27B 四卡 13.02 → 12.74);第二,模型规模主要影响 Decode(33.19 → 13.02);第三,接口差异在 Prefill 可见、在 Decode 几乎消失。

四、TTFT 与输入长度:4K → 8K 的比值表

官方数据只列出两行比值(9B PCIe ≈2.03、27B PCIe ≈1.98)。USB3.0 两组也按同一算法补上,计算值单独标注,避免与官方字段混淆。

配置 接口 4K TTFT (s) 8K TTFT (s) 8K/4K 比值 比值来源
Qwen3.5-9B · 2 卡 PCIe 4.80 9.73 ≈ 2.03 官方给出
Qwen3.5-9B · 2 卡 USB3.0 4.90 9.94 ≈ 2.03 按官方数据计算
Qwen3.8-27B · 4 卡 PCIe 6.92 13.67 ≈ 1.98 官方给出
Qwen3.8-27B · 4 卡 USB3.0 7.15 14.08 ≈ 1.97 按官方数据计算

结论是:TTFT 与输入长度近似成正比,说明 prefill 时间主要消耗在输入 token 的处理上,而不是固定开销。对交互产品而言,控制提示词长度比换接口更能改善首字等待。

五、Prefill 与 Decode 的单位成本:一个 token 差约 45 倍

配置 Prefill TPS Prefill ms/token Decode TPS Decode ms/token 单位成本倍率
9B 双卡 · 4K · PCIe 853.7 ≈ 1.17 33.19 ≈ 30.13 ≈ 25.7×
9B 双卡 · 8K · PCIe 841.7 ≈ 1.19 32.33 ≈ 30.93 ≈ 26.0×
27B 四卡 · 4K · PCIe 592.1 ≈ 1.69 13.02 ≈ 76.8 ≈ 45.4×
27B 四卡 · 8K · PCIe 599.4 ≈ 1.67 12.74 ≈ 78.49 ≈ 47.0×
27B 四卡 4K 输入下 Prefill 与 Decode 单 token 成本对照
图 3:官方给出的 1.69ms/token 与 76.8ms/token,两者相差约 45 倍;表内其余倍率按官方 TPS 换算。

官方对这两阶段的瓶颈定性是:Prefill 属算力受限,Bucket 队列化并行让 NPU 保持高利用率;Decode 属访存受限,每一步都要重新读取各卡上的权重。这一解释也带来一个实操结论:相同的长系统提示词在第二次提问时明显更快,原因是 KV Cache 可直接复用,前缀命中后不必重跑 prefill。

六、接口差异逐组拆解:PCIe 的优势只出现在 Prefill 阶段

官方概括为 PCIe 相较 USB3.0 在 TTFT 与 Prefill 上约有 2%~3% 优势、Decode 基本持平。下表按 8 组原始数值计算相对差,便于看清「优势到底落在哪一组」。

模型 / 输入 TTFT 差值 (s) TTFT 相对差 Prefill 相对差 Decode 相对差
9B · 4K 4.80 → 4.90 USB 慢 ≈ 2.1% USB 低 ≈ 2.1% USB 高 ≈ 1.0%
9B · 8K 9.73 → 9.94 USB 慢 ≈ 2.2% USB 低 ≈ 2.1% USB 高 ≈ 1.0%
27B · 4K 6.92 → 7.15 USB 慢 ≈ 3.3% USB 低 ≈ 3.2% 两组相同,均为 13.02
27B · 8K 13.67 → 14.08 USB 慢 ≈ 3.0% USB 低 ≈ 3.0% USB 高 ≈ 0.7%

关于 3.3% 的处理:27B 4K 的 TTFT 相对差略高于官方概括的 2%~3%。逐组原始数值照录并标明为计算值,不把它改写进「2%~3%」的概括,也不据此宣称 USB3.0 不可用。

工程含义:快速验证阶段用 USB3.0 HUB 接 4 卡是可接受的,Prefill 损失有限;对首字延迟敏感且已接近阈值的场景,PCIe 独立直连或 Switch 扩展更稳妥。

七、Host 资源占用与整机功耗:把算力卡之外的账也算清

Host 侧资源测试以 4 核 A76 满载为 100% 基准;功耗测试为整机(含散热风扇)验证,两组均为 8K 输入、PCIe 接口。

配置 接口 CPU 平均占用 内存平均 内存峰值
Qwen3.5-9B · 2 卡 PCIe 2.4% 179 MB 310 MB
Qwen3.5-9B · 2 卡 USB3.0 2.0% 181 MB 312 MB
Qwen3.8-27B · 4 卡 PCIe 2.6% 191 MB 524 MB
Qwen3.8-27B · 4 卡 USB3.0 2.2% 187 MB 523 MB
配置 接口 输入 系统平均功耗 系统峰值功耗 平均单卡折算
Qwen3.5-9B · 2 卡 PCIe 8K 30.5 W 67 W ≈ 15.25 W
Qwen3.8-27B · 4 卡 PCIe 8K 57.8 W 119 W ≈ 14.45 W
RK1828 双卡与四卡整机功耗及 Host 资源占用
图 4:双卡平均 30.5W / 峰值 67W,四卡平均 57.8W / 峰值 119W;Host CPU 占用均低于 3%。

Host CPU 占用均在 3% 以内、内存为百 MB 量级,说明主机主要承担编排与调度,计算负载已下沉到算力卡。反过来,四卡 27B 的 119W 峰值必须计入供电与散热预算:电池供电、车载本体、小型机器人等场景更适合双卡 9B 档;固定站点或有稳定供电的边缘服务器才适合四卡 27B 档。

八、为什么 Prefill 快、Decode 慢:分段、Bucket 流水与 KV Cache

环节 机制 对性能的影响
模型分段 以 Decoder Layer 为单位连续切分,由 RKNN3-Toolkit 按量化权重与内存占用均衡确定 并非均分;Qwen3.5-9B 32 层在双卡上为 19 层 + 13 层
末段额外职责 最后一段还包含 Final Norm 与 LM Head 末段计算量与显存占用通常更大
单 token 执行 第 N+1 段输入即第 N 段输出,存在数据依赖;任一时刻只有一个分段计算 Decode 无法靠多卡并行加速,流水线利用率天然偏低
中间特征传递 Hidden States 与本段 KV Cache 传给下一段,当前经 Host 中转,卡间直连仍在开发中 Host 承担数据搬运,但 CPU 占用仍低于 3%
Prefill 优化 长输入按 Bucket 拆分,各分段执行队列化并行 NPU 在长 prompt 下保持忙碌,吞吐显著高于 Decode
Decode 复用 各卡保留 prefill 得到的 KV Cache,每轮只送 1 个新 token 做增量计算 避免重算全部输入,但每步仍需读取权重

Bucket 流水可简化为下表的时序(按原文机制重绘为示意图,不是原表逐字抄录):

时间片 分段 0 分段 1 分段 N 状态说明
1 Bucket 0 空闲 空闲 首个小批次进入首段
2 Bucket 1 Bucket 0 空闲 首段处理后一批,次段处理前一批
3 Bucket 2 Bucket 1 Bucket 0 多段同时处理不同 Bucket,流水线被填满
长输入 Prefill 的 Bucket 队列化流水示意
图 5:同一时刻不同分段处理不同 Bucket;Decode 每轮只有 1 个 token,无法拆 Bucket,因此流水线利用率低。

小结:TTFT 偏高来自「完整输入编码」与「分段串行传递」叠加,并随输入长度线性增长;Decode 的单 token 延迟主要受访存带宽限制。

九、硬件与并行架构:3D DRAM、接入方式、层间流水线 vs 张量并行

对比项 传统 2D 芯片 3D 堆叠芯片(RK1828)
物理结构 芯片并排平铺在载板上,处于同一平面 多个芯片垂直堆叠,形成立体结构
DRAM 接口 接口数量少(32~128) DRAM IO 接口数量多(>10000 bit)
带宽 互联距离长,寄生电阻电容较大,延迟较高、带宽受限 垂直互联距离极短,延迟与功耗显著降低,带宽高
功耗效率 长距离信号驱动需要更多功耗 短距离互联减少驱动功耗,能效更高
传统 2D 平铺与 RK1828 3D 堆叠 DRAM 架构对比
图 6:3D 堆叠通过垂直互联缩短 DRAM 路径,是端侧 NPU 在带宽与能效上的结构性差异。
接入方式 结构特点 适用场景
PCIe 独立直连 每张卡各占一条独立 PCIe 2.0 x1,链路独立、无共享争抢 对首字延迟与稳定性要求高的正式部署
PCIe Switch 扩展 上行 PCIe 2.0 x1 或 PCIe 3.0 x4,经 Switch 分发至 2/4 卡 节省 Host 接口资源,兼顾带宽
USB3.0 HUB 扩展 4 张卡共享一个 USB3.0 HUB 集成速度快,适合快速验证
对比项 层间流水线并行(本方案) 张量并行(Tensor Parallel)
切分对象 按 Decoder 层切分 按矩阵分片切分
卡间协作 串行传递中间特征 并行计算 + 归约
通信量 每段边界传递一次 每层内部多次高频同步
带宽要求 PCIe 2.0 x1 / USB3.0 可接受 极高,通常需 NVLink 级别
端侧可行性 可行 受限于 PCIe / M.2 带宽
配置 已适配模型 典型应用方向
单卡 7B 级模型 轻量推理
2 卡 Qwen3.5-9B、gemma-4-12B(2 个 segment) 轻量对话、多模态理解、本地语音处理
4 卡 Qwen3.8-27B、Qwen3.5-27B、gemma-4-31B(4 个 segment) 大参数中文模型、代码 Agent、本地知识问答

口径提示:方案优势概述里另有「单卡 7B → 双卡 12B → 4 卡 27B」的写法,而上表双卡同时列出 9B 与 12B。这是概述档位与已适配模型清单两个口径,这里并列列出,不擅自合并。

十、软件栈五层、工程约束与选型建议

层级 职责 典型入口
应用层 用户 / 业务系统交互 浏览器 / OpenAI SDK / OpenCode
API 层 提供标准化推理接口 本地 Web UI / OpenAI-compatible API
Server 层 模型服务与 Agent 编排 RKLLM3 Server / Agent 应用
Runtime 层 模型推理运行时 RKNN3 Runtime
硬件层 端侧 NPU 加速 RK1828 NPU 算力卡 × N
RK1828 多卡级联软件协议栈五层结构
图 7:请求自上而下传递,生成结果沿相反方向以流式 token 返回;复用 RKNN3 Runtime 与应用接口,上层应用无需重新适配。
约束 / 能力 要求或说明
stage_count 必须等于分段数
设备数量 可用设备数不少于分段数,否则无法完成一次完整推理
平台支持 ARM64(RK3588、RK3576 等)Linux / Android,以及 Windows x86
接口复用 复用 RKNN3 Runtime 与应用接口,上层应用无需重新适配
生态接入 OpenAI /v1 兼容接口;OpenClaw / Nanobot 等 Agent 框架可直连
视频协同 MPP 硬解与 NPU 推理硬件级隔离,多路解码不抢 CPU
数据闭环 大模型 / VLM / ASR 全部板端推理,断网环境可运行
场景 建议起点 关键理由 / 限制
短提示交互对话 2 卡 + Qwen3.5-9B(4K PCIe:4.80s / 33.19 TPS) TTFT 与 Decode 平衡较好,整机平均 30.5W
长文档 / 本地知识问答 4 卡 + Qwen3.8-27B,并启用前缀缓存 8K TTFT 达 13.67s,需控制输入长度并复用 KV Cache
代码 Agent / 多模态理解 4 卡 27B 或 2 卡 12B 档 按显存容量与吞吐预算选档,不追求线性加速
多路视频 + 推理并行 RK3588 Host + MPP 硬解 + RK1828 解码与推理硬件隔离,Host CPU 仅 2.4%~2.6%
样机快速验证 USB3.0 HUB 4 卡 Prefill 仅约 2%~3% 劣势,集成快
电池 / 车载 / 小型机器人 优先 2 卡,四卡需重新评估供电散热 27B 四卡峰值 119W,超出多数小型平台预算

关键词索引

关键词 检索意图 / 对应内容
实测数据类 RK1828 实测数据、RK1828 27B 数据、8 组性能矩阵、TTFT 13.67s、Prefill 592.1 TPS、Decode 13.02 TPS、4K 8K 对照、PCIe USB3.0 差异
硬件架构类 RK1828 SO-DIMM、M.2 Key B-M、3D 堆叠 DRAM、PCIe 2.0 x1、PCIe Switch、USB3.0 HUB、RK3588 主控
软件与部署类 RKNN3 Runtime、RKLLM3 Server、W4A16、stage_count、KV Cache、Prompt Cache、OpenAI /v1 兼容接口、层间流水线并行、张量并行
工程选型类 端侧 27B 大模型、边缘 AI 推理、整机功耗 57.8W、峰值 119W、内存峰值 524 MB、CPU 占用 2.6%、爱派派智能边缘 AI 方案

十一、常见问题(FAQ)

Q1:和站内 2026-11-11 的 RK1828 实测报告是什么关系?

A:两篇的数据源同为瑞芯微官方公开测试,但覆盖范围不同。11-11 那篇主要给出 4K 输入的代表性数字(4.80s / 853.7 TPS / 33.19 TPS、6.92s / 592.1 TPS / 13.02 TPS,以及 CPU 2.4%~2.6%、30.5W/57.8W)。新增内容包括:8K 输入的全部 TTFT 与吞吐数字、USB3.0 四组完整对照、Host 内存峰值、Prefill/Decode 单位成本、Bucket 流水与 TTFT 成因、3D DRAM 与张量并行对比、接入方式与模型规模配置表、软件栈五层和工程约束。两篇互为补充,不是同一篇的重复发布。

Q2:这些数字是爱派派自己复测的吗?

A:不是。全部性能、资源与功耗数字来自瑞芯微官方公开测试,测试条件为 RK3588 Host、RK1828 SO-DIMM、W4A16 量化、输出固定 128 tokens。爱派派智能未做独立复测,不对具体项目做性能承诺;实际结果随模型版本、量化参数、驱动与 Runtime 版本、散热与供电条件变化,选型前应以目标板实测为准。

Q3:为什么输入从 4K 增到 8K,TTFT 接近翻倍?

A:首个 token 输出前必须完成全部输入 token 的编码,而 attention 各层之间存在串行依赖。在层间流水线方案里,输入编码又被切成多个分段依次传递,因此总 prefill 时间约等于各段计算耗时加卡间传输耗时,与输入长度近似成正比。官方数据中 9B 双卡 PCIe 从 4.80s 到 9.73s(比值约 2.03),27B 四卡 PCIe 从 6.92s 到 13.67s(比值约 1.98)。

Q4:Prefill 592.1 TPS 与 Decode 13.02 TPS 为什么差 40 多倍?

A:两阶段瓶颈不同。Prefill 可把长输入拆成多个 Bucket,让各分段队列化并行,NPU 利用率高,单位 token 成本约 1.69ms;Decode 每轮只有 1 个新 token,无法拆 Bucket,且每段都要重新读取本地权重,属访存受限,单位 token 成本约 76.8ms。两者相除约 45 倍,这就是同一模型两阶段吞吐差异巨大的原因。

Q5:PCIe 与 USB3.0 到底差多少?

A:按官方 8 组逐项计算,PCIe 在 TTFT 上快约 2.1%~3.3%,Prefill 吞吐高约 2.1%~3.2%;Decode 阶段差异很小,27B 4K 两组均为 13.02 tokens/s。原因是 Decode 每轮传输的数据量极小,瓶颈在权重读取而非链路带宽。百分比按官方原始数值计算,不是原表字段;其中 27B 4K 的 TTFT 差约 3.3%,略高于官方概括的 2%~3%。

Q6:四卡跑 27B 是不是就能拿到四倍吞吐?

A:不能。9B 双卡 Decode 为 33.19 tokens/s,27B 四卡降到 13.02 tokens/s,降幅约 61%;Prefill 从 853.7 降到 592.1 tokens/s,降幅约 31%。多卡级联解决的是显存容量问题,让原本装不下的模型能跑起来,并不线性放大吞吐;参数量增加与分段数增加都会拉长单 token 的串行链路。

Q7:Host CPU 只占 2.4%~2.6%,是不是主机完全不参与?

A:不是「不参与」,而是「不做矩阵计算」。Host 侧承担分词与词向量映射、设备发现、分段调度、中间特征传递以及末段 Logits 采样;实际的 Decoder 层计算全部下沉到 RK1828。这也是 RK3588 能同时处理编解码、业务逻辑与服务编排的原因。需要注意中间特征目前经 Host 传递,卡间直连仍在开发中。

Q8:27B 四卡 57.8W 平均、119W 峰值,能用于电池供电设备吗?

A:需要非常谨慎。双卡 9B 方案整机平均 30.5W、峰值 67W;四卡 27B 平均 57.8W、峰值 119W。按卡数折算,平均单卡约 15W(15.25W / 14.45W,按官方整机数据计算)。119W 峰值已超出多数小型移动平台与电池供电设备的供电与散热预算,更适合有稳定供电与风道的边缘服务器、车载主机或固定站点。

Q9:层间流水线并行和张量并行有什么区别?

A:层间流水线按 Decoder 层切分,卡间串行传递中间特征,每段边界通信一次,PCIe 2.0 x1 或 USB3.0 就能承载;张量并行按矩阵分片,卡间需每层多次高频同步与归约,通常要求 NVLink 级别带宽。端侧卡间带宽受限,因此选择层间流水线是工程取舍,代价是单 token 时刻只有一个分段在计算。

Q10:同样的长系统提示词反复提问,能不能避免每次都等 TTFT?

A:可以利用前缀缓存 / Prompt Cache 思路:prefill 阶段各卡得到的 KV Cache 保留在本地显存,若前缀命中,重复的长提示词不必重新编码,第二次响应会明显加快。需要注意 KV Cache 占用显存,长上下文并发场景要预留容量;所引官方测试为固定输入条件的性能数据,未覆盖缓存命中率对 TTFT 的影响。

Q11:部署时对分段数和设备数有什么硬性要求?

A:方案要求 stage_count 等于分段数,且可用设备数不少于分段数,否则无法完成一次完整推理。分段以 Decoder Layer 为单位连续切分,由 RKNN3-Toolkit 按量化权重与内存占用均衡后确定,并非简单均分。例如 Qwen3.5-9B 的 32 层在双卡上切为 19 层 + 13 层,末段还承担 Final Norm 与 LM Head。

联系我们 · 边缘 AI 选型与方案对接

深圳市爱派派智能科技有限公司(爱派派智能)

地址:深圳市坪山区创新广场C栋1805

电话:18681465731

联系人:李先生

官网:https://ai-paipai.com

说明:数字来自瑞芯微官方公开测试,爱派派智能未独立复测、未宣称代理或授权关系;配图为自绘,正文不含原站图片与外链,报价与交期以项目确认为准。

↑