×

RK1828 多卡级联实测报告:双卡 Qwen3.5-9B 33.19 TPS、四卡 Qwen3.8-27B 13.02 TPS,CPU 仅 2.4%~2.6% 与整机 30.5W / 57.8W 全数据

2026-11-11





RK1828 多卡级联实测报告:双卡 Qwen3.5-9B 33.19 TPS、四卡 Qwen3.8-27B 13.02 TPS,CPU 仅 2.4%~2.6% 与整机 30.5W / 57.8W 全数据








RK1828 多卡级联实测数据速览:Decode TPS、CPU 占用与整机功耗

2026 实测数据 · 深度解析

27B 大模型不必上 GPU 服务器:四卡整机平均 57.8W,主控 CPU 只用了 2.4%~2.6%。
RK3588 主控 + N × RK1828 的多卡级联架构,把算力与内存统一调度、协同推理,让大参数模型、视觉理解、语音处理与 Agent 工具能力留在设备本地。全套实测数字与硬件规格整理成可直接查证的文本表格。

依据 Firefly 开源团队《RK1828 多卡级联本地部署方案》公开资料中的实测图与产品页,逐项整理首字延迟、Prefill / Decode 吞吐、主控开销、整机功耗、双卡 / 四卡整机尺寸与接口。所有数字照录原口径,未做外推或换算;对原图未标注映射关系的数值,文中明确标注为推定。

深圳市爱派派智能科技有限公司(爱派派智能)可提供该架构的选型评估、配套采购与方案对接支持。产品原厂型号照录,爱派派智能未宣称独家代理;最终参数、接口与出货配置以原厂规格书为准。

一、为什么需要多卡级联:把 27B 大模型留在设备现场

当 AI 从云端走向设备现场,单块端侧 NPU 的算力与内存很快触到天花板。RK3588 主控 + N × RK1828 的多卡级联架构给出了另一条路径:把多张加速卡的算力与内存统一调度、协同推理,让大参数模型、视觉理解、语音处理与 Agent 工具能力全部部署在本地设备。能力档位从单卡 7B 轻量推理、双卡 12B,扩展到四卡 27B 推理,按项目预算与模型规模弹性选型。

聚焦 可量化的实测数据与硬件规格:首字延迟、Prefill / Decode 吞吐、主控开销、整机功耗与峰值、双卡 / 四卡整机尺寸与接口。全部数字转成纯文本表格,便于检索与比对。配套的方案总览与软件栈说明,可参阅《RK1828 多卡级联边缘 AI 本地部署方案》。

二、实测条件与数据口径

脱离测试条件谈 TPS 没有意义。下表先把原厂发布资料给出的实测条件完整列清,后文所有数字均在这一口径下引用,不做外推或估算。

口径项 发布资料标注值
主控 Host RK3588
加速卡形态 RK1828 SO-DIMM
加速卡数量 2 张(双卡工况)/ 4 张(四卡工况)
互联方式 PCIe 接口实测,多卡级联统一调度、模型切分
模型量化 W4A16
输入 / 输出长度 4K 输入 / 128 输出
实测模型 Qwen3.5-9B(2 卡)、Qwen3.8-27B(4 卡)
主控 CPU 口径 RK3588 以 4 核 A76 计,推理全程统计
数据来源 Firefly 开源团队《RK1828 多卡级联本地部署方案》实测图与产品页

说明:Prefill TPS 与 Decode TPS 是不同阶段的吞吐指标,TTFT 是首 token 延迟;三者不可混用,也不能跨不同模型与上下文长度直接比大小。

三、多卡大模型推理性能:两组完整数据

这是整套方案最核心的实测结果:9B 模型在双卡上跑出 33.19 TPS 的 Decode 速度,27B 模型在四卡上仍保持 13.02 TPS,且首字延迟控制在 6.92 秒。对本地问答、代码辅助、会议总结与 Agent 工具调用这类交互负载,已经具备可用的响应体验。

RK1828 双卡 Qwen3.5-9B 与四卡 Qwen3.8-27B 推理性能对照表
Qwen3.5-9B(2 × RK1828)与 Qwen3.8-27B(4 × RK1828)的 TTFT、Prefill TPS、Decode TPS 对照。数据来自原厂发布资料实测图,本图为文字化重绘,非新实测。
模型 / 卡数 TTFT 首字延迟 Prefill TPS Decode TPS 实测条件
Qwen3.5-9B · 2 × RK1828 4.80 s 853.7 33.19 W4A16 · 4K 输入 / 128 输出
Qwen3.8-27B · 4 × RK1828 6.92 s 592.1 13.02 W4A16 · 4K 输入 / 128 输出
指标 含义 工程上怎么用
TTFT 首字延迟 从发起请求到返回第一个 token 的时间 决定交互体感,长上下文场景会更敏感
Prefill TPS 输入提示词预填充阶段的 token 处理速度 决定长文档、长视频描述等多输入任务的等待时间
Decode TPS 逐 token 生成阶段的输出速度 决定回答生成快慢,直接影响并发路数规划
W4A16 量化 权重 4bit、激活 16bit 的量化方式 影响显存占用、精度与可用模型清单

四、主控开销极低:推理卸载之后的 RK3588

原厂对这一点的表述是「主控轻载零压力」:推理全部卸载至 RK1828,RK3588 专注编解码、业务逻辑与服务编排。实测给出两组推理全程数据——CPU 平均占用 2.4% / 2.6%,Host 平均内存占用 179 / 191 MB。

RK1828 多卡级联整机功耗与主控开销数据对照
双卡 / 四卡系统的平均功耗、峰值功耗、RK3588 CPU 平均占用与 Host 平均内存占用对照。数据来自原厂发布资料,本图为文字化重绘,非新实测。
开销项 发布资料数值 说明
RK3588 CPU 平均占用 2.4% / 2.6% 两组推理全程工况;以 4 核 A76 计
Host 平均内存占用 179 MB / 191 MB 两组推理全程工况
业务余量 编解码、业务逻辑、服务编排 MPP 硬解与 NPU 推理硬件级隔离

诚实标注:原图只给出「2.4% / 2.6%」与「179 / 191 MB」两组数值,未逐一标注其与双卡 / 四卡工况的映射关系。按正文「Qwen3.5-9B(2卡)/ Qwen3.8-27B(4卡)」的排列顺序推定,不把推定当作原厂结论;实际项目请按自身负载复测。

五、整机功耗友好:平均值与峰值都要看

端侧部署真正关心的不只是峰值算力,还有能不能用普通电源、普通机箱跑起来。实测双卡系统平均 30.5W、四卡系统平均 57.8W;原厂对 27B 级推理的定性描述是「整机功耗与一台笔记本相当,无需独立供电与机房环境」。

配置 平均功耗 峰值功耗 电源与散热建议
双卡系统(2 × RK1828) 30.5 W 67 W 按峰值 67W 留余量,核对适配器与散热结构
四卡系统(4 × RK1828) 57.8 W 119 W 按峰值 119W 留余量,重点核对机箱风道

功耗图同时给出峰值,这一点在选型时容易被忽略:如果只按平均值配电源,模型加载、prefill 突发或多路视频并发时就可能触发限流。

六、双卡 / 四卡整机与开发套件规格对照

发布资料给出两条产品线:双卡级联系列 AIBOX PRO / AIBOX PRO KIT,四卡级联系列 AIBOX QUA / AIBOX QUA KIT。两者共用 RK3588 主控,差异集中在加速卡数量、整机尺寸、扩展接口与标注可运行的模型。

AIBOX PRO / PRO KIT 与 AIBOX QUA / QUA KIT 规格对照
双卡级联系列与四卡级联系列的型号、算力规格、标注模型、主机与开发套件尺寸、扩展接口对照。数据来自原厂发布资料产品页,最终以实际出货版本为准。
项目 双卡级联系列 四卡级联系列
整机 / 套件型号 AIBOX PRO / AIBOX PRO KIT AIBOX QUA / AIBOX QUA KIT
算力规格 RK3588 + 2 × RK1828 RK3588 + 4 × RK1828
发布资料标注模型 Qwen3.5-9B Qwen3.8-27B
主机尺寸 160.0 × 111.0 × 61.0 mm 128.0 × 128.0 × 49.5 mm
开发套件尺寸 148.0 × 106.0 × 36.4 mm 126.2 × 120.0 × 29.0 mm
扩展接口 双路千兆网、CAN-FD、RS485、隔离 DI/DO、HDMI2.1 等 5G 以太网、千兆以太网、M.2、USB3.0、HDMI2.1、TF Card 等
产品形态 接口清单(照录发布资料) 适合的项目
AIBOX PRO / PRO KIT(双卡) 双路千兆网、CAN-FD、RS485、隔离 DI/DO、HDMI2.1 等 工业现场接入、边缘控制与双卡 9B 级推理
AIBOX QUA / QUA KIT(四卡) 5G 以太网、千兆以太网、M.2、USB3.0、HDMI2.1、TF Card 等 27B 级大模型、多模态与本地 Agent 服务

命名口径:站内另有《AIO-3588L QUA 四卡 AI 算力矩阵》,对应的是四卡开发板型号;AIBOX QUA / QUA KIT 是整机与开发套件产品名。两者命名层级不同,具体对应与出货配置请按规格书确认。

七、运行流程与六大方案优势

整套链路可以概括为「输入 → RK3588 主控编排 → RK1828 多卡推理 → 输出」。关键在于媒体处理与 AI 推理在硬件层面隔离,因此多路视频解码不抢 CPU、推理不卡预览。

RK3588 + N × RK1828 运行流程与六大方案优势示意
输入(视频 / 音频 / 文本)→ RK3588 主控(MPP 硬解、业务调度、RKLLM3-Server)→ RK1828 × N(大模型、VLM、ASR、检测 / ReID / VLA)→ 输出(Web UI、机械臂、告警播报)。按原厂发布资料文字化重绘的示意图。
链路阶段 承担单元 关键能力 工程价值
输入 多路 IPC / USB 相机、麦克风阵列、自然语言指令 视频流、音频、文本 / 指令 多模态统一入口
媒体处理与编排 RK3588 主控 MPP 硬解最多 4 路 1080P、不占 CPU;业务调度与框架 解码与推理并行
服务层 RKLLM3-Server OpenAI /v1 兼容接口、Agent 工具调用 已有业务系统低成本接入
模型推理 RK1828 NPU 加速卡 × N 大模型推理 7B~27B、VLM / Embedding、ASR、检测 / ReID / VLA 算力与内存统一调度
输出 Web UI、机械臂、告警 / 播报 预览检索配置、VLA 动作序列、语义描述 + TTS 从感知到执行的闭环
方案优势 发布资料要点 对应实测 / 规格依据
算力弹性扩展 PCIe 多卡级联统一调度,单卡 7B → 双卡 12B → 4 卡 27B,跨卡分布式推理 双卡 9B / 四卡 27B 两组实测
主控轻载零压力 推理全部卸载至 RK1828,RK3588 专注编解码、业务逻辑与服务编排 CPU 平均 2.4% / 2.6%
解码与推理并行 MPP 硬解与 NPU 推理硬件级隔离,多路解码不抢 CPU、推理不卡预览 MPP 硬解最多 4 路 1080P
端侧低功耗 无 GPU 服务器的功耗、体积与散热负担,适合嵌入式部署 双卡 30.5W / 四卡 57.8W(平均)
数据本地闭环 大模型 / VLM / ASR 全部板端推理,录音与画面不出内网,断网稳定运行 满足私有化与内网部署要求
生态即插即用 OpenAI /v1 兼容接口,OpenClaw / Nanobot 等 Agent 框架直连,MCP 工具注册 RKLLM3-Server 服务层

八、与站内既有资料的关系:新增了什么

rk1828 主题在站内已有多篇内容,为避免重复、便于按意图检索,这里明确分工:

资料 覆盖范围 是否重复
多卡级联部署方案总览 软件栈 RKNN3 / RKLLM3、OpenAI 兼容接口、Agent 接入、模型分段原理 不重复,补充实测数据
RK3588 + RK1828 模组实测 0.5B 到 27B 共 42 组单卡 / 模组性能数据 不重复,聚焦双卡 / 四卡整机功耗与开销
AIO-3588L QUA 四卡矩阵 四卡开发板型号、86 TOPS、27B 与 35B MoE 能力 不重复,补充整机形态与尺寸对照
姊妹篇:落地案例 ReID 行人检索、本地 Agent、8 类行业场景与部署边界 互补,只讲性能与硬件

九、选型速查:按需求挑配置

项目需求 建议配置 依据
9B 级本地问答、功耗与体积敏感 双卡 AIBOX PRO / PRO KIT(2 × RK1828) 平均 30.5W、Decode 33.19 TPS、160.0 × 111.0 × 61.0 mm
27B 级大模型或本地 Agent 服务 四卡 AIBOX QUA / QUA KIT(4 × RK1828) 平均 57.8W、Decode 13.02 TPS、128.0 × 128.0 × 49.5 mm
工业现场多协议接入 双卡级联系列 双路千兆网、CAN-FD、RS485、隔离 DI/DO
多路视频 + 大模型并发 四卡级联系列 + MPP 硬解 解码与推理硬件隔离、最多 4 路 1080P
研发评估、二次开发 KIT 开发套件形态 PRO KIT 148.0 × 106.0 × 36.4 mm;QUA KIT 126.2 × 120.0 × 29.0 mm

采购前请确认五点:① 目标模型是否有对应的多卡 RKNN 切分产物;② 按峰值功耗(双卡 67W / 四卡 119W)配电源与散热;③ 实际出货接口与尺寸;④ 自身上下文长度、并发路数下的 TTFT / TPS 复测;⑤ OpenAI /v1 兼容接口与 Agent 框架版本。报价与交期以项目确认为准。

十、关键词索引

下表按层级汇总所覆盖的产品、平台、性能与场景关键词。

关键词层级 关键词
核心产品词 RK1828、RK1828 多卡级联、RK3588 + RK1828、AIBOX PRO、AIBOX PRO KIT、AIBOX QUA、AIBOX QUA KIT、AIO-3588L QUA
模型与算力词 Qwen3.5-9B、Qwen3.8-27B、单卡 7B、双卡 12B、四卡 27B、W4A16、4K 输入、128 输出
性能指标词 33.19 TPS、13.02 TPS、853.7 Prefill TPS、592.1 Prefill TPS、TTFT 4.80s、TTFT 6.92s、2.4% CPU、2.6% CPU、179MB、191MB
功耗词 30.5W、57.8W、67W 峰值、119W 峰值、端侧低功耗、无独立供电
架构与接口词 PCIe 多卡级联、RK1828 SO-DIMM、RK3588 Host、MPP 硬解、RKLLM3-Server、OpenAI /v1、MCP、OpenClaw、Nanobot
场景词 端侧大模型、本地推理、边缘 AI、私有化部署、多路视频分析、本地 Agent、数据不出内网
品牌与服务 爱派派智能、深圳市爱派派智能科技有限公司、边缘 AI 选型、配套采购与方案支持

十一、常见问题(FAQ)

Q1:33.19 TPS 和 13.02 TPS 分别是什么工况?

A:两者都是 Decode 阶段每秒生成 token 数。33.19 TPS 来自 Qwen3.5-9B 在 2 × RK1828 双卡上的实测,13.02 TPS 来自 Qwen3.8-27B 在 4 × RK1828 四卡上的实测。共同条件为模型量化 W4A16、4K 输入 / 128 输出、RK3588 Host、RK1828 SO-DIMM 加速卡与 PCIe 接口。模型规模与卡数都不同,两个数字不能直接当作「双卡比四卡快」的结论。

Q2:单卡 7B、双卡 12B、四卡 27B,为什么产品图标的是 9B 和 27B?

A:「7B / 12B / 27B」是发布资料给出的模型规模档位,用于描述按需扩展的能力边界;而 Qwen3.5-9B、Qwen3.8-27B 是本次实测与产品页标注的具体模型。两者属于「能力档位」与「已验证模型」两个不同口径,选型时应以实际出货版本提供的多卡 RKNN 产物清单为准。

Q3:RK3588 的 CPU 占用真能低到 2.4% 吗?

A:原厂发布资料给出的两组推理全程 RK3588 CPU 平均占用为 2.4% 与 2.6%(以 4 核 A76 计),Host 平均内存占用为 179MB 与 191MB。原因是推理被完整卸载到 RK1828,主控只负责 MPP 硬解、业务编排与服务层。需注意原图未标注这两组数值与双卡 / 四卡工况的逐一映射,按正文顺序推定,实际项目建议按自身负载复测。

Q4:双卡 30.5W、四卡 57.8W 是峰值还是平均值?

A:是整机平均功耗。同一张功耗图还给出峰值:双卡系统 67W、四卡系统 119W。电源适配器选型、散热设计与机箱空间应按峰值而非平均值留余量。原厂对 27B 级推理的定性描述是「整机功耗与一台笔记本相当,无需独立供电与机房环境」。

Q5:AIBOX QUA 与 AIO-3588L QUA 是同一款产品吗?

A:两者命名层级不同:AIBOX QUA / AIBOX QUA KIT 是本次发布资料中四卡整机与开发套件的产品名(RK3588 + 4 × RK1828,主机 128.0 × 128.0 × 49.5 mm);AIO-3588L QUA 是站内已有的四卡开发板型号专文。具体对应关系、接口与出货配置请按订单与规格书确认。

Q6:MPP 硬解与 NPU 推理为什么能并行?

A:运行流程图把 RK3588 主控侧拆成 MPP 硬解(最多 4 路 1080P、不占 CPU)、业务调度与框架、RKLLM3-Server 三层;推理负载由 PCIe 级联的 RK1828 承担。视频解码与模型推理在硬件层面隔离,因此多路视频解码不会抢占 CPU,推理也不会拖慢预览。

Q7:采购前必须确认哪些边界?

A:① 所选模型是否有对应的多卡 RKNN 切分产物(并非任意模型都能自动切分);② 整机峰值功耗与散热方案(双卡 67W / 四卡 119W);③ 实际出货的接口清单与尺寸;④ 量化方式、上下文长度与业务并发下的实测 TPS;⑤ OpenAI /v1 兼容接口与 Agent 框架版本。参数取自原厂发布资料,报价与交期以项目确认为准。

联系我们 · 选型评估与配套支持

深圳市爱派派智能科技有限公司(爱派派智能)

地址:深圳市坪山区创新广场C栋1805

电话:18681465731

联系人:李先生

官网:https://ai-paipai.com

说明:参数与案例取自 Firefly 开源团队公开发布资料;产品原厂型号照录,爱派派智能提供选型评估、配套采购与方案对接支持,未宣称独家代理,报价与交期以项目确认为准。

↑