27B 大模型不必上 GPU 服务器:四卡整机平均 57.8W,主控 CPU 只用了 2.4%~2.6%。
RK3588 主控 + N × RK1828 的多卡级联架构,把算力与内存统一调度、协同推理,让大参数模型、视觉理解、语音处理与 Agent 工具能力留在设备本地。全套实测数字与硬件规格整理成可直接查证的文本表格。
依据 Firefly 开源团队《RK1828 多卡级联本地部署方案》公开资料中的实测图与产品页,逐项整理首字延迟、Prefill / Decode 吞吐、主控开销、整机功耗、双卡 / 四卡整机尺寸与接口。所有数字照录原口径,未做外推或换算;对原图未标注映射关系的数值,文中明确标注为推定。
深圳市爱派派智能科技有限公司(爱派派智能)可提供该架构的选型评估、配套采购与方案对接支持。产品原厂型号照录,爱派派智能未宣称独家代理;最终参数、接口与出货配置以原厂规格书为准。
当 AI 从云端走向设备现场,单块端侧 NPU 的算力与内存很快触到天花板。RK3588 主控 + N × RK1828 的多卡级联架构给出了另一条路径:把多张加速卡的算力与内存统一调度、协同推理,让大参数模型、视觉理解、语音处理与 Agent 工具能力全部部署在本地设备。能力档位从单卡 7B 轻量推理、双卡 12B,扩展到四卡 27B 推理,按项目预算与模型规模弹性选型。
聚焦 可量化的实测数据与硬件规格:首字延迟、Prefill / Decode 吞吐、主控开销、整机功耗与峰值、双卡 / 四卡整机尺寸与接口。全部数字转成纯文本表格,便于检索与比对。配套的方案总览与软件栈说明,可参阅《RK1828 多卡级联边缘 AI 本地部署方案》。
脱离测试条件谈 TPS 没有意义。下表先把原厂发布资料给出的实测条件完整列清,后文所有数字均在这一口径下引用,不做外推或估算。
| 口径项 | 发布资料标注值 |
|---|---|
| 主控 Host | RK3588 |
| 加速卡形态 | RK1828 SO-DIMM |
| 加速卡数量 | 2 张(双卡工况)/ 4 张(四卡工况) |
| 互联方式 | PCIe 接口实测,多卡级联统一调度、模型切分 |
| 模型量化 | W4A16 |
| 输入 / 输出长度 | 4K 输入 / 128 输出 |
| 实测模型 | Qwen3.5-9B(2 卡)、Qwen3.8-27B(4 卡) |
| 主控 CPU 口径 | RK3588 以 4 核 A76 计,推理全程统计 |
| 数据来源 | Firefly 开源团队《RK1828 多卡级联本地部署方案》实测图与产品页 |
说明:Prefill TPS 与 Decode TPS 是不同阶段的吞吐指标,TTFT 是首 token 延迟;三者不可混用,也不能跨不同模型与上下文长度直接比大小。
这是整套方案最核心的实测结果:9B 模型在双卡上跑出 33.19 TPS 的 Decode 速度,27B 模型在四卡上仍保持 13.02 TPS,且首字延迟控制在 6.92 秒。对本地问答、代码辅助、会议总结与 Agent 工具调用这类交互负载,已经具备可用的响应体验。

| 模型 / 卡数 | TTFT 首字延迟 | Prefill TPS | Decode TPS | 实测条件 |
|---|---|---|---|---|
| Qwen3.5-9B · 2 × RK1828 | 4.80 s | 853.7 | 33.19 | W4A16 · 4K 输入 / 128 输出 |
| Qwen3.8-27B · 4 × RK1828 | 6.92 s | 592.1 | 13.02 | W4A16 · 4K 输入 / 128 输出 |
| 指标 | 含义 | 工程上怎么用 |
|---|---|---|
| TTFT 首字延迟 | 从发起请求到返回第一个 token 的时间 | 决定交互体感,长上下文场景会更敏感 |
| Prefill TPS | 输入提示词预填充阶段的 token 处理速度 | 决定长文档、长视频描述等多输入任务的等待时间 |
| Decode TPS | 逐 token 生成阶段的输出速度 | 决定回答生成快慢,直接影响并发路数规划 |
| W4A16 量化 | 权重 4bit、激活 16bit 的量化方式 | 影响显存占用、精度与可用模型清单 |
原厂对这一点的表述是「主控轻载零压力」:推理全部卸载至 RK1828,RK3588 专注编解码、业务逻辑与服务编排。实测给出两组推理全程数据——CPU 平均占用 2.4% / 2.6%,Host 平均内存占用 179 / 191 MB。

| 开销项 | 发布资料数值 | 说明 |
|---|---|---|
| RK3588 CPU 平均占用 | 2.4% / 2.6% | 两组推理全程工况;以 4 核 A76 计 |
| Host 平均内存占用 | 179 MB / 191 MB | 两组推理全程工况 |
| 业务余量 | 编解码、业务逻辑、服务编排 | MPP 硬解与 NPU 推理硬件级隔离 |
诚实标注:原图只给出「2.4% / 2.6%」与「179 / 191 MB」两组数值,未逐一标注其与双卡 / 四卡工况的映射关系。按正文「Qwen3.5-9B(2卡)/ Qwen3.8-27B(4卡)」的排列顺序推定,不把推定当作原厂结论;实际项目请按自身负载复测。
端侧部署真正关心的不只是峰值算力,还有能不能用普通电源、普通机箱跑起来。实测双卡系统平均 30.5W、四卡系统平均 57.8W;原厂对 27B 级推理的定性描述是「整机功耗与一台笔记本相当,无需独立供电与机房环境」。
| 配置 | 平均功耗 | 峰值功耗 | 电源与散热建议 |
|---|---|---|---|
| 双卡系统(2 × RK1828) | 30.5 W | 67 W | 按峰值 67W 留余量,核对适配器与散热结构 |
| 四卡系统(4 × RK1828) | 57.8 W | 119 W | 按峰值 119W 留余量,重点核对机箱风道 |
功耗图同时给出峰值,这一点在选型时容易被忽略:如果只按平均值配电源,模型加载、prefill 突发或多路视频并发时就可能触发限流。
发布资料给出两条产品线:双卡级联系列 AIBOX PRO / AIBOX PRO KIT,四卡级联系列 AIBOX QUA / AIBOX QUA KIT。两者共用 RK3588 主控,差异集中在加速卡数量、整机尺寸、扩展接口与标注可运行的模型。

| 项目 | 双卡级联系列 | 四卡级联系列 |
|---|---|---|
| 整机 / 套件型号 | AIBOX PRO / AIBOX PRO KIT | AIBOX QUA / AIBOX QUA KIT |
| 算力规格 | RK3588 + 2 × RK1828 | RK3588 + 4 × RK1828 |
| 发布资料标注模型 | Qwen3.5-9B | Qwen3.8-27B |
| 主机尺寸 | 160.0 × 111.0 × 61.0 mm | 128.0 × 128.0 × 49.5 mm |
| 开发套件尺寸 | 148.0 × 106.0 × 36.4 mm | 126.2 × 120.0 × 29.0 mm |
| 扩展接口 | 双路千兆网、CAN-FD、RS485、隔离 DI/DO、HDMI2.1 等 | 5G 以太网、千兆以太网、M.2、USB3.0、HDMI2.1、TF Card 等 |
| 产品形态 | 接口清单(照录发布资料) | 适合的项目 |
|---|---|---|
| AIBOX PRO / PRO KIT(双卡) | 双路千兆网、CAN-FD、RS485、隔离 DI/DO、HDMI2.1 等 | 工业现场接入、边缘控制与双卡 9B 级推理 |
| AIBOX QUA / QUA KIT(四卡) | 5G 以太网、千兆以太网、M.2、USB3.0、HDMI2.1、TF Card 等 | 27B 级大模型、多模态与本地 Agent 服务 |
命名口径:站内另有《AIO-3588L QUA 四卡 AI 算力矩阵》,对应的是四卡开发板型号;AIBOX QUA / QUA KIT 是整机与开发套件产品名。两者命名层级不同,具体对应与出货配置请按规格书确认。
整套链路可以概括为「输入 → RK3588 主控编排 → RK1828 多卡推理 → 输出」。关键在于媒体处理与 AI 推理在硬件层面隔离,因此多路视频解码不抢 CPU、推理不卡预览。

| 链路阶段 | 承担单元 | 关键能力 | 工程价值 |
|---|---|---|---|
| 输入 | 多路 IPC / USB 相机、麦克风阵列、自然语言指令 | 视频流、音频、文本 / 指令 | 多模态统一入口 |
| 媒体处理与编排 | RK3588 主控 | MPP 硬解最多 4 路 1080P、不占 CPU;业务调度与框架 | 解码与推理并行 |
| 服务层 | RKLLM3-Server | OpenAI /v1 兼容接口、Agent 工具调用 | 已有业务系统低成本接入 |
| 模型推理 | RK1828 NPU 加速卡 × N | 大模型推理 7B~27B、VLM / Embedding、ASR、检测 / ReID / VLA | 算力与内存统一调度 |
| 输出 | Web UI、机械臂、告警 / 播报 | 预览检索配置、VLA 动作序列、语义描述 + TTS | 从感知到执行的闭环 |
| 方案优势 | 发布资料要点 | 对应实测 / 规格依据 |
|---|---|---|
| 算力弹性扩展 | PCIe 多卡级联统一调度,单卡 7B → 双卡 12B → 4 卡 27B,跨卡分布式推理 | 双卡 9B / 四卡 27B 两组实测 |
| 主控轻载零压力 | 推理全部卸载至 RK1828,RK3588 专注编解码、业务逻辑与服务编排 | CPU 平均 2.4% / 2.6% |
| 解码与推理并行 | MPP 硬解与 NPU 推理硬件级隔离,多路解码不抢 CPU、推理不卡预览 | MPP 硬解最多 4 路 1080P |
| 端侧低功耗 | 无 GPU 服务器的功耗、体积与散热负担,适合嵌入式部署 | 双卡 30.5W / 四卡 57.8W(平均) |
| 数据本地闭环 | 大模型 / VLM / ASR 全部板端推理,录音与画面不出内网,断网稳定运行 | 满足私有化与内网部署要求 |
| 生态即插即用 | OpenAI /v1 兼容接口,OpenClaw / Nanobot 等 Agent 框架直连,MCP 工具注册 | RKLLM3-Server 服务层 |
rk1828 主题在站内已有多篇内容,为避免重复、便于按意图检索,这里明确分工:
| 资料 | 覆盖范围 | 是否重复 |
|---|---|---|
| 多卡级联部署方案总览 | 软件栈 RKNN3 / RKLLM3、OpenAI 兼容接口、Agent 接入、模型分段原理 | 不重复,补充实测数据 |
| RK3588 + RK1828 模组实测 | 0.5B 到 27B 共 42 组单卡 / 模组性能数据 | 不重复,聚焦双卡 / 四卡整机功耗与开销 |
| AIO-3588L QUA 四卡矩阵 | 四卡开发板型号、86 TOPS、27B 与 35B MoE 能力 | 不重复,补充整机形态与尺寸对照 |
| 姊妹篇:落地案例 | ReID 行人检索、本地 Agent、8 类行业场景与部署边界 | 互补,只讲性能与硬件 |
| 项目需求 | 建议配置 | 依据 |
|---|---|---|
| 9B 级本地问答、功耗与体积敏感 | 双卡 AIBOX PRO / PRO KIT(2 × RK1828) | 平均 30.5W、Decode 33.19 TPS、160.0 × 111.0 × 61.0 mm |
| 27B 级大模型或本地 Agent 服务 | 四卡 AIBOX QUA / QUA KIT(4 × RK1828) | 平均 57.8W、Decode 13.02 TPS、128.0 × 128.0 × 49.5 mm |
| 工业现场多协议接入 | 双卡级联系列 | 双路千兆网、CAN-FD、RS485、隔离 DI/DO |
| 多路视频 + 大模型并发 | 四卡级联系列 + MPP 硬解 | 解码与推理硬件隔离、最多 4 路 1080P |
| 研发评估、二次开发 | KIT 开发套件形态 | PRO KIT 148.0 × 106.0 × 36.4 mm;QUA KIT 126.2 × 120.0 × 29.0 mm |
采购前请确认五点:① 目标模型是否有对应的多卡 RKNN 切分产物;② 按峰值功耗(双卡 67W / 四卡 119W)配电源与散热;③ 实际出货接口与尺寸;④ 自身上下文长度、并发路数下的 TTFT / TPS 复测;⑤ OpenAI /v1 兼容接口与 Agent 框架版本。报价与交期以项目确认为准。
下表按层级汇总所覆盖的产品、平台、性能与场景关键词。
| 关键词层级 | 关键词 |
|---|---|
| 核心产品词 | RK1828、RK1828 多卡级联、RK3588 + RK1828、AIBOX PRO、AIBOX PRO KIT、AIBOX QUA、AIBOX QUA KIT、AIO-3588L QUA |
| 模型与算力词 | Qwen3.5-9B、Qwen3.8-27B、单卡 7B、双卡 12B、四卡 27B、W4A16、4K 输入、128 输出 |
| 性能指标词 | 33.19 TPS、13.02 TPS、853.7 Prefill TPS、592.1 Prefill TPS、TTFT 4.80s、TTFT 6.92s、2.4% CPU、2.6% CPU、179MB、191MB |
| 功耗词 | 30.5W、57.8W、67W 峰值、119W 峰值、端侧低功耗、无独立供电 |
| 架构与接口词 | PCIe 多卡级联、RK1828 SO-DIMM、RK3588 Host、MPP 硬解、RKLLM3-Server、OpenAI /v1、MCP、OpenClaw、Nanobot |
| 场景词 | 端侧大模型、本地推理、边缘 AI、私有化部署、多路视频分析、本地 Agent、数据不出内网 |
| 品牌与服务 | 爱派派智能、深圳市爱派派智能科技有限公司、边缘 AI 选型、配套采购与方案支持 |
A:两者都是 Decode 阶段每秒生成 token 数。33.19 TPS 来自 Qwen3.5-9B 在 2 × RK1828 双卡上的实测,13.02 TPS 来自 Qwen3.8-27B 在 4 × RK1828 四卡上的实测。共同条件为模型量化 W4A16、4K 输入 / 128 输出、RK3588 Host、RK1828 SO-DIMM 加速卡与 PCIe 接口。模型规模与卡数都不同,两个数字不能直接当作「双卡比四卡快」的结论。
A:「7B / 12B / 27B」是发布资料给出的模型规模档位,用于描述按需扩展的能力边界;而 Qwen3.5-9B、Qwen3.8-27B 是本次实测与产品页标注的具体模型。两者属于「能力档位」与「已验证模型」两个不同口径,选型时应以实际出货版本提供的多卡 RKNN 产物清单为准。
A:原厂发布资料给出的两组推理全程 RK3588 CPU 平均占用为 2.4% 与 2.6%(以 4 核 A76 计),Host 平均内存占用为 179MB 与 191MB。原因是推理被完整卸载到 RK1828,主控只负责 MPP 硬解、业务编排与服务层。需注意原图未标注这两组数值与双卡 / 四卡工况的逐一映射,按正文顺序推定,实际项目建议按自身负载复测。
A:是整机平均功耗。同一张功耗图还给出峰值:双卡系统 67W、四卡系统 119W。电源适配器选型、散热设计与机箱空间应按峰值而非平均值留余量。原厂对 27B 级推理的定性描述是「整机功耗与一台笔记本相当,无需独立供电与机房环境」。
A:两者命名层级不同:AIBOX QUA / AIBOX QUA KIT 是本次发布资料中四卡整机与开发套件的产品名(RK3588 + 4 × RK1828,主机 128.0 × 128.0 × 49.5 mm);AIO-3588L QUA 是站内已有的四卡开发板型号专文。具体对应关系、接口与出货配置请按订单与规格书确认。
A:运行流程图把 RK3588 主控侧拆成 MPP 硬解(最多 4 路 1080P、不占 CPU)、业务调度与框架、RKLLM3-Server 三层;推理负载由 PCIe 级联的 RK1828 承担。视频解码与模型推理在硬件层面隔离,因此多路视频解码不会抢占 CPU,推理也不会拖慢预览。
A:① 所选模型是否有对应的多卡 RKNN 切分产物(并非任意模型都能自动切分);② 整机峰值功耗与散热方案(双卡 67W / 四卡 119W);③ 实际出货的接口清单与尺寸;④ 量化方式、上下文长度与业务并发下的实测 TPS;⑤ OpenAI /v1 兼容接口与 Agent 框架版本。参数取自原厂发布资料,报价与交期以项目确认为准。
深圳市爱派派智能科技有限公司(爱派派智能)
地址:深圳市坪山区创新广场C栋1805
电话:18681465731
联系人:李先生
官网:https://ai-paipai.com
说明:参数与案例取自 Firefly 开源团队公开发布资料;产品原厂型号照录,爱派派智能提供选型评估、配套采购与方案对接支持,未宣称独家代理,报价与交期以项目确认为准。