×

RK3588 + RK1828 边缘 AI 模组实测报告:从 0.5B 到 27B,42 组模型性能数据与选型结论

2026-10-21

RK3588 + RK1828 边缘 AI 模组实测报告:从 0.5B 到 27B,42 组模型性能数据与选型结论

{
“@context”: “https://schema.org”,
“@type”: “Article”,
“headline”: “RK3588 + RK1828 边缘 AI 模组实测报告:从 0.5B 到 27B,42 组模型性能数据与选型结论”,
“description”: “基于 RK3588 主控 + RK1820/RK1828 协处理器的实测报告:42 组数据覆盖 LLM、多卡级联、VLM、全模态、图像分类与目标检测,并给出指标定义、读数方法与选型建议。”,
“author”: {“@type”: “Organization”, “name”: “深圳市爱派派智能科技有限公司”},
“publisher”: {“@type”: “Organization”, “name”: “深圳市爱派派智能科技有限公司”, “url”: “https://ai-paipai.com”},
“datePublished”: “2026-10-21”,
“dateModified”: “2026-10-21”,
“mainEntityOfPage”: “https://ai-paipai.com”,
“keywords”: “RK3588, RK1828, RK1820, 边缘AI, 大模型推理, TTFT, TPOT, TPS, Decode TPS, Qwen3, Gemma, YOLO, VLM, 多模态, 多卡级联, PCIe, NPU”,
“about”: [
{“@type”: “Thing”, “name”: “Edge AI”},
{“@type”: “Thing”, “name”: “RK3588”},
{“@type”: “Thing”, “name”: “RK1828 NPU Accelerator”},
{“@type”: “Thing”, “name”: “Large Language Model Inference”},
{“@type”: “Thing”, “name”: “Multimodal Model”}
]
}

RK3588 + RK1828 边缘 AI 模组 LLM Decode TPS 实测排行

RK3588 加一颗 RK1828 协处理器,端侧到底能跑多大的模型、跑多快?这份报告用 42 组实测数据回答这个问题:从 0.5B 的小模型,一直到四卡级联的 27B,覆盖 LLM、多卡级联 LLM、VLM 视觉语言、全模态、图像分类和目标检测六大类任务。

所有数据都在同一套平台上取得:RK3588 主控通过 PCIe 连接 RK1820 / RK1828 协处理器,协处理器 NPU 频率 1GHz,RK3588 设为性能模式。除了完整数据表,更重要的是说明这些数字怎么读、不同列之间能不能横向比、以及按场景该怎么选。

一、一分钟结论:几个关键数字

如果只看几个数字,这六条最值得记住:

结论 实测数字
小模型(0.5B)单卡解码速度 224.19 TPS,TTFT 仅 21.74 ms
主流 7B 模型单卡解码速度 70.47 TPS(Qwen2.5-7B / RK1828)
8B 模型单卡解码速度 61.92 TPS(Qwen3-8B / RK1828)
27B 大模型(四卡级联) 13.06~13.08 TPS,TPOT 约 76 ms
浮点/分类模型吞吐 MobileNetV2 单核 287.78 FPS,多 batch 多核 1361.2 FPS
目标检测吞吐 YOLOv8s 单核 34.38 FPS,多 batch 多核 221.79 FPS

单卡 RK1828 足以流畅承载 3B~8B 级别的对话模型(50~100 TPS),而 27B 级别的大模型需要四卡流水线级联,能跑到约 13 TPS——这个速度用于文档处理、批量总结、代码辅助等「不以人眼阅读速度为瓶颈」的场景是够用的。

二、测试平台与指标定义

2.1 硬件与连接方式

测试平台由 RK3588 主控与 RK1820 / RK1828 协处理器组成,两者之间通过 PCIe 连接。协处理器负责模型推理,RK3588 负责系统调度、数据搬运与前后处理。

项目 配置
主控 RK3588(测试时设置为性能模式)
AI 协处理器 RK1820 或 RK1828(两者 NPU 频率均为 1GHz)
主控与协处理器互联 PCIe
多卡级联方式 RK3588 主控 + 多张 RK1828,采用流水线并行级联
VLM / 全模态 Vision 编码与 LLM 部分独立测试

2.2 三个核心指标怎么定义

大模型推理的性能不能只看「吞吐」一个数字,必须区分首字延迟和持续生成速度。本报告使用业界通用的三个指标:

指标 全称 含义 用户感受
TTFT Time To First Token 模型生成第一个 token 所需的时间 按下回车后要等多久才「开始出字」
TPOT Time Per Output Token 生成每个输出 token 所需的平均时间 出字的速度,直接决定阅读是否跟得上
TPS Tokens Per Second 模型每秒能生成的 token 数量 整体吞吐,近似等于 1000 / TPOT

怎么读这三个数:TTFT 决定「响应感」,TPOT / TPS 决定「流畅感」。举例来说,Qwen2.5-7B 的 TPOT 是 14.19 ms、Decode TPS 为 70.47——约合每秒 70 个 token,远快于人眼阅读速度(中文阅读约每秒 5~8 字),所以单从速度看是「绰绰有余」的;真正需要关注的是 TTFT 在长提示词下会显著上升(见第四节)。

2.3 关于「RK182X」这一列的说明

表中有部分行的加速芯片标注为 RK182X,这表示该组数据使用的加速芯片可以是 RK1820 或 RK1828,原始报告未在每一行单独区分。因此:

  • 标注 RK1828 的行,芯片是确定的,可以进行严格的同芯片对比;
  • 标注 RK182X 的行,不要跨行做「模型大小 vs 性能」的严格推断——差异里可能混入了芯片型号因素;
  • 标注 2x / 4x RK1828 的多卡行,芯片与卡数都是确定的,可比性最好。

三、LLM 单卡性能(14 组)

先看最常用的场景:单卡跑纯文本大模型。测试输入 128 tokens、输出 128 tokens,覆盖 Qwen2.5、Qwen3、Qwen3.5、MiniCPM5、HY-MT、GLM-Edge 等主流开源系列,参数量从 0.5B 到 8B。

LLM Decode TPS 实测排行
LLM 单卡 Decode TPS 实测排行(输入/输出各 128 tokens,RK3588 性能模式)。深色为 RK1828,浅色为 RK182X(RK1820 或 RK1828)。
模型名称 加速芯片 Input Tokens New Tokens TTFT (ms) TPOT (ms) Decode TPS
Qwen2.5-0.5B RK182X 128 128 21.74 4.46 224.19
Qwen2.5-1.5B RK182X 128 128 47.25 6.60 151.58
Qwen2.5-3B RK182X 128 128 83.18 9.62 103.97
Qwen2.5-7B RK1828 128 128 156.94 14.19 70.47
Qwen3-0.6B RK182X 128 128 27.74 5.42 184.42
Qwen3-1.7B RK182X 128 128 52.15 7.10 140.89
Qwen3-4B RK1828 128 128 105.64 11.22 89.14
Qwen3-8B RK1828 128 128 175.61 16.15 61.92
Qwen3.5-0.8B RK182X 128 128 56.54 9.21 108.56
Qwen3.5-2B RK182X 128 128 79.32 10.94 91.40
Qwen3.5-4B RK1828 128 128 160.56 19.66 50.86
MiniCPM5-1B RK182X 128 128 35.69 5.72 174.94
HY-MT1.5-1.8B RK182X 128 128 58.54 8.04 124.37
GLM-Edge-1.5B-Chat RK182X 128 128 50.43 6.14 162.81

这一组的分布区间很清晰:

  • Decode TPS:50.86 ~ 224.19,最高的 Qwen2.5-0.5B 达到 224.19;
  • TTFT(128 tokens 输入):21.74 ~ 175.61 ms,也就是说短提示词下首字延迟都在 0.2 秒以内;
  • TPOT:4.46 ~ 19.66 ms,对应每秒 50~220 个 token 的生成速度。

其中 Qwen2.5-7B 在单张 RK1828 上仍有 70.47 TPS,是目前端侧非常实用的一个平衡点:模型能力足以应付大多数对话、摘要与代码辅助任务,速度又完全不需要等待。而 Qwen3-8B 为 61.92 TPS,参数量更大、能力更强,速度只下降约 12%,也是值得优先考虑的档位。

四、多卡级联 LLM 性能(5 组)

单卡的容量天花板在 8B 附近。要跑 9B、12B、27B 乃至 31B,就需要多卡流水线并行级联:模型按层切分到多张 RK1828 上,由 RK3588 主控组织数据在卡间流转。

注意这一组的输入长度是 5120 tokens(远大于单卡的 128),所以它的 TTFT 不能和单卡组直接比较——这正是下一节要讲的第一个规律。

模型名称 加速芯片 Input Tokens New Tokens TTFT (ms) TPOT (ms) Decode TPS
Gemma-4-12B 2x RK1828 5120 128 7576.88 31.85 31.4
Gemma-4-31B 4x RK1828 5120 128 9077.22 70.03 14.28
Qwen3.5-9B 2x RK1828 5120 128 5910.11 30.23 33.08
Qwen3.5-27B 4x RK1828 5120 128 8718.15 76.57 13.06
Qwen3.8-27B 4x RK1828 5120 128 8699.48 76.45 13.08

几个关键读数:

  • 双卡可稳定承载 9B~12B:Qwen3.5-9B 达到 33.08 TPS,Gemma-4-12B 达到 31.4 TPS,生成速度仍在每秒 30 个 token 以上;
  • 四卡可承载 27B~31B:Qwen3.5-27B 13.06 TPS、Qwen3.8-27B 13.08 TPS、Gemma-4-31B 14.28 TPS,三者非常接近;
  • 同样的四卡配置,27B 与 31B 的 TPS 差异很小(13.06~14.28),说明这一档的瓶颈更多来自流水线深度与卡间通信,而不是模型参数量的线性增长。

另外,这一组的 TTFT 落在 5.9~9.1 秒。这个数字看着很大,但要结合输入长度理解:它是 5120 tokens 长提示词的「预填充」耗时,而不是空载延迟。

五、VLM 视觉语言模型性能(13 组)

VLM 要同时处理图像和文本,所以表格多了一列 Vision(ms)——视觉编码耗时。按测试口径,Vision 与后面的 LLM 部分是独立测试的,因此 Vision 耗时可以理解为「图像理解」这一段本身的延迟。

模型 加速芯片 Vision 分辨率 Vision (ms) TTFT (ms) Decode TPS
FastVLM-1.5B RK182X 512 × 512 167.23 47.14 151.41
InternVL3-2B RK182X 448 × 448 180.67 47.01 149.77
InternVL3_5-4B RK1828 448 × 448 175.21 106.09 88.94
Qwen2.5-VL-3B RK182X 784 × 1176 227.43 93.37 51.23
Qwen2.5-VL-3B RK1828 392 × 392 216.90 83.16 104.76
Qwen2.5-VL-7B RK1828 784 × 1176 212.29 156.65 70.20
Qwen3-VL-2B RK182X 384 × 384 105.57 53.73 147.33
Qwen3-VL-4B RK1828 384 × 384 108.23 106.92 89.95
MiMo-VL-7B-RL RK1828 784 × 1176 229.99 165.04 65.31
MiniCPM-V-4 RK1828 448 × 448 234.34 94.37 105.59
SmolVLM-500M-Instruct RK182X 512 × 512 90.60 27.12 157.16
SmolVLM2-500M-Video-Instruct RK182X 512 × 512 90.27 27.06 157.43
LocateAnything-3B RK182X 448 × 448 228.70 92.00 102.80

关于 Qwen2.5-VL-3B 两行的差异:原始报告对此有专门说明——该模型在 RK1820 上采用两段式运行方案(LMHead 在 RK3588 上执行);在 RK1828 上则完全在协处理器端推理。两行的 Vision 分辨率也不同(784×1176 与 392×392),因此这两行的 TPS 差异(51.23 与 104.76)不能简单归因于芯片本身,而是「部署方案 + 输入分辨率」共同作用的结果。

VLM 的实用读数:

  • 视觉编码耗时相当稳定,集中在 90~235 ms——即使模型从 500M 涨到 7B,Vision 耗时也基本在同一量级;
  • 轻量 VLM 非常快:SmolVLM-500M 与 SmolVLM2-500M 的 Vision 只需约 90 ms、TTFT 约 27 ms、TPS 157 以上,适合做高频的图像分类、画面描述、视频抽帧理解;
  • 7B 级 VLM 依然可用:Qwen2.5-VL-7B 70.20 TPS、MiMo-VL-7B-RL 65.31 TPS,配合 0.21~0.23 秒的视觉编码,适合需要较强图文推理的场景;
  • SmolVLM2 明确面向视频(模型名带 Video),90.27 ms 的视觉延迟意味着它可以支撑连续帧的实时理解。

六、全模态模型性能(5 组)

全模态(Omni)模型同时接收图像、音频和文本,因此表格里同时给出 Vision(ms) 与 Audio(ms) 两列,可以分别看出视觉和语音两条前端链路的开销。

模型 加速芯片 Vision 分辨率 Vision (ms) Audio (ms) TTFT (ms) Decode TPS
Qwen2.5-Omni-3B(Thinker) RK1828 392 × 392 217.82 97.37 83.47 104.23
Qwen3-Omni RK1828 384 × 384 149.40 63.60 112.70 86.20
Qwen3.5-Omni RK1828 384 × 384 91.20 39.00 157.80 62.30
Gemma-4-E2B RK182X 384 × 384 55.60 102.88 88.16 75.30
Gemma-4-E4B RK1828 384 × 384 63.20 104.60 149.35 55.33

读这组数据的重点是「双前端开销」:

  • Qwen3.5-Omni 的视觉前端最快(91.20 ms),语音前端也最快(39.00 ms),适合对多模态输入延迟敏感的交互设备;
  • Qwen2.5-Omni-3B 的综合解码速度最高(104.23 TPS),在需要「看图 + 听声 + 对话」的场景里是吞吐最优的一档;
  • Gemma-4 系列的语音前端耗时约 103~105 ms,视觉前端却很轻(56~63 ms),说明它的视觉编码器更轻量,而音频链路是主要开销;
  • 整体 TPS 落在 55.33~104.23,仍然远高于人眼阅读速度,足以支撑实时字幕、语音助手、视频问答这类应用。

七、图像分类与目标检测性能(5 组)

除了生成式模型,端侧还有大量判别式视觉任务——分类和检测。这类任务用帧率(FPS)衡量更直观,而且可以开多 batch、多核并行把吞吐拉起来。

任务 模型名称 加速芯片 分辨率 单核性能(帧率) 多 batch 多核性能(帧率) 提升倍率
图像分类 MobileNetV2 RK182X 224 × 224 287.78 1361.2 ×4.7
ResNet50V2 RK182X 224 × 224 114.15 847.43 ×7.4
目标检测 YOLOv5s RK182X 640 × 640 35.28 224.26 ×6.4
YOLOv6s RK182X 640 × 640 30.10 163.24 ×5.4
YOLOv8s RK182X 640 × 640 34.38 221.79 ×6.5
视觉模型吞吐:单核 vs 多 batch 多核
视觉模型吞吐对比:多 batch 并行 + 多核可将分类/检测吞吐提升到单核的 4.7~7.4 倍。

这组数据对工程选型非常有指导意义:

  • 单核就够用,多核用来堆路数:YOLOv8s 单核 34.38 FPS,已经超过 30 FPS 的实时门槛;如果一路摄像头只需 25~30 FPS,单核即可;多路并发时才需要开多 batch 多核,此时可到 221.79 FPS,理论上可支撑 7~8 路;
  • 分类模型几乎「免费」:MobileNetV2 单核 287.78 FPS、多核 1361.2 FPS,属于很高余量的能力,适合做前置筛选、场景判别、帧级过滤,把算力留给后面的检测和大模型;
  • 倍率差异说明瓶颈不同:ResNet50V2 提升 7.4 倍,而 MobileNetV2 只有 4.7 倍——轻量模型的单核效率已经很高,批处理带来的额外收益相对小;重一些的模型从批处理中获益更明显。

八、数据解读:五条规律

规律一:TTFT 主要被「输入长度」支配,而不是模型大小

把两组数据放在一起看会非常清楚:单卡组输入 128 tokens,TTFT 只有 21.74~175.61 ms;多卡组输入 5120 tokens,TTFT 变成 5910~9077 ms。输入长度扩大 40 倍,首字延迟上升了约 50 倍。

工程含义:做交互式应用(对话、语音助手)时,要尽量控制提示词长度;而做长文档摘要、代码库分析这类「一次性长输入」任务时,应该预期数秒级的首字等待,并通过进度反馈、流式输出改善体感。

规律二:生成速度(TPS)与模型参数量大致反相关,但 7B~8B 是一个非常划算的档位

单卡数据里,0.5B 级别在 180~224 TPS,3B 级别约 90~104 TPS,7B~8B 仍在 61.92~70.47 TPS。也就是说从 3B 升到 8B,速度大约下降 30%~40%,但模型能力提升明显。对大多数端侧对话/文档场景,7B~8B 是性价比最高的选择。

规律三:9B 以上必须多卡,四卡是 27B~31B 的现实解

数据里没有「单卡 27B」的条目,而是直接给出 4x RK1828 的 13.06~13.08 TPS(Qwen3.5-27B / Qwen3.8-27B)与 14.28 TPS(Gemma-4-31B)。这说明单卡容量上限约在 8B~9B,再往上就要靠流水线并行。

规律四:视觉编码的耗时很「稳」,不随模型规模剧烈变化

VLM 的 Vision 耗时集中在 90~235 ms,全模态的 Vision 在 55.60~217.82 ms、Audio 在 39.00~104.60 ms。换句话说,图像/语音前端的开销基本是「固定成本」,真正拉开差距的是后面 LLM 部分的解码速度。这也意味着:如果应用是「每帧都要过一次视觉编码」,那么视觉前端会是最需要优化的环节。

规律五:多 batch 多核能带来 4.7~7.4 倍的吞吐,但要看任务类型

分类/检测这类「单次计算确定、可批量堆积」的任务,多 batch 多核收益巨大(MobileNetV2 ×4.7、ResNet50V2 ×7.4、YOLOv8s ×6.5)。而生成式模型受限于自回归解码的串行性,很难靠 batch 拿到同样的倍率——所以两类任务的优化思路完全不同:视觉任务堆并发,生成任务优化单路延迟与 KV Cache。

九、按场景选型建议

应用场景 推荐配置 依据(实测数字)
本地对话助手 / 文档问答 单卡 RK1828 + 7B~8B Qwen2.5-7B 70.47 TPS;Qwen3-8B 61.92 TPS,TTFT < 180 ms
高并发轻量文本处理(分类、抽取、纠错) 单卡 + 0.5B~1.5B Qwen2.5-0.5B 224.19 TPS;GLM-Edge-1.5B 162.81 TPS
翻译 / 垂直小模型 单卡 + 1B~2B 专用模型 HY-MT1.5-1.8B 124.37 TPS
图文问答 / 质检图像理解 单卡 + 3B~4B VLM Qwen3-VL-4B 89.95 TPS(Vision 108.23 ms);InternVL3_5-4B 88.94 TPS
视频抽帧理解 / 实时画面描述 单卡 + 轻量 VLM SmolVLM2-500M-Video:Vision 90.27 ms、TTFT 27.06 ms、157.43 TPS
语音 + 视觉 + 文本融合交互 单卡 RK1828 + Omni 模型 Qwen2.5-Omni-3B:Vision 217.82 / Audio 97.37 ms、104.23 TPS
9B~12B 中大型模型 双卡 RK1828 Qwen3.5-9B 33.08 TPS;Gemma-4-12B 31.4 TPS
27B~31B 大模型(离线/批处理) 四卡 RK1828 Qwen3.8-27B 13.08 TPS、TPOT 76.45 ms;Gemma-4-31B 14.28 TPS
多路视频分析(分类/检测) 单卡起,按路数扩多核 YOLOv8s 34.38 → 221.79 FPS;MobileNetV2 287.78 → 1361.2 FPS

十、测试口径与注意事项

为了避免误读,把原始报告中的测试口径完整列出:

  1. RK182X 表示加速芯片可为 RK1820 或 RK1828。
  2. Qwen2.5-VL-3B:使用 RK1820 时采用两段式运行方案(LMHead 在 RK3588 上执行);使用 RK1828 时模型推理完全在协处理器端执行。
  3. RK1820 / RK1828 协处理器 NPU 频率均为 1GHz。
  4. 测试基于 RK3588 + RK1820/RK1828,两者通过 PCIe 连接,RK3588 设置为性能模式。
  5. TTFT:模型生成第一个 token 所需的时间。
  6. TPOT:生成每个输出 token 所需的平均时间。
  7. TPS:模型每秒能生成的 token 数量。
  8. VLM 的 Vision 和 LLM 耗时为独立测试,LLM 部分的 Input Tokens 和 New Tokens 均设为 128。
  9. 多卡级联测试基于 RK3588 主控 + 多张 RK1828 协处理器(采用流水线并行级联),RK3588 设置为性能模式。

读数提醒:① 单卡组输入 128 tokens、多卡组输入 5120 tokens,两组的 TTFT 不可直接横向比较;② 标注 RK182X 的行未区分 RK1820/RK1828,跨行比较需谨慎;③ Vision(ms)、Audio(ms) 与 TTFT 是独立测试结果,不能直接相加当作端到端延迟;④ 实际产品性能还会受到散热、内存带宽、模型量化方式与软件版本的影响,选型时建议以自己的业务数据复测为准。

如果正在评估 RK3588 + RK1828 方案能否承载自己的模型,可以把目标模型、上下文长度与并发路数发给我们,我们按这份测试口径帮你做一次针对性评估与实测。

.wrap{max-width:900px;margin:0 auto;font-family:-apple-system,BlinkMacSystemFont,”Segoe UI”,”PingFang SC”,”Microsoft YaHei”,sans-serif;line-height:1.78;color:#1f2937;}
.wrap h2{margin-top:36px;padding-left:10px;border-left:4px solid #2563eb;color:#111827;}
.wrap h3{margin-top:24px;color:#1e3a8a;font-size:17.5px;}
.wrap .cover{width:100%;max-width:900px;display:block;margin:18px auto;border-radius:8px;}
.wrap .lead{font-size:17px;color:#374151;}
.wrap .toc{background:#f3f4f6;border:1px solid #e5e7eb;border-radius:8px;padding:14px 20px;margin:20px 0;font-size:15px;}
.wrap .toc ol{margin:8px 0 0;padding-left:22px;columns:2;column-gap:28px;}
.wrap .toc li{margin:4px 0;}
.wrap .toc a{color:#2563eb;text-decoration:none;}
.wrap figure.fig{margin:20px 0;text-align:center;}
.wrap figure.fig img{width:100%;max-width:900px;border:1px solid #e5e7eb;border-radius:6px;display:block;margin:0 auto;}
.wrap figcaption{font-size:13.5px;color:#6b7280;margin-top:8px;text-align:left;line-height:1.6;}
.wrap table.spec{width:100%;border-collapse:collapse;margin:16px 0;font-size:14px;}
.wrap table.spec th,.wrap table.spec td{border:1px solid #d1d5db;padding:8px 10px;vertical-align:top;text-align:left;}
.wrap table.spec th{background:#eff6ff;color:#1e3a8a;font-weight:600;}
.wrap table.spec tr:nth-child(even) td{background:#f9fafb;}
.wrap table.spec td{white-space:nowrap;}
.wrap table.spec td:first-child{white-space:normal;}
.wrap ol{padding-left:24px;}
.wrap ol li{margin:7px 0;}
.wrap ul{margin:12px 0;padding-left:24px;}
.wrap li{margin:6px 0;}
.wrap .note{background:#eff6ff;border-left:4px solid #2563eb;padding:12px 16px;margin:18px 0;border-radius:0 8px 8px 0;color:#1e3a8a;}

↑