从「看得懂多机位视频」到「把 27B 级 Agent 跑在局域网里」。
RK3588 + N × RK1828 多卡级联不只是算力堆叠:一侧是 YOLOv8 + OSNet 的纯 ReID 行人检索,另一侧是 4 张加速卡 Stage0~Stage3 的跨卡分布式推理,再往外延伸出视频、交通、会议、工业检测、机械臂等 8 类行业应用。
依据 Firefly 开源团队《RK1828 多卡级联本地部署方案》公开资料中的两个案例与案例合集,把算法链路、参数阈值、模型清单、服务组件与部署约束整理成纯文本表格。原文以图片长图为主,全部重写为可检索文字;对图文口径不一致处分别列明,不做合并推断。
深圳市爱派派智能科技有限公司(爱派派智能)可提供该架构的选型评估、配套采购与方案对接支持。案例合集为原厂展示的应用方向与 Demo 演示,不代表均已量产交付;落地前建议按现场数据做验证。
硬件参数决定能力上限,真正决定项目能不能落地的,是有没有跑通的业务链路。本次公开资料给出两个完整案例:一个用纯 ReID 路线做多机位行人检索,另一个用 4 × RK1828 多卡流水线把 27B 级大模型拆开、以本地 Agent 形式对外提供 OpenAI /v1 兼容服务。
两条链路、模型清单、8 类行业场景与部署约束全部转成文本表格;性能与硬件规格请见姊妹篇《RK1828 多卡级联实测报告》。
| 案例 | 要解决的问题 | 核心技术路线 | 典型场景 |
|---|---|---|---|
| 案例 1 · 多模态推理与语义检索 | 多机位视频里找同一个人在何时何地出现过 | 纯 ReID:YOLOv8 检测 + OSNet 特征 + 贪心余弦聚类 + 跨视频匹配 | 园区 / 小区 / 商场走失查找、轨迹回溯、素材归档 |
| 案例 2 · 多卡级联 + 本地 Agent | 把 27B / 31B 级模型塞进边缘设备并提供服务 | 4 × RK1828 Stage0~3 跨卡分布式推理 + OpenAI /v1 兼容接口 | 端侧大模型私有部署、局域网推理服务、Agent 工具调用 |
方案基于 RK3588 + RK1828 构建本地化多机位行人检索系统,采用纯 ReID 技术路线,不依赖人脸信息,靠外观特征把同一行人跨机位、跨时间段地关联起来。

| 步骤 | 处理单元 / 算法 | 输入 | 输出 |
|---|---|---|---|
| 1 · 抽帧 | 按 0.5 秒间隔对每段视频抽帧 | 多路视频流 | 抽帧图像序列 |
| 2 · 检测与过滤 | YOLOv8 行人检测 + 几何门限过滤 + NMS | 抽帧图像 | 行人检测框 |
| 3 · 特征提取 | OSNet 提取 512 维外观特征 | 行人检测框 | 带时间段的轨迹 |
| 4 · 视频内聚类 | 贪心余弦聚类,阈值 0.85 | 同一视频内的轨迹 | 合并后的同一人轨迹 |
| 5 · 跨视频匹配 | 跨视频外观特征匹配 | 多机位轨迹集合 | 同一行人的跨机位出现记录 |
| 参数 / 组件 | 取值或作用 | 为什么这样设 |
|---|---|---|
| 抽帧间隔 | 0.5 秒 | 在检索覆盖率与计算量之间取平衡 |
| 检测模型 | YOLOv8 | 通用行人检测,配合几何门限过滤与 NMS 去重复框 |
| 特征维度 | OSNet 512 维 | 外观特征向量,作为跨帧 / 跨机位比对依据 |
| 聚类阈值 | 0.85(余弦相似度) | 同一视频内贪心合并相似轨迹 |
| 轨迹组织 | 带时间段的轨迹 | 保留时间信息,便于轨迹回溯与检索 |
| 跨视频关联 | 不同机位、不同时间 | 把同一行人的多次出现串成完整路径 |
| 场景 | 具体用途 | 对应能力 |
|---|---|---|
| 园区 / 小区 / 商场 | 多机位行人检索、走失查找、轨迹回溯 | 跨视频匹配 + 时间段轨迹 |
| 监控素材处理 | 监控素材批量分析归档 | 批量抽帧与特征提取 |
| 行为分析 | 运动姿态分析 | 检测框与轨迹序列的衍生分析 |
| 私有化部署 | 画面与特征不出内网 | 板端推理 + 本地向量检索 |
发布资料中还有一张通用语义检索流程图,与案例 1 的 ReID 路线不是同一条链路,这里单独列出,避免混淆:它面向「用文本或图片去视频库里找片段」,核心是视觉嵌入与向量库。
| 阶段 | 处理内容 | 产出 |
|---|---|---|
| 1 · 多媒体导入 | 视频 / 音频素材进入系统 | 原始素材 |
| 2 · 提取视频嵌入 | 提取视频序列、计算视觉嵌入 | 视觉特征向量 |
| 3 · 向量库 | SQLite + 特征持久化 | 可检索的向量索引 |
| 4 · 检索感兴趣视频 | 文本 / 图片编码 + 余弦相似度匹配 | 相似度排序结果 |
| 5 · 结果列表 | 结果叠加到播放器 | 可跳转播放的命中片段 |
与案例 1 的区别:ReID 路线比对的是「行人与行人」,用于跨机位找同一个人;通用语义检索比对的是「查询与视频片段」,用于按语义找素材。两者可共用同一套 RK3588 + RK1828 硬件与 Embedding 能力,但算法链路与产出不同。
面向「大模型要塞进边缘设备」的需求:通过多卡切分把模型按卡数拆分,在多张 RK182X 上跨卡分布式推理,把 27B / 31B 级模型落到板端,并通过 OpenAI /v1 兼容接口在局域网内对外提供服务。

| 链路阶段 | 组件 | 职责 |
|---|---|---|
| 客户端 | Web / CLI / SDK | 统一入口发起对话、脚本调用与工具请求 |
| RK3588 服务层 | Llama-Server → RKLLM3-Server | 请求编排、接口适配与服务治理 |
| 多卡推理 | 4 × RK1828,Stage0 / Stage1 / Stage2 / Stage3 | 按卡切分的跨卡分布式流水线推理 |
| 模型文件 | 约 17G:Seg0-3 + embed.bin | 四卡分段模型与嵌入文件 |
| 对外输出 | 网页 / Agent,OpenAI /v1 兼容接口 | 业务系统与 Agent 框架直连 |
| 卡数 | 发布资料列出的模型 | 说明 |
|---|---|---|
| 四卡组合 | Qwen3.5-27B、Qwen3.8-27B、gemma-4-31B | 需 4 张 RK182X 与对应四卡 RKNN 产物 |
| 两卡组合 | Qwen3.5-9B、gemma-4-12B | 需 2 张 RK182X 与对应双卡 RKNN 产物 |
必须注意的部署前提:发布资料明确写出:部署需多张 RK182X,且所选模型必须有对应的多卡 RKNN 产物(并非任意模型都能自动切分)。这意味着模型选型要先确认切分产物是否存在,而不是先看参数量。
| 生态能力 | 发布资料表述 | 对集成方的意义 |
|---|---|---|
| OpenAI /v1 兼容接口 | 服务层以 OpenAI /v1 兼容接口对外输出 | 已有业务系统可按 OpenAI SDK 方式低成本接入 |
| Agent 框架 | OpenClaw / Nanobot 等 Agent 框架直连 | 无需自建推理网关即可接入工具链 |
| MCP 工具注册 | MCP 工具注册即扩展设备能力 | 把文件、Shell、业务 API 挂进本地 Agent |
| 本地闭环 | 大模型 / VLM / ASR 全部板端推理 | 录音与画面不出内网,断网环境稳定运行 |
「RK1828 案例合集」列出的典型应用方向如下。这些是原厂展示的案例与 Demo 演示,按公开资料整理为可检索表格,不代表均已量产交付。

| 序号 | 应用方向 | 主要能力 | 典型落地形态 |
|---|---|---|---|
| 1 | 多路视频事件分析与检索 | 多路解码 + 视觉理解 + 语义检索 | 园区、商场监控素材归档与检索 |
| 2 | 智慧交通监管平台 | 视频结构化 + 事件判定 | 路口、路段违法行为识别与统计 |
| 3 | AI 会议助手 | ASR 语音转写 + 大模型总结 | 本地会议纪要与要点提取 |
| 4 | ClawChips 智能体应用 | Agent 框架 + MCP 工具注册 | 端侧智能体与工具链调用 |
| 5 | 数字人 + RAG 本地知识库 QA | LLM + Embedding + 向量检索 | 离线问答与形象化交互 |
| 6 | 工业检测 + AI SOP 行为检测 | 视觉检测 + 行为识别 | 产线质检与标准作业流程核查 |
| 7 | 动作策略大模型:双机械臂 | VLA 动作序列生成 | 机器人动作规划与执行 |
| 8 | 智能家居 / 自然语言交互 | 语音 + 语义理解 + 设备控制 | 断网可用的本地语音中控 |
| 常见误区 | 正确理解 | 建议动作 |
|---|---|---|
| 任意模型都能自动切分到多卡 | 只有具备对应多卡 RKNN 产物的模型可跑 | 先索取目标模型的切分产物清单 |
| 27B 一定能跑出和云端一样的速度 | 板端 Decode 约 13.02 TPS(27B 四卡实测) | 按业务并发与上下文长度做压测 |
| 四卡一定比双卡快 | 卡数用于承载更大模型,不是同模型的加速倍数 | 按模型规模与吞吐需求分别选型 |
| 语义检索和行人检索是同一套算法 | 前者是查询↔片段,后者是行人↔行人 | 按业务目标选择链路 |
| 案例合集等于量产方案 | 合集是应用方向与 Demo 演示 | 落地前做现场数据验证与精度评估 |
| 断网可用等于无需任何外部依赖 | 架构支持板端闭环,但业务侧可能引入外部 API | 核查日志、鉴权与工具调用的外联配置 |
下表按层级汇总所覆盖的案例、算法、模型与场景关键词。
| 关键词层级 | 关键词 |
|---|---|
| 案例与链路 | RK1828 应用案例、多机位行人检索、ReID、跨视频匹配、通用多媒体语义检索、SQLite 向量库、本地 Agent、四卡推理流水线 |
| 算法与参数 | YOLOv8、OSNet、512 维外观特征、几何门限过滤、NMS、贪心余弦聚类、阈值 0.85、0.5 秒抽帧、余弦相似度匹配 |
| 服务与工程 | Llama-Server、RKLLM3-Server、OpenAI /v1、Stage0-3、Seg0-3、embed.bin、约 17G 模型文件、MCP、OpenClaw、Nanobot |
| 模型清单 | Qwen3.5-27B、Qwen3.8-27B、gemma-4-31B、Qwen3.5-9B、gemma-4-12B、多卡 RKNN 产物 |
| 行业场景 | 多路视频事件分析、智慧交通监管、AI 会议助手、ClawChips、数字人 RAG、工业检测、AI SOP、双机械臂、VLA、智能家居 |
| 部署约束 | 数据不出内网、断网运行、私有化部署、并非任意模型可自动切分、现场验证 |
| 品牌与服务 | 爱派派智能、深圳市爱派派智能科技有限公司、边缘 AI 方案对接、配套采购 |
A:发布资料给出的链路是:对每段视频按 0.5 秒间隔抽帧 → 用 YOLOv8 做行人检测并做几何门限过滤与 NMS → 用 OSNet 提取 512 维外观特征、形成带时间段的轨迹 → 在同一视频内用贪心余弦聚类(阈值 0.85)合并为同一人 → 最后跨视频匹配,把同一行人在不同机位、不同时间的出现关联起来。整条链路基于 RK3588 + RK1828 在板端完成。
A:不是,两者是同系列的两条不同链路。正文描述的是 ReID 行人检索(YOLOv8 + OSNet + 轨迹聚类);配图展示的是更通用的多媒体语义检索:多媒体导入(视频 / 音频)→ 提取视频序列、计算视觉嵌入 → 向量库(SQLite + 特征)→ 文本 / 图片编码 + 余弦相似度匹配 → 结果列表叠加到播放器。分别列出,避免混为一谈。
A:发布资料列出的四卡组合为 Qwen3.5-27B、Qwen3.8-27B、gemma-4-31B,两卡组合为 Qwen3.5-9B、gemma-4-12B。关键约束是:部署需多张 RK182X,且所选模型必须有对应的多卡 RKNN 产物,并非任意模型都能自动切分。
A:案例 2 流程图标注模型文件约 17G,内容为 Seg0-3 + embed.bin,即四卡切分后的 4 个模型分段与嵌入文件。该数字是流程图标注值,不同模型、量化方式与版本会不同,存储规划请按实际产物核对。
A:链路是客户端(Web / CLI / SDK)→ RK3588 服务层(Llama-Server → RKLLM3-Server)→ 4 × RK1828 多卡流水线(Stage0 ~ Stage3)→ 网页 / Agent 侧以 OpenAI /v1 兼容接口输出。发布资料同时提到 OpenClaw / Nanobot 等 Agent 框架可直连,MCP 工具注册即可扩展设备能力。
A:「RK1828 案例合集」列出的是原厂展示的应用方向与 Demo 演示,包括多路视频事件分析与检索、智慧交通监管平台、AI 会议助手、ClawChips 智能体应用、数字人 + RAG 本地知识库 QA、工业检测 + AI SOP 行为检测、动作策略大模型(双机械臂)、智能家居 / 自然语言交互。按公开资料整理,不代表均已量产交付,落地前需按场景做现场验证。
A:方案优势中明确:大模型 / VLM / ASR 全部板端推理,录音与画面不出内网,断网环境稳定运行,满足私有化要求。这是架构层面的能力,具体实现仍取决于业务系统是否引入外部 API、是否开启日志外发等工程配置,部署时需一并核查。
深圳市爱派派智能科技有限公司(爱派派智能)
地址:深圳市坪山区创新广场C栋1805
电话:18681465731
联系人:李先生
官网:https://ai-paipai.com
说明:参数与案例取自 Firefly 开源团队公开发布资料;产品原厂型号照录,爱派派智能提供选型评估、配套采购与方案对接支持,未宣称独家代理,报价与交期以项目确认为准。