×

RK1828 多卡级联落地案例全解:ReID 多机位行人检索与本地 Agent 四卡推理,附 8 类行业场景与部署边界

2026-11-11





RK1828 多卡级联落地案例全解:ReID 多机位行人检索与本地 Agent 四卡推理,附 8 类行业场景与部署边界








RK1828 多卡级联落地案例速览:ReID 行人检索与本地 Agent

落地案例 · 场景全解

从「看得懂多机位视频」到「把 27B 级 Agent 跑在局域网里」。
RK3588 + N × RK1828 多卡级联不只是算力堆叠:一侧是 YOLOv8 + OSNet 的纯 ReID 行人检索,另一侧是 4 张加速卡 Stage0~Stage3 的跨卡分布式推理,再往外延伸出视频、交通、会议、工业检测、机械臂等 8 类行业应用。

依据 Firefly 开源团队《RK1828 多卡级联本地部署方案》公开资料中的两个案例与案例合集,把算法链路、参数阈值、模型清单、服务组件与部署约束整理成纯文本表格。原文以图片长图为主,全部重写为可检索文字;对图文口径不一致处分别列明,不做合并推断。

深圳市爱派派智能科技有限公司(爱派派智能)可提供该架构的选型评估、配套采购与方案对接支持。案例合集为原厂展示的应用方向与 Demo 演示,不代表均已量产交付;落地前建议按现场数据做验证。

一、两个落地案例,覆盖「看懂视频」与「跑起 Agent」

硬件参数决定能力上限,真正决定项目能不能落地的,是有没有跑通的业务链路。本次公开资料给出两个完整案例:一个用纯 ReID 路线做多机位行人检索,另一个用 4 × RK1828 多卡流水线把 27B 级大模型拆开、以本地 Agent 形式对外提供 OpenAI /v1 兼容服务。

两条链路、模型清单、8 类行业场景与部署约束全部转成文本表格;性能与硬件规格请见姊妹篇《RK1828 多卡级联实测报告》。

案例 要解决的问题 核心技术路线 典型场景
案例 1 · 多模态推理与语义检索 多机位视频里找同一个人在何时何地出现过 纯 ReID:YOLOv8 检测 + OSNet 特征 + 贪心余弦聚类 + 跨视频匹配 园区 / 小区 / 商场走失查找、轨迹回溯、素材归档
案例 2 · 多卡级联 + 本地 Agent 把 27B / 31B 级模型塞进边缘设备并提供服务 4 × RK1828 Stage0~3 跨卡分布式推理 + OpenAI /v1 兼容接口 端侧大模型私有部署、局域网推理服务、Agent 工具调用

二、案例 1:纯 ReID 多机位行人检索链路

方案基于 RK3588 + RK1828 构建本地化多机位行人检索系统,采用纯 ReID 技术路线,不依赖人脸信息,靠外观特征把同一行人跨机位、跨时间段地关联起来。

RK1828 案例 1 纯 ReID 多机位行人检索五步流程
0.5 秒抽帧 → YOLOv8 检测与过滤 → OSNet 512 维特征 → 视频内阈值 0.85 贪心余弦聚类 → 跨视频关联。按原厂发布资料正文文字化重绘的示意图。
步骤 处理单元 / 算法 输入 输出
1 · 抽帧 按 0.5 秒间隔对每段视频抽帧 多路视频流 抽帧图像序列
2 · 检测与过滤 YOLOv8 行人检测 + 几何门限过滤 + NMS 抽帧图像 行人检测框
3 · 特征提取 OSNet 提取 512 维外观特征 行人检测框 带时间段的轨迹
4 · 视频内聚类 贪心余弦聚类,阈值 0.85 同一视频内的轨迹 合并后的同一人轨迹
5 · 跨视频匹配 跨视频外观特征匹配 多机位轨迹集合 同一行人的跨机位出现记录

三、案例 1 关键参数与算法释义

参数 / 组件 取值或作用 为什么这样设
抽帧间隔 0.5 秒 在检索覆盖率与计算量之间取平衡
检测模型 YOLOv8 通用行人检测,配合几何门限过滤与 NMS 去重复框
特征维度 OSNet 512 维 外观特征向量,作为跨帧 / 跨机位比对依据
聚类阈值 0.85(余弦相似度) 同一视频内贪心合并相似轨迹
轨迹组织 带时间段的轨迹 保留时间信息,便于轨迹回溯与检索
跨视频关联 不同机位、不同时间 把同一行人的多次出现串成完整路径

四、案例 1 应用场景

场景 具体用途 对应能力
园区 / 小区 / 商场 多机位行人检索、走失查找、轨迹回溯 跨视频匹配 + 时间段轨迹
监控素材处理 监控素材批量分析归档 批量抽帧与特征提取
行为分析 运动姿态分析 检测框与轨迹序列的衍生分析
私有化部署 画面与特征不出内网 板端推理 + 本地向量检索

五、另一条链路:通用多媒体语义检索

发布资料中还有一张通用语义检索流程图,与案例 1 的 ReID 路线不是同一条链路,这里单独列出,避免混淆:它面向「用文本或图片去视频库里找片段」,核心是视觉嵌入与向量库。

阶段 处理内容 产出
1 · 多媒体导入 视频 / 音频素材进入系统 原始素材
2 · 提取视频嵌入 提取视频序列、计算视觉嵌入 视觉特征向量
3 · 向量库 SQLite + 特征持久化 可检索的向量索引
4 · 检索感兴趣视频 文本 / 图片编码 + 余弦相似度匹配 相似度排序结果
5 · 结果列表 结果叠加到播放器 可跳转播放的命中片段

与案例 1 的区别:ReID 路线比对的是「行人与行人」,用于跨机位找同一个人;通用语义检索比对的是「查询与视频片段」,用于按语义找素材。两者可共用同一套 RK3588 + RK1828 硬件与 Embedding 能力,但算法链路与产出不同。

六、案例 2:多卡级联 + 本地 Agent 链路

面向「大模型要塞进边缘设备」的需求:通过多卡切分把模型按卡数拆分,在多张 RK182X 上跨卡分布式推理,把 27B / 31B 级模型落到板端,并通过 OpenAI /v1 兼容接口在局域网内对外提供服务。

RK1828 案例 2 本地 Agent 四卡推理链路
客户端 Web / CLI / SDK → RK3588 服务层(Llama-Server → RKLLM3-Server)→ 4 × RK1828 Stage0~Stage3 多卡流水线 → 网页 / Agent(OpenAI /v1)。按原厂发布资料文字化重绘的示意图。
链路阶段 组件 职责
客户端 Web / CLI / SDK 统一入口发起对话、脚本调用与工具请求
RK3588 服务层 Llama-Server → RKLLM3-Server 请求编排、接口适配与服务治理
多卡推理 4 × RK1828,Stage0 / Stage1 / Stage2 / Stage3 按卡切分的跨卡分布式流水线推理
模型文件 约 17G:Seg0-3 + embed.bin 四卡分段模型与嵌入文件
对外输出 网页 / Agent,OpenAI /v1 兼容接口 业务系统与 Agent 框架直连

七、案例 2 模型组合清单

卡数 发布资料列出的模型 说明
四卡组合 Qwen3.5-27B、Qwen3.8-27B、gemma-4-31B 需 4 张 RK182X 与对应四卡 RKNN 产物
两卡组合 Qwen3.5-9B、gemma-4-12B 需 2 张 RK182X 与对应双卡 RKNN 产物

必须注意的部署前提:发布资料明确写出:部署需多张 RK182X,且所选模型必须有对应的多卡 RKNN 产物(并非任意模型都能自动切分)。这意味着模型选型要先确认切分产物是否存在,而不是先看参数量。

生态能力 发布资料表述 对集成方的意义
OpenAI /v1 兼容接口 服务层以 OpenAI /v1 兼容接口对外输出 已有业务系统可按 OpenAI SDK 方式低成本接入
Agent 框架 OpenClaw / Nanobot 等 Agent 框架直连 无需自建推理网关即可接入工具链
MCP 工具注册 MCP 工具注册即扩展设备能力 把文件、Shell、业务 API 挂进本地 Agent
本地闭环 大模型 / VLM / ASR 全部板端推理 录音与画面不出内网,断网环境稳定运行

八、8 类行业应用速查

「RK1828 案例合集」列出的典型应用方向如下。这些是原厂展示的案例与 Demo 演示,按公开资料整理为可检索表格,不代表均已量产交付。

RK1828 多卡级联 8 类行业应用速查表
多路视频事件分析与检索、智慧交通监管平台、AI 会议助手、ClawChips 智能体应用、数字人 + RAG 本地知识库 QA、工业检测 + AI SOP 行为检测、双机械臂动作策略大模型、智能家居 / 自然语言交互。按原厂案例合集文字化重绘。
序号 应用方向 主要能力 典型落地形态
1 多路视频事件分析与检索 多路解码 + 视觉理解 + 语义检索 园区、商场监控素材归档与检索
2 智慧交通监管平台 视频结构化 + 事件判定 路口、路段违法行为识别与统计
3 AI 会议助手 ASR 语音转写 + 大模型总结 本地会议纪要与要点提取
4 ClawChips 智能体应用 Agent 框架 + MCP 工具注册 端侧智能体与工具链调用
5 数字人 + RAG 本地知识库 QA LLM + Embedding + 向量检索 离线问答与形象化交互
6 工业检测 + AI SOP 行为检测 视觉检测 + 行为识别 产线质检与标准作业流程核查
7 动作策略大模型:双机械臂 VLA 动作序列生成 机器人动作规划与执行
8 智能家居 / 自然语言交互 语音 + 语义理解 + 设备控制 断网可用的本地语音中控

九、部署边界与常见误区

常见误区 正确理解 建议动作
任意模型都能自动切分到多卡 只有具备对应多卡 RKNN 产物的模型可跑 先索取目标模型的切分产物清单
27B 一定能跑出和云端一样的速度 板端 Decode 约 13.02 TPS(27B 四卡实测) 按业务并发与上下文长度做压测
四卡一定比双卡快 卡数用于承载更大模型,不是同模型的加速倍数 按模型规模与吞吐需求分别选型
语义检索和行人检索是同一套算法 前者是查询↔片段,后者是行人↔行人 按业务目标选择链路
案例合集等于量产方案 合集是应用方向与 Demo 演示 落地前做现场数据验证与精度评估
断网可用等于无需任何外部依赖 架构支持板端闭环,但业务侧可能引入外部 API 核查日志、鉴权与工具调用的外联配置

十、关键词索引

下表按层级汇总所覆盖的案例、算法、模型与场景关键词。

关键词层级 关键词
案例与链路 RK1828 应用案例、多机位行人检索、ReID、跨视频匹配、通用多媒体语义检索、SQLite 向量库、本地 Agent、四卡推理流水线
算法与参数 YOLOv8、OSNet、512 维外观特征、几何门限过滤、NMS、贪心余弦聚类、阈值 0.85、0.5 秒抽帧、余弦相似度匹配
服务与工程 Llama-Server、RKLLM3-Server、OpenAI /v1、Stage0-3、Seg0-3、embed.bin、约 17G 模型文件、MCP、OpenClaw、Nanobot
模型清单 Qwen3.5-27B、Qwen3.8-27B、gemma-4-31B、Qwen3.5-9B、gemma-4-12B、多卡 RKNN 产物
行业场景 多路视频事件分析、智慧交通监管、AI 会议助手、ClawChips、数字人 RAG、工业检测、AI SOP、双机械臂、VLA、智能家居
部署约束 数据不出内网、断网运行、私有化部署、并非任意模型可自动切分、现场验证
品牌与服务 爱派派智能、深圳市爱派派智能科技有限公司、边缘 AI 方案对接、配套采购

十一、常见问题(FAQ)

Q1:案例 1 的 ReID 行人检索具体怎么跑?

A:发布资料给出的链路是:对每段视频按 0.5 秒间隔抽帧 → 用 YOLOv8 做行人检测并做几何门限过滤与 NMS → 用 OSNet 提取 512 维外观特征、形成带时间段的轨迹 → 在同一视频内用贪心余弦聚类(阈值 0.85)合并为同一人 → 最后跨视频匹配,把同一行人在不同机位、不同时间的出现关联起来。整条链路基于 RK3588 + RK1828 在板端完成。

Q2:案例 1 与文中另一张「视频语义检索」流程图是同一条链路吗?

A:不是,两者是同系列的两条不同链路。正文描述的是 ReID 行人检索(YOLOv8 + OSNet + 轨迹聚类);配图展示的是更通用的多媒体语义检索:多媒体导入(视频 / 音频)→ 提取视频序列、计算视觉嵌入 → 向量库(SQLite + 特征)→ 文本 / 图片编码 + 余弦相似度匹配 → 结果列表叠加到播放器。分别列出,避免混为一谈。

Q3:案例 2 支持哪些模型?任意模型都能四卡切分吗?

A:发布资料列出的四卡组合为 Qwen3.5-27B、Qwen3.8-27B、gemma-4-31B,两卡组合为 Qwen3.5-9B、gemma-4-12B。关键约束是:部署需多张 RK182X,且所选模型必须有对应的多卡 RKNN 产物,并非任意模型都能自动切分。

Q4:「约 17G 模型文件」指什么?

A:案例 2 流程图标注模型文件约 17G,内容为 Seg0-3 + embed.bin,即四卡切分后的 4 个模型分段与嵌入文件。该数字是流程图标注值,不同模型、量化方式与版本会不同,存储规划请按实际产物核对。

Q5:本地 Agent 怎么接入已有业务系统?

A:链路是客户端(Web / CLI / SDK)→ RK3588 服务层(Llama-Server → RKLLM3-Server)→ 4 × RK1828 多卡流水线(Stage0 ~ Stage3)→ 网页 / Agent 侧以 OpenAI /v1 兼容接口输出。发布资料同时提到 OpenClaw / Nanobot 等 Agent 框架可直连,MCP 工具注册即可扩展设备能力。

Q6:8 类行业场景是否都已量产落地?

A:「RK1828 案例合集」列出的是原厂展示的应用方向与 Demo 演示,包括多路视频事件分析与检索、智慧交通监管平台、AI 会议助手、ClawChips 智能体应用、数字人 + RAG 本地知识库 QA、工业检测 + AI SOP 行为检测、动作策略大模型(双机械臂)、智能家居 / 自然语言交互。按公开资料整理,不代表均已量产交付,落地前需按场景做现场验证。

Q7:数据真的不出内网吗?断网还能用吗?

A:方案优势中明确:大模型 / VLM / ASR 全部板端推理,录音与画面不出内网,断网环境稳定运行,满足私有化要求。这是架构层面的能力,具体实现仍取决于业务系统是否引入外部 API、是否开启日志外发等工程配置,部署时需一并核查。

联系我们 · 选型评估与配套支持

深圳市爱派派智能科技有限公司(爱派派智能)

地址:深圳市坪山区创新广场C栋1805

电话:18681465731

联系人:李先生

官网:https://ai-paipai.com

说明:参数与案例取自 Firefly 开源团队公开发布资料;产品原厂型号照录,爱派派智能提供选型评估、配套采购与方案对接支持,未宣称独家代理,报价与交期以项目确认为准。

↑