随着 LLM / VLM 等大模型逐步走向实际部署，“云端推理 + 端侧回传”的传统架构暴露出三个越来越明显的痛点：多路视频上行带宽受限、网络往返延迟不可控、云端 API 持续成本难以预测。
在边缘侧把“视觉 + 语音 + 语言”全栈 AI 跑通，需要的不只是一颗算力足够的 NPU，更需要一个能把多类模型应用统一管理起来的控制平面。本文整理在 AIBOX PRO 系列（RK3588 + 双 RK1828）上跑通 App Portal 边缘多模态推理平台 的架构、应用矩阵、典型应用流程与性能数据。
| 项目 | 描述 |
|---|---|
| 硬件底座 | AIBOX PRO 系列（RK3588 + 2×RK1828 M.2 加速卡） |
| 主控 SoC | Rockchip RK3588（8 核 / 6 TOPS NPU，负责系统、编解码、IO） |
| 加速 SoC | Rockchip RK1828 × 2（23 TOPS INT8，跑视觉/语音/语言大模型） |
| 控制平面 | App Portal（本地 Web 控制台，统一安装、启停、健康检查） |
| 模型生态 | Rockchip 官方/合作方提供的多路视觉、语音、语言模型 |
| 部署形态 | 应用封装为 Deb + 资源包，一键安装，免手工部署模型与依赖 |
RK3588 负责系统调度、视频编解码、IO 控制等“基底能力”，RK1828 负责大模型推理，App Portal 负责把上层 AI 应用统一管理起来。这种“一芯多模、一站管理”的思路，适合多模态 AI 在边端的集中落地。
App Portal 是平台的管理入口，提供应用部署、启停、健康检查、Web 访问等能力，主界面类似 K8s 的简化控制台：
界面分三个层次：
| 区域 | 作用 |
|---|---|
| 顶部状态 | 已发现应用数、运行中服务数、Portal 版本、应用目录路径（如 /etc/app-portal/catalog.yaml） |
| 系统服务区 | RKNN3 Runtime 等基础运行时，与应用同时运行，提供底层推理与组件依赖 |
| 应用区 | 各个 AI 应用的安装/启动/停止/重启动作，实时展示应用版本、安装时间、资源占用、运行时版本、服务运行情况 |
App Portal 把“视觉/语音/语言”几类常见负载拆成可独立管理的应用，目前已跑通的应用包括：
| 应用名 | 主要能力 |
|---|---|
| Multistream-Detect | 智慧交通监管平台：多路视频流实时目标检测 + 车牌识别 + VLM 行为/事故分析 |
| Multistream-VLM | 视觉分析：WebRTC 视频 VLM 分析（Qwen3-VL-2B） |
| AI Meeting | AI 会议：实时语音转写（ASR）+ 翻译 + 智能总结 + RAG + 说话人分离 |
| ClawChips 智能体 | RKLLM3 AgentModel-4B，OpenAI 兼容对话/工具调用 |
| AI-Media-Base 多模态推理服务 | Qwen3-VL-4B VLM 推理服务 + Paraformer ASR + bge 向量模型 |
| Llama-RKNN3-Server | Llama.cpp 兼容 UI，代理 RKLLM3-Server（AgentModel） |
同一时间一般只运行一个应用，但系统服务（RKNN3 Runtime 等）与应用解耦，可同时在线。
App Portal 主要面向 RK1828 模组，目前已适配的主板/设备如下：
| 产品 | 模组/加速卡 | 适配情况 |
|---|---|---|
| AIBOX PRO | RK3588 + 2×RK1828 | 全量适配上述所有应用 |
| 其它有 M.2 NPU 卡槽的 AI 盒子/主板 | 单 RK1828 或双 RK1828 | 主控性能满足时可适配 Llama-RKNN3-Server、AI-Media-Base、AI Meeting、ClawChips；Multistream-Event 双卡分工需两块 RK1828 模组 |
授权说明：AI Meeting 的 ASR / 总结等 RockX 模块为 Trial 模式，实际使用需向 Rockchip 申请相应算法授权。
针对路口、卡口、路段的多路视频，做“目标检测 + 车牌识别 + 行为/事故判定”的完整链路。
典型流程：
| 步骤 | 内容 | 实测数据 |
|---|---|---|
| 多路视频实时目标检测与跟踪 | 检测、跟踪、计数 | 检测流水线约 20 fps（单帧 60 ms） |
| 车辆车牌检测 + OCR | RK1828 端侧推理 | 约 114 ms |
| 车辆外观/行为中文描述 | VLM 输出 | 约 1.2 s |
| 行人状态/是否骑车/携带物品 | VLM 输出 | 约 1.2 s |
| 事故/异常场景判定 | 连续多帧输入 VLM，滚动监控 | 约 1-2 s，可稳定判定正常场景 |
适用场景：路口监控、高速巡检、停车场、园区出入口等。
Multistream-Detect 智慧交通监管演示
面向会议室、培训室的本地化 AI 会议助手，典型形态：
能力组成：
| 能力 | 描述 |
|---|---|
| 实时语音转写（ASR） | 本地 ASR 转文字，延迟可控 |
| 双语翻译 | 中英/多语翻译，本地推理 |
| 会议纪要智能总结 | 自动抽取要点、生成长摘要 |
| 基于向量库的语义检索（RAG） | 历史会议可语义化检索 |
| 说话人分离（Speaker Diarization） | 区分不同发言者，纪要归属清晰 |
整套流程跑在 AIBOX PRO 本地，语音数据不出域，适合政企、金融、医疗等对会议内容敏感的内部场景。
AI Meeting 智能会议演示
针对本地化的“知识问答 + 工具调用”需求，提供网页聊天 + 工具调用 + 技能包的端侧智能体能力。
关键能力：
| 项 | 内容 |
|---|---|
| 基座模型 | AgentModel-V3-4B（RKNN3 / RKLLM3 本地推理） |
| 推理框架 | RKLLM3 + Nanobot Gateway |
| 接口 | OpenAI 兼容接口，便于接入现有应用 |
| 技能 | 内置联网搜索、IM 接入（飞书 / Telegram / Slack）、MCP 工具、文档解析（PDF / Word / PPT / Excel） |
| 数据 | 聊天数据全程本地，可对接第三方系统或作为私有化助手 |
适合企业内部知识库、客服辅助、运营问答、设备运维知识助手等场景。
ClawChips 端侧大模型智能体演示
独立运行的多模态推理服务，自带 ai_media_base.service，对外提供 OpenAI 兼容接口，便于上层应用集成。
| 模型 | 大小 | 作用 |
|---|---|---|
| Qwen3-VL-4B 视觉语言模型 | 3.4 GB | 图像/视频理解、视觉问答 |
| Paraformer 语音识别 | 459 MB | 中文/英文 ASR |
| bge-small-zh-v1.5 中文向量模型 | 96 MB | 文本向量化、语义检索 |
接口：/v1/models，可直接对接现有 OpenAI 生态应用。
AI-Media-Base 多模态推理服务演示
| 应用 | 资源占用 | 运行时版本 |
|---|---|---|
| RKNN3 Runtime（系统服务） | – | 1.0.5b10 |
| Multistream Detect | 2.0 GiB | 1.0.5b10 |
| ClawChips | 8.9 GiB | 1.0.5b10 |
| AI Media Base | 3.7 GiB | 1.0.5b10 |
| Llama RKNN3 Server | – | 1.0.5b10 |
| 领域 | 典型用法 |
|---|---|
| 智慧交通 / 城市治理 | 路口/卡口/路段多路视频分析，事故检测、违停/异常行为告警、车牌追踪 |
| 园区 / 校园 / 楼宇安防 | 人员行为描述、危险物品/行李识别、陌生人轨迹、大门口 AI 值守 |
| 智慧工地 / 生产安全 | 安全帽/行为规范检测、禁区闯入、连续画面事件分析 |
| AI 会议室 / 培训室 | 实时转写、自动纪要、历史会议语义检索 |
| 边缘智能体 | 本地部署聊天/知识问答/工具调用，数据不出网 |
| 维度 | 做法 |
|---|---|
| 一套硬件 = 视觉+语音+语言全栈 AI | 检测/跟踪/车牌/VLM/ASR/LLM/向量检索全部本地 NPU 推理，不依赖云端，无数据出域风险 |
| 免手工部署 | 应用封装为 Deb + 资源包，App Portal 一键安装/健康检查/Web 打开，免手工部署模型与依赖 |
| 数据本地化 | 语音转写、智能总结、语义检索均本地运行，适合数据敏感的政企/行业客户 |
| 低延迟 | 检测流水线约 20 fps（单帧 60 ms），车牌识别百毫秒上下，VLM 行为/场景分析 1-2 s |
| 可扩展性 | 大模型基本可通过 RK1828 单卡跑通，模型/流水线可替换（YOLO→ReID→VLM 全链路），开放端口与 API 便于集成 |
App Portal 面向开发者提供本地化控制平面，把多模态 AI 在边缘侧的部署从“散装命令行”变成“一站管理”。在 AIBOX PRO 系列（RK3588 + 双 RK1828）上，这套平台已经覆盖了从智慧交通到 AI 会议、从端侧智能体到多模态推理服务的常见边缘 AI 场景。
以下为华为昇腾（Ascend）310B 官方套件安装亚克力外壳的实操演示：
