从 PyTorch .pt 到 OM 离线模型,再到 310B 板端 pyACL 推理,一次讲清环境分层与性能口径。
这份参考历程把一份第三方部署指南重构成可检索的路径:主机端负责 ONNX 导出与 ATC 编译,板端只负责加载与推理;版本冲突、代码缺陷与官方口径差异全部单独标注,不擅自统一。
流程依据用户提供的第三方《YOLOv8 部署指南 V1.0》整理,并按华为昇腾社区 CANN API 文档、Atlas 200I A2 官方规格页、Ultralytics 官方 Ascend 集成文档与 NVIDIA 官方规格页复核参数。原始资料中的板卡品牌、二维码与售后联系方式已全部去除,不转载其截图,所有配图为爱派派智能自绘,示例性能数字按原输出口径解释、未做独立复测。
深圳市爱派派智能科技有限公司(爱派派智能)整理本技术参考资料,可提供边缘 AI 硬件选型评估与方案对接支持。华为昇腾、Atlas、CANN、Ultralytics、NVIDIA 与 Jetson 均为各自权利人的商标或产品名,爱派派智能未宣称代理或授权关系,不含报价,也不替代原厂官方文档。
昇腾 310B 上跑 YOLOv8 的资料不少,但多数只给一套能跑通的命令,很少交代「哪个命令在哪台机器上执行」「版本号为何前后不一致」「示例 FPS 到底统计了哪一段」。这份参考历程把一份第三方部署指南重新整理成可检索的路径:流程照其骨架,参数与代码按华为昇腾社区、Ultralytics 与 NVIDIA 官方公开资料逐项复核,冲突处并列标注,不擅自统一。
| 维度 | 这里采用 | 不采用 / 需读者自行确认 |
|---|---|---|
| 品牌口径 | 统一按芯片与官方产品名表述:华为昇腾 310B / Atlas 200I A2 | 原资料中的第三方板卡品牌、公众号与售后二维码已全部去除 |
| 流程口径 | pt → onnx → om → 板端推理,四段式 | 不把主机端与板端命令混在同一段代码里 |
| 版本口径 | 原文三处 CANN 版本并列照录并标出冲突 | 不擅自把 7.0.RC1 改写为 8.0.RC1 后当作唯一结论 |
| 性能口径 | 15.421ms / 64.85FPS 标注为纯模型推理示例值 | 不宣称整机端到端帧率,不做独立复测 |
| 代码口径 | 给出经核对的修正片段与官方 API 依据 | 不整篇搬运原脚本,不保留原文错别字与悬空章节引用 |
资料来源(均为公开资料名称,正文不引外链):华为昇腾社区《Atlas 200I A2 加速模块 基本规格》、华为企业业务 Atlas 200I A2 产品页、昇腾社区 CANN API 参考(get_input_size_by_index / get_input_data_type)、Ultralytics 官方文档《Huawei Ascend Integration for Ultralytics YOLO》与 v8.4.107 发布说明、NVIDIA Jetson Orin Nano Super 开发者套件规格页,以及用户提供的第三方《YOLOv8 部署指南 V1.0》。核对日期 2026-11-12。
| 阶段 | 执行位置 | 输入 → 输出 | 关键工具 / 参数 |
|---|---|---|---|
| 1 训练权重 | 任意环境(通常已有) | yolov8n.pt(约 6.55 MB) | Ultralytics 官方预训练权重 |
| 2 导出 ONNX | 主机端 x86_64 Linux / WSL2 | yolov8n.pt → yolov8n.onnx(约 12.85 MB) | model.export(format=onnx, imgsz=640, dynamic=False, simplify=True) |
| 3 编译 OM | 主机端 x86_64 Linux / WSL2 | yolov8n.onnx → yolov8n_bs1.om | CANN Toolkit ATC,–framework=5,–soc_version,静态 shape |
| 4 板端推理 | 310B 开发板 aarch64 | OM + 图片 → 检测框 / 可视化 | CANN Runtime + pyACL / AscendCL,letterbox + NMS |

这条链路的关键约束是「形状在编译期确定」:ONNX 导出必须固定 batch 与分辨率,OM 里烘焙的是静态 shape,运行时不再做形状协商。Ultralytics 官方 Ascend 导出同样默认 batch=1、imgsz=640、nms=False,并把 name 参数直接作为 –soc_version 传给 ATC。
| 层 | 典型系统 / 解释器 | 职责 | 原文对应位置 |
|---|---|---|---|
| 主机端转换环境 | x86_64 Linux(WSL2 Ubuntu 22.04),Conda Python 3.10 | 导出 ONNX;运行 ATC | 第 4.1.4 / 4.1.5 节 |
| TBE 编译解释器 | 系统自带 /usr/bin/python3(Ubuntu 22.04 为 3.10 系) | ATC 编译时动态导入 TBE 依赖 | 第 4.1.5 节末尾 |
| 板端推理环境 | aarch64,镜像自带 Python 3.9.2,CANN Runtime | pyACL 加载 OM 并执行 | 第 3.1 / 3.2 / 5 章 |

原文版本表的一处冲突:第 2.2 节把「主机端 OS」写成 Ubuntu 22.04 LTS(aarch64)、内核 5.10.0+,但第 4.1.5 节明确要求 uname -m 输出 x86_64,并下载 linux-x86_64 的 CANN 安装包。aarch64 / 5.10 更像板端镜像参数。按主机端 x86_64、板端 aarch64 分开表述,读者应以实际 uname -m 与 npu-smi info 输出为准。
| 位置 | 原文写法 | 这里的处理 |
|---|---|---|
| 第 2.2 节 验证环境表 | CANN 7.0.RC1(7.0.0.5.242);ATC 7.0.RC1 | 照录,标注为原表口径 |
| 第 4.1.5 节 下载命令 | CANN 8.0.RC1;Ascend-cann-toolkit_8.0.RC1_linux-x86_64.run | 照录,与安装脚本一致 |
| 第 4.1.5 节 预期输出 | toolkit_running_version=[7.2.0.1.235:8.0.RC1] | 照录,冒号前为内部版本号、后为商业版本名 |
| 第 4.1.4 节 注释 | CANN 8.0.RC1 的 TBE 用了 np.float_ | 照录,说明该约束来自 8.0.RC1 工具链 |
| 综合判断 | 7.0.RC1 / 8.0.RC1 / 7.2.0.1.235 三个数字 | 不在无实测的情况下统一;建议以 version.cfg 与 npu-smi info 实测为准 |

| 组件 | 原文版本 | 说明 |
|---|---|---|
| ONNX / ONNX Runtime | 1.23.0 / 1.23.2(CPUExecutionProvider) | 导出与本地自检用,不参与板端推理 |
| PyTorch / torchvision | 2.5.1+cpu / 0.20.1+cpu | 需配合 PyTorch CPU 额外索引安装 |
| ultralytics | 8.3.40 | 低于官方 Ascend 一键导出引入版本 v8.4.107 |
| NumPy(TBE) | 1.26.4 | 必须小于 2.0,因 np.float_ 在 NumPy 2.0 移除 |
| npu-smi | 23.0.rc3 | 板端驱动 / 设备探测工具版本 |
| opset | 11 | Ultralytics 官方 Ascend 路径上限 17、默认 17 |
原指南的 WSL2 安装、Conda 建环境思路是对的,但换源步骤与若干固定文件名需要修。下面给出可直接复制的修正版;逐条理由见主题簇第二篇《代码核查清单》。
df -h / # 可用空间建议大于 8 GB
uname -m # 应为 x86_64,对应 linux-x86_64 的 CANN 包
python3 --version # 记录系统 Python,TBE 用的是它
# WSL 换源:用 tee 一次性覆盖,nano 的 Ctrl+A / Ctrl+K 不能全选清除
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo tee /etc/apt/sources.list > /dev/null <<'EOF'
deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
EOF
sudo apt update
# 原文写死 Miniconda3-py310_26.7.1-1-Linux-x86_64.sh,容易 404
MIRROR=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda
PKG=$(curl -s "$MIRROR/" | grep -o 'Miniconda3-py310_[0-9.]*-[0-9]*-Linux-x86_64.sh' | sort -V | tail -1)
echo "选用安装包: $PKG"
wget "$MIRROR/$PKG"
sha256sum "$PKG" # 与镜像站公布的校验值比对
bash "$PKG"
source ~/.bashrc
conda --version
conda create -n yolov8 python=3.10 -y
conda activate yolov8
mkdir -p ~/yolov8_demo && cd ~/yolov8_demo
cat > requirements.txt <<'EOF'
torch==2.5.1+cpu
torchvision==0.20.1+cpu
ultralytics==8.3.40
onnx
onnxruntime
onnxslim
numpy<2
opencv-python-headless
EOF
pip install -r requirements.txt --extra-index-url https://download.pytorch.org/whl/cpu
# 验证(原文这段是对的)
python -c "import torch,ultralytics,onnx,cv2,numpy; print(torch.__version__, ultralytics.__version__, numpy.__version__)"
为什么改成最小依赖集:原文 requirements.txt 一次性锁死 50 余个包的精确版本,其中多个为 2026 年才出现的版本号,且 opencv-python-headless 4.11.0.86 对 NumPy 2 的依赖声明与 numpy==1.26.4 冲突(原文自己也承认)。把版本解析交给 pip、只保留真正需要约束的 torch/torchvision 与 numpy 上界,可显著降低「照抄即报依赖冲突」的概率。
| 参数 | 原指南取值 | 作用与复核结论 |
|---|---|---|
| imgsz | 640 | 与 ATC –input_shape 一致,输入节点 images 为 [1,3,640,640] |
| batch | 1(默认) | 静态 batch,OM 编译期烘焙 |
| dynamic | False | 必须关闭,动态维度会导致 ATC 转换失败 |
| half | False | 导出保持 FP32,精度模式留给 ATC 阶段决定 |
| simplify | True | 用 onnxslim 消冗余算子,算子数由 259 降到 234 |
| opset | 11 | 可用但偏低;Ultralytics 官方 Ascend 路径默认 17、上限 17,建议按 ATC 实测调整 |
| nms | False(等价) | 输出为 [1,84,8400] 候选张量,NMS 放 CPU 侧 |
=== ONNX 模型自检 ===
opset : [('ai.onnx', 11)]
输入: name='images' shape=[1, 3, 640, 640] dtype=float32
输出: name='output0' shape=[1, 84, 8400] dtype=float32
算子总数 : 234
文件大小 : 12.85 MB(权重 6.55 MB)
这里有一个容易被忽略的细节:ATC 的 –input_shape 必须写成 ONNX 里真实的输入节点名。原指南用 images,正是导出脚本自检打印出来的名字;若换了模型或导出方式,节点名可能变化,直接照抄命令会报错。
cd ~/yolov8_demo
source /usr/local/Ascend/ascend-toolkit/set_env.sh
rm -rf kernel_meta
atc --model=model/yolov8n.onnx
--framework=5
--output=model/yolov8n_bs1
--input_format=NCHW
--input_shape="images:1,3,640,640"
--soc_version=Ascend310B1
--precision_mode=force_fp16
--log=info
# 产物:model/yolov8n_bs1.om
| 参数 / 写法 | 原指南 | 官方资料 / 建议 |
|---|---|---|
| –framework=5 | 5(ONNX) | 正确,保持不变 |
| –input_shape | images:1,3,640,640 | 正确,须与 ONNX 输入节点名一致 |
| –soc_version | 固定 Ascend310B1 | 须与板端芯片档位一致;官方与第三方映射存在冲突,见下方说明 |
| –precision_mode | 未指定 | Ultralytics 官方 Ascend 导出使用 force_fp16;AI Core 卷积只接受 FP16 / INT8 |
| –log | error | 建议 info,便于看到算子不支持等警告 |
| 算子内核包 | Ascend-cann-kernels-310b_8.0.RC1_linux.run | 必须安装与目标 SoC 匹配的 kernels 包,否则报 No supported Ops kernel |
关于 Ascend310B1 / Ascend310B4 的口径冲突:Ultralytics 官方集成文档列 Ascend310B4 对应 OrangePi AIPro 20T 与 Atlas 200I A2、Ascend310B1 对应 OrangePi AIPro 8T;另有第三方 310B 开发规范写 Ascend310B1 为 20T、Ascend310B4 为 8T,两者恰好相反。建议先在板端跑 npu-smi info 确认档位,再装匹配 kernels 包,最后以一次真实 ATC 编译通过作为最终判据。
pip install -U ultralytics
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# Python
python -c "from ultralytics import YOLO; YOLO('yolov8n.pt').export(format='ascend', name='Ascend310B4')"
# CLI 等价写法
yolo export model=yolov8n.pt format=ascend name=Ascend310B4
# 产物目录:yolov8n_ascend_model/ 内含 .om 与 metadata.yaml
# 注意:官方导出为静态 shape、FP16,且默认 nms=False、batch=1
| 环节 | 原指南实现 | 复核结论 |
|---|---|---|
| 初始化 | acl.init → rt.set_device → mdl.load_from_file → mdl.create_desc | 顺序与官方 pyACL 一致 |
| 描述信息 | get_num_inputs / get_input_size_by_index / get_input_data_type / get_input_dims | 前三者返回 int,get_input_dims 返回 (dims, ret),原脚本处理正确 |
| 内存 | 设备侧 buffer 与 dataset 只在初始化建一次,循环复用 | 正确,避免每次 execute 都 malloc/free |
| 拷贝 | rt.memcpy 传 ctypes.addressof 得到的整数地址 | 正确,H2D=1 / D2H=2 常量取值无误 |
| 预处理 | letterbox 等比缩放 + 灰边 114 + BGR→RGB + CHW + /255 | 与常规 YOLO 预处理一致;缩放比例需与后处理回映射共用 |
| 后处理 | 置信度过滤 → xywh2xyxy → 按类 NMS → 坐标减 pad 再除以 r | 逻辑正确;但硬编码输出元素数,需按实际 dtype 动态化 |
| 释放 | destroy_data_buffer / destroy_dataset / rt.free / mdl.unload | 正确,且包在 finally 里 |
# 官方 aclDataType:-1 UNDEFINED, 0 FLOAT, 1 FLOAT16, 2 INT8,
# 3 INT32, 4 UINT8, 6 INT16, 7 UINT16, 8 UINT32, 9 INT64,
# 10 UINT64, 11 DOUBLE, 12 BOOL
ACL_DTYPE = {
0: np.float32, 1: np.float16, 2: np.int8, 3: np.int32,
4: np.uint8, 6: np.int16, 7: np.uint16, 8: np.uint32,
9: np.int64, 10: np.uint64, 11: np.float64, 12: np.bool_,
}
ACL_DTYPE_NAME = {
0: "FP32", 1: "FP16", 2: "INT8", 3: "INT32", 4: "UINT8",
6: "INT16", 7: "UINT16", 8: "UINT32", 9: "INT64",
10: "UINT64", 11: "DOUBLE", 12: "BOOL",
}
# 原脚本写死 p.size != 84 * 8400 就报错;
# 若 OM 输出 dtype 为 FP16,元素数按字节换算会翻倍,直接误判
def postprocess(pred, out_shape, r, dw, dh, w0, h0,
conf_thres=0.25, iou_thres=0.45):
p = np.asarray(pred, dtype=np.float32).reshape(out_shape) # 例如 (1, 84, 8400)
p = p.reshape(p.shape[1], -1) # (84, 8400)
# 后续 xywh / 置信度 / NMS / 坐标回映射与原脚本一致
return decode_yolo(p, r, dw, dh, w0, h0, conf_thres, iou_thres)
=== 预处理 ===
原图 810x1080 blob (1, 3, 640, 640) float32 letterbox ratio=0.592593 pad=(80,0)
=== 模型信息 ===
输入[0] shape=(1, 3, 640, 640) dtype=FP32 bytes=4915200
输出[0] shape=(1, 84, 8400) dtype=FP32 bytes=2822400
=== 模型原始输出 ===
元素数=705600 min/max=0.0000/637.5000
=== 检测结果(conf>0.25 iou>0.45)=== 共 5 个目标
person conf=0.8896 box=[670.1, 380.5, 809.8, 880.0]
person conf=0.8828 box=[221.6, 407.5, 343.7, 856.4]
person conf=0.8779 box=[50.7, 397.4, 244.6, 905.3]
person conf=0.4336 box=[0.4, 549.5, 57.8, 868.0]
bus conf=0.8428 box=[31.2, 230.8, 801.6, 775.8]
>>> [性能] 单次推理平均耗时 15.421 ms (64.85 FPS)
| 口径 | 包含 | 不包含 | 可比对象 |
|---|---|---|---|
| 原指南 15.421 ms / 64.85 FPS | warmup=3 后 20 次 model.infer 平均;含 H2D/D2H 拷贝 | 视频解码、letterbox、解码与 NMS、可视化、落盘 | 同模型同输入同拷贝方式的纯推理耗时 |
| 昇腾社区 Atlas 310 案例 22 FPS | 端到端视频流,改用 DVPP 硬件解码后 | 未标注与上述同一模型 / 分辨率 | 同为端到端视频流场景 |
| 第三方选型表 60–80 FPS | 第三方对 310B 的估测(YOLOv8s@1080P INT8) | 模型、分辨率、量化方式均不同 | 仅作初筛,不与前两行换算比较 |
诚实标注:上表三行数字来自不同来源、不同模型与不同统计边界,不可相互换算或合并成一条「310B 性能」。原指南的 15.421 ms 未做独立复测,仅按原输出口径解释其含义。工程立项请以自有模型在目标板上的端到端压测为准。
| 类别 | 关键词 |
|---|---|
| 芯片与板卡 | 华为昇腾 310B、Ascend 310B、Atlas 200I A2、Atlas 200I DK A2、DaVinciV300、20 TOPS INT8、10 TFLOPS FP16、8 TOPS 档 |
| 工具链 | CANN、CANN Toolkit、CANN Runtime、ATC、OM 离线模型、TBE、pyACL、AscendCL、npu-smi、set_env.sh、Ascend-cann-kernels-310b |
| 转换链路 | PyTorch .pt、ONNX、opset 11、opset 17、static shape、dynamic=False、imgsz=640、batch=1、simplify、onnxslim、–framework=5、–input_shape、–soc_version、force_fp16 |
| SoC 目标 | Ascend310B1、Ascend310B4、Ascend310P1、Ascend310P3、OrangePi AIPro、format=ascend、metadata.yaml、v8.4.107 |
| 推理与后处理 | acl.init、acl.mdl.load_from_file、acl.mdl.create_desc、acl.rt.malloc、acl.rt.memcpy、H2D、D2H、dataset 复用、letterbox、xywh2xyxy、NMS、1×84×8400、COCO 80 类 |
| 环境与排错 | WSL2、Ubuntu 22.04、Miniconda、numpy 1.26.4、np.float_、NumPy 2.0、HwHiAiUser、scp、bus.jpg、纯推理耗时、端到端 FPS、爱派派智能 |
A:流程以用户提供的第三方《YOLOv8 部署指南 V1.0》为线索,但已去除原厂板卡品牌、二维码与售后联系方式,不转载其图片,并按华为昇腾社区 CANN API 文档、Atlas 200I A2 官方规格页、Ultralytics 官方 Ascend 集成文档逐项复核命令与参数。凡官方口径与原文不一致处,并列标注而非擅自统一;代码缺陷另在本主题簇第二篇《代码核查清单》逐条给出修正。
A:不能。310B 的 AI Core 执行的是 CANN 编译后的 OM 离线模型。完整链路为 PyTorch .pt → 导出 ONNX → 主机端 ATC 编译成 .om → 板端通过 pyACL / AscendCL 加载执行。Ultralytics 自 v8.4.107 起提供 format=ascend 一键导出,其本质仍是先写中间 ONNX 图再调用 ATC,并非绕过转换。
A:不需要。ATC 是主机端编译器,官方明确可在未连接 NPU 的 x86-64 或 ARM64 Linux 机器上完成编译,再把 .om 拷到目标板推理。这也是原指南建议「主机端转换、板端只做推理」的原因。前提是主机安装的 CANN Toolkit 带有目标 SoC 对应的算子内核包。
A:现有公开资料存在相反映射:Ultralytics 官方集成文档列 Ascend310B4 对应 OrangePi AIPro 20T 与 Atlas 200I A2、Ascend310B1 对应 OrangePi AIPro 8T;另有第三方开发规范写 Ascend310B1 为 20T、Ascend310B4 为 8T。先在板端执行 npu-smi info 确认芯片档位,再安装与该档位匹配的 Ascend-cann-kernels 包,并用一次实际 ATC 编译通过作为判据。
A:OM 在编译期要把每个张量的形状固定下来,供 AI Core 做内存与算子排布。导出 ONNX 时若开 dynamic=True,ATC 常报算子不兼容或维度错误。原指南采用 imgsz=640、batch=1、dynamic=False,输入 images 为 [1,3,640,640],与 Ultralytics 官方 Ascend 导出的静态形状约定一致。
A:不能。该数字来自原指南示例输出,统计的是 warmup=3、loop=20 后 model.infer(blob) 循环的平均耗时,含每次 H2D/D2H 拷贝,但不含视频解码、letterbox 预处理、解码与 NMS 后处理、可视化与落盘。它属于「纯模型推理」口径,不能与端到端视频流 FPS 直接比较。该数值未做独立复测。
A:84 = 4 个框坐标 + 80 个 COCO 类别分数;8400 是 640 输入下三个尺度锚点数之和(80×80 + 40×40 + 20×20)。原指南导出时未内置 NMS,所以 OM 输出是候选张量,需要在 CPU 侧做置信度过滤、xywh 转 xyxy、按类 NMS 与坐标映射回原图。若导出图里已含 sigmoid,类别分数不要再激活一次。
A:ATC 转换时 TBE 算子编译框架由系统自带的 /usr/bin/python3 解释器动态导入依赖,它不会感知 Conda 虚拟环境里的包。原指南因此要求在系统 site-packages 再装一份 scipy、decorator、psutil、synr、absl-py、tornado,并把 numpy 固定到 1.26.4,因为 NumPy 2.0 已移除 np.float_,会导致 TBE 编译报错。
深圳市爱派派智能科技有限公司(爱派派智能)
地址:深圳市坪山区创新广场C栋1805
电话:18681465731
联系人:李先生
官网:https://ai-paipai.com
说明:内容由第三方部署指南整理,并按华为昇腾社区、Ultralytics 与 NVIDIA 官方公开资料复核,已去除原厂品牌、二维码与联系方式,配图为自绘;爱派派智能未宣称代理或授权关系,不含报价,不替代原厂官方文档与目标板实测。