自学内容网 自学内容网

OrangePi AIpro在安防领域的深思和实战(旷视科技CNN模型ShuffleNetV1开发案例测试)

一、前言

公司最近有个项目是安防领域的,主要用在边缘结点,虽然已做成形,但是还是存在一些缺陷,例如:算力问题,开发板的成熟问题,已经各种技术的解决方案落地问题。目前我们集成了很多功能,主要是拉取rtsp等流媒体协议的实时视频流,例如:可以拉取海康相机的rtsp,然后针对这个相机做AI识别以及分析。

Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板,其搭载了昇腾 AI 处理器,可提供 8TOPS INT8 的计算能力,内存提供了 8GB 和 16GB 两种版本。可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。

今天香橙派AIpro这块板子终于到了,先来探索下在安防领域的应用。

在这里插入图片描述

二、搭建开发环境

梳理这篇文章之前整理了很多篇,这里直接写总结吧,太冗余的废话就不多说了。总结下来,香橙派AIpro的开发环境并没有太复杂的地方,主要是下载好交叉编译工具,配置好环境变量就OK了。

在这里插入图片描述

官网提供了多个下载的资源,在官方工具这个地址中可以下载到交叉编译工具

在这里插入图片描述

还提供了一些额外的辅助工具,远程工具,图片查看工具等:

在这里插入图片描述

下载好,配置环境变量:

 export PATH=$PATH:/你的位置/toolchain/bin/

如果你是windows就加到自己的PATH环境变量中即可,这个就不需要多说了吧。


如何验证安装成功了呢:

1.使用which命令
which aarch64-target-linux-gnu-g++

2.如果能查到说明成功了
/位置/toolchain/bin//aarch64-target-linux-gnu-g++

通过putty的串口连接:

在这里插入图片描述

登录成功:
在这里插入图片描述

三、识别案例

咱们可以参考samples:

(base) HwHiAiUser@orangepiaipro:~$ 
(base) HwHiAiUser@orangepiaipro:~$ cd samples/
(base) HwHiAiUser@orangepiaipro:~/samples$ ls
01-SSD  02-CNNCTC  03-ResNet50  04-HDR  05-CycleGAN  06-Shufflenet  07-FCN  08-Pix2Pix  start_notebook.sh
(base) HwHiAiUser@orangepiaipro:~/samples$ 

可以看到有个启动脚本:

(base) HwHiAiUser@orangepiaipro:~/samples$ cat start_notebook.sh 
. /usr/local/Ascend/ascend-toolkit/set_env.sh
export PYTHONPATH=/usr/local/Ascend/thirdpart/aarch64/acllite:$PYTHONPATH

if [ $# -eq 1 ];then
    jupyter lab --ip $1 --allow-root --no-browser
else
    jupyter lab --ip 127.0.0.1 --allow-root --no-browser
fi

(base) HwHiAiUser@orangepiaipro:~/samples$ 

通过if [ $# -eq 1 ]可以知道,这个脚本可以接收一个IP参数:

在这里插入图片描述

然后把这一串URL复制到浏览器地址栏把127.0.0.1改成自己的IP即可访问:

在这里插入图片描述

访问效果:

在这里插入图片描述

ShuffleNet v1 是由国产旷视科技团队在 2018 年提出的一种计算高效的CNN模型,其和 MobileNet、SqueezeNet 等一样主要是想应用在移动端。

ShuffleNet 的设计目标也是如何利用有限的计算资源来达到最好的模型精度,这需要很好地在速度和精度之间做平衡。目前移动端CNN模型主要设计思路主要是两个方面:模型结构设计和模型压缩。ShuffleNet 和MobileNet 一样属于前者,都是通过设计更高效和轻量化的网络结构来实现模型变小和变快,而不是对一个训练好的大模型做压缩或者迁移。

ShuffleNet 的核心是采用了两种操作:pointwise group convolution 和 channel shuffle,这在保持精度的同时大大降低了模型的计算量。ShuffleNet 的核心设计理念是对不同的 channels 进行 shuffle 来解决 group convolution 带来的弊端。

对这个比较感兴趣,看到有这个案例就研究下跑个试试:

进入到相应的目06-Shufflenet目录:
打开main_shufflenet.ipynb文件,可以打开在线编辑。
在这里插入图片描述

跑自己的模型的话,可以使用香橙派提供的模型转换工具把模型转换一下:

atc --output_type=FP32 --input_format=NCHW--output="./shufflenet" --soc_version=Ascend310B4 --framework=1 --save_original_model=false --model="./shufflenet.air" --precision_mode=allow_fp32_to_fp16

参数含义:

  * --output_type:指定网络输出数据类型。
  * --input_format:输入Tensor的内存排列方式。
  * --output:输出的模型文件路径。
  * --soc_version:昇腾AI处理器型号,此处为"Ascend310B4"。
  * --framework:原始框架类型,  0: Caffe, 1: MindSpore, 3: TensorFlow, 5: ONNX。
  * --save_original_model:转换后是否保留原始模型文件。
  * --model:原始模型文件路径。
  * --precision_mode:选择算子精度模式。

官方的案例中使用python写了4部分的代码:

在这里插入图片描述

运行后就可以得到该模型跑后的结果:

在这里插入图片描述

从提供的日志中可以看到,整个流程涉及初始化、资源释放和模型加载阶段的日志记录。以下是各个阶段的分析:

初始化资源阶段 (init resource stage)

  • Init resource success: 表示初始化资源阶段成功完成。
  • Init model resource start…: 开始初始化模型资源。

初始化模型资源阶段 (Init model resource start…)

  • [AclLiteModel] create model output dataset:
    • malloc output 0, size 40: 为模型输出分配了大小为40的内存。
    • Create model output dataset success: 成功创建了模型输出数据集。
  • Init model resource success: 模型资源初始化成功。

释放资源阶段 (acl resource release all resource)

  • AclLiteModel release source success: 释放模型资源成功。
  • acl resource release stream: 释放ACL流资源。
  • acl resource release context: 释放ACL上下文资源。
  • Reset acl device 0: 重置ACL设备0。
  • Release acl resource success: 成功释放ACL资源。

该算法逻辑梳理:

1. 初始化资源:

  • 成功完成基础资源的初始化。

2. 初始化模型资源:

  • 成功开始并完成模型资源的初始化。
  • 为模型输出分配内存并成功创建输出数据集。

3. 释放资源:

  • 成功释放了所有模型相关资源、ACL流资源和ACL上下文资源。
  • 重置了设备并确认所有ACL资源释放成功。

这些日志信息表明整个流程从初始化到释放资源均顺利完成,没有出现错误或警告。

四、总结

整个过程分为三个主要阶段:初始化资源、初始化模型资源和释放资源。每个阶段的日志显示了操作的开始和结束,所有操作均成功完成。

香橙派Aipro提供的案例完美的执行成功了,学习起来很适合企业开发者用户。往外继续延伸,如果单纯的使用香橙派Aipro做模型的测试也是很可以的,可惜了我这边内存不太够,没办法做太多太消耗内存的东西。总之就是学习起来毫不费劲,官方文档一应俱全。

跑这个模型时挺快的,只是不知道跑上多路流然后实时检测的情况如何,还有待验证!在边缘计算设备中性能还是足够的。


原文地址:https://blog.csdn.net/weixin_45755332/article/details/140396955

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!