Robot | 用 RDK 做一个小型机器人（更新中）
前言
最近想开发一个小型机器人，碰巧看到了 RDK x5 发布了，参数对于我来说非常合适，就买了一块回来玩。
外设也是非常丰富，机器人开发的接口都是有的
板子实物非常好看哈哈：
架构图
机器人大概的框架是这样的，也算比较简单的，也是比较入门的架构。
-
视觉：摄像头作为图形输入端，采集外部的图像，让机器人有一双眼睛，在 RDK x5 的板子上使用加速引擎对视觉模型进行部署，速度 25 fps 完全没有压力，
-
运动: 运动的主控主要是交给 STM32F103 ，其负责底部电机还有小型液晶屏的显示交互。
开发过程
下面重点讲解下开发的过程，主要涉及以下几点：
- 摄像头
- YOLO 量化部署
- 底版开发
摄像头
我用的摄像头是 MIPI 摄像头，简单说下 MIPI 摄像头的原理
MIPI：移动产业处理器接口(Mobile Industry Processorinterface) 是MIPI联盟发起的为移动应用处理器制定的开放标准。
更多细节见 MIPI官网
MIPI摄像头的工作原理主要包括以下几个步骤：
- 数据传输：MIPI接口支持高速、低延迟的数据传输，确保相机捕获的图像和视频数据能够迅速且准确地传输到主处理器（如应用处理器）进行处理1。
- 协议支持：CSI（Camera Serial Interface）是关键协议，定义了相机传感器与处理器之间如何交换图像数据1。
- 同步与控制：同步信号和控制信号的传输确保相机与处理器之间的同步操作，并允许处理器对相机进行配置和控制，如调整曝光时间、增益等参数1。
- 图像处理：处理器接收到来自MIPI相机的原始图像数据后，会进行一系列图像处理操作，如去噪、色彩校正、图像压缩等，以生成最终可供显示或存储的图像1。
MIPI接口的特点和优势：
- 优化功耗：MIPI接口通过低压差分信号传输，降低了功耗，提高了设备的续航能力2。
- 高速传输：数据传输速率可以达到Gbps级别，满足了IT领域对高速数据传输的需求2。
- 减少引脚数：采用串行通信方式可以大幅减少物理接口数量，同时提高数据传输的速率和效率3。
- 差分信号传输：有效地减少了电磁干扰（EMI）对信号质量的影响，提高了信号传输的稳定性和可靠性3。
- 多种通信协议：支持多种通信协议，可以根据需求进行选择和定制，具有较高的灵活性2。
MIPI接口在移动设备中的应用
MIPI接口广泛应用于智能手机、平板电脑、可穿戴设备等移动设备的摄像头、显示屏、存储和其他外设与主处理器之间的连接。通过优化数据传输速率、功耗和物理连接等方面的设计，MIPI接口使得移动设备能够搭载更高性能的相机系统，从而提供更出色的拍照和录像体验1。
在 RDK x5 上使用 MIPI 摄像机非常简单， RDK x5 文档如下；
RDK相机驱动的逻辑：
模型转换
因为我的项目需要微调 YOLO，训练好之后，将 pth -> onnx -> ptq -> bin 然后直接部署就可以了。
微调过程这里不展开讲了，有兴趣的同学可以参考我的博文：《 深度学习实战 | 智慧工地安全帽和危险区域检测系统（代码已开源！） 》 ，里面会从数据集准备到微调全链路覆盖讲解，非常详细。
每款芯片都有自己的推理引擎，例如 英伟达的 TensorRT，瑞芯微的 RKNN，高通的 SNPE，RDK x5 也有自己的推理引擎，我们需要完成浮点模型到 D-Robotics 混合异构模型的转换，经过这个阶段，我们将得到一个可以在D-Robotics 处理器上运行的模型。
模型转换使用 hb_mapper makertbin 工具完成，转换期间会完成模型优化和校准量化等重要过程，校准需要依照模型预处理要求准备校准数据。 为了方便您全面了解模型转换，本节将依次介绍校准数据准备、转换工具使用、转换内部过程解读、转换结果解读和转换产出物解读等内容。
准备校准数据
在进行模型转换时，校准阶段会需要 100份左右 标定样本输入，每一份样本都是一个独立的数据文件。 为了确保转换后模型的精度效果，我们希望这些校准样本来自于您训练模型使用的 训练集或验证集 ，不要使用非常少见的异常样本，例如 纯色图片、不含任何检测或分类目标的图片等。
转换配置文件中的 preprocess_on 参数，该参数启用和关闭状态下分别对应了两种不同的预处理样本要求。 preprocess_on 关闭状态下，我们需要把取自训练集/验证集的样本做与模型推理（inference）前一样的前处理， 处理完后的校准样本会与原始模型具备一样的数据类型( input_type_train )、尺寸( input_shape )和 layout( input_layout_train )，对于 featuremap 输入的模型，可以通过 numpy.tofile 命令将数据保存为float32格式的二进制文件， 工具链校准时会基于 numpy.fromfile 命令进行读取。 例如，YOLOv5 训练的用于分类的原始浮点模型，它只有一个输入节点，输入信息描述如下：
- 输入类型：
BGR - 输入layout：
NCHW - 输入尺寸：
1x3x640x640
使用验证集做模型推理（inference）时的数据预处理如下：
图像长宽等比 scale, 并缩放到 32 的倍数，如果不足 32 则用 144,144,144 的 pad 补齐。
使用 hb_mapper makertbin 工具转换模型
hb_mapper makertbin 提供两种模式，开启 fast-perf 模式和不开启 fast-perf 模式。
fast-perf 模式开启后，会在转换过程中生成可以在板端运行最高性能的bin模型，工具内部主要进行以下操作：
-
将BPU可执行算子尽可能运行在BPU上（RDK X5 则可以通过yaml文件中node_info参数指定在BPU上运行的算子）。
-
删除模型首尾不可删除的CPU算子，包括：
Quantize/Dequantize(QAT过程会有的算子)、Transpose、Cast、Reshape等。 -
以性能最高的O3优化等级编译模型。
hb_mapper makertbin 命令使用方式如下：
不开启 fast-perf 模式：
hb_mapper makertbin --config ${config_file} \
--model-type ${model_type}
开启 fast-perf 模式：
hb_mapper makertbin --fast-perf --model ${caffe_model/onnx_model} --model-type ${model_type} \
--proto ${caffe_proto} \
--march ${march}
底版开发
底盘开发主要是 STM32F103 使用 软件 I2C 好 舵机控制版通信，舵机控制板会控制 3个舵机的运动，主要是让摄像头始终跟随某个物体使用的。
底板的 STM32 和控制板 RDK x5 只要是用串口通信的，整个协议也比较简单，这里不做过多的阐述了。
结语
好啦，以上就是我用 RDK x5 做的小机器人，后续我会持续更新，感谢大家看到这里。RDK x5 的板子真的非常好用，还在慢慢摸索更多功能哈哈。
原文地址：https://blog.csdn.net/hxj0323/article/details/143777948
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！