红外相机和RGB相机外参标定 - 无需标定板方案
1. 动机
在之前的文章中红外相机和RGB相机标定：实现两种模态数据融合_红外相机标定-CSDN博客 ，介绍了如何利用标定板实现外参标定；但实测下来发现2个问题：
（1）红外标定板尺寸问题，由于标定板小，只能在离相机较近的位置采集图像，距离远就无法识别棋盘格，这就导致标定后，远处的物体存在标定误差
（2）换用大标定板有费用高，标定不灵活的问题。
针对上述问题，本方案不再使用标定板提取特征点，而是从实际部署场景中手动选取特征点。
2. 数据准备
2.1 数据保存格式要求
采集的IR和RGB图片放在同一个文件夹下，必须满足以下命名规范，比如红外数据是IR_{ir_idx}.png，可见光相机是RGB_{rgb_idx}.png，ir_idx和rgb_idx必须一一对应，否则数据无效。文件后缀统一为png，红外图像前缀IR_，RGB图像前缀RGB_。
可参考的采集代码样例如下：
#!/usr/bin/env python3
import cv2 , time
import numpy as np
ir_dev = "/dev/video6"
rgb_dev = "/dev/video0"
# define a video capture object
ir_vid = cv2.VideoCapture(ir_dev)
rgb_vid = cv2.VideoCapture(rgb_dev)
count = 0
while(True):
# Capture the video frame by frame
st_time = time.time()
ret, ir_frame = ir_vid.read()
ret, rgb_frame = rgb_vid.read()
cv2.imshow('IR frame', ir_frame )
cv2.imshow('RGB frame', rgb_frame )
key = cv2.waitKey(1) & 0xFF
if key == ord('q'):
break
if key == ord('s'): #按s键保存数据
cv2.imwrite(f"IR_{count}.png", vis_ir_frame)
cv2.imwrite(f"RGB_{count}.png", vis_rgb_frame)
count += 1
ir_vid.release()
rgb_vid.release()
# Destroy all the windows
cv2.destroyAllWindows() 2.2 数据采集要求
保存图片时，相机必须静止，这主要是剔除两个相机时间不同步带来的干扰。选择角点信息明显的场景进行采集，比如下图中的标牌、盒子等有尖角的物体，就比较容易手工选择关键点
3. 手动选择关键点
（1）修改config.yml文件
如下所示，根据实际情况修改即可
config:
#IR2RGB：将IR图像映射到RGB图像上，融合后的尺寸和RGB图保持一致；RGB2IR：将RGB图像映射到IR图像上，融合后的尺寸和IR图保持一致；
calib_mode: "IR2RGB"
rgb_camera:
#相机内参，如何相机没有畸变或者还没有标定，就用[1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
camera_matrix: [3977.513242,0.000000,967.216738,0.000000,3978.987031,595.814879,0.0,0.0,1.0]
#镜头畸变，如何相机没有畸变或者还没有标定，就用[0.0, 0.0, 0.0, 0.0, 0.0]
distortion: [-0.355658,-0.008383,0.010103,0.000312,0.000000]
ir_camera:
#相机内参，如何相机没有畸变或者还没有标定，就用[1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
camera_matrix: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
#镜头畸变，如何相机没有畸变或者还没有标定，就用[0.0, 0.0, 0.0, 0.0, 0.0]
distortion: [0.0, 0.0, 0.0, 0.0, 0.0]注意文件中的camera_matrix和distortion均是标准的opencv格式，可用以下代码进行检验
import cv2
camera_matrix= np.array([3977.513242,0.000000,967.216738,0.000000,3978.987031,595.814879,0.0,0.0,1.0]).reshape((3,3))
distortion= np.array([-0.355658,-0.008383,0.010103,0.000312,0.000000])
raw_rgb_img = cv2.imread("your_rgb.png")
rgb_img = cv2.undistort(raw_rgb_img, camera_matrix, distortion)
cv2.imshow("raw", raw_rgb_img)
cv2.imshow("calib", rgb_img)
cv2.waitKey()（2）运行程序，设置待标定图片路径，如下图所示，点击红色区域按钮
图片路径不要有中文，否则程序会推出。
（3）设置完成后，会自动加载第一帧数据，如下图所示，整个界面分为“红外区域”、“RGB区域”、“列表区域”
各个区域的操作如下表所示
| 区域 | 操作 | 功能 |
| 红外区域/RGB区域 | 鼠标滚轮 | 放大/缩小图片 |
| 鼠标左键 | 在图像上加点 | |
| 鼠标右键 | 弹出菜单，保存数据或删除上一个点 | |
| 鼠标中键+移动鼠标 | 移动图像 | |
| 数据列表区 | 鼠标左键 | 切换图片 |
（4）通过鼠标左键在RGB区域和红外区域选对应点
如下图所示，两个区域点的位置和标号必须完全对应，否则标定会失败。注意，至少选择4对点才能完成标注。
每次新加入点或者删除点后，可以直接右键保存；也可以在“列表区域”切换一下图像，弹出对话框提醒保存数据。
关键技巧：
（1）选的点对要在图像上分布均匀，且尽可能多选点；比如如果仅在图像的左半部分选点，而右半部分不选点，则会出现标定后，左半部分是准的，右边部分不准。
（2）不要选择移动物体上的点！！！，因为可能存在两个相机时间不同步，如果选择了移动物体的点，会导致标定误差大。
5. 执行标定
点击“执行calib”按钮，就可进行标定，结束后会弹出消息框提示。
6. 检测标定后的融合结果
点击“测试标定效果”，会展示“列表区域”中所有图像对的融合效果图，如下图第三列所示，按q键关闭窗口，按其他按键播放下一帧
对于融合方式，软件提供rgb融合到红外（RGB2IR）和红外融合到RGB（IR2RGB），共2种模式。切换方式为：
（a）修改config.yml文件中的calib_mode为"RGB2IR"或者"IR2RGB"
（b）重启软件，点击“设置文件路径”->点击“执行calib”->点击“测试标定效果”
7. 软件试用链接：
目前仅支持Windows系统，试用链接：
链接: https://pan.baidu.com/s/1GbMgwPH15uagAEMMVVuD5A?pwd=gk4y 提取码: gk4y
exe路径和config.yaml
提供了默认的测试数据，可直接测试软件的效果
原文地址：https://blog.csdn.net/mjlsuccess/article/details/143877884
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！