camera-qsc-crosstalk校准数据XTALK回写

🕗 发布于 2024-07-15 05:36 android 数码相机

问题背景

手机越做越紧凑，需要模组和芯片尺寸越做越小，在尺寸一定的基础上，高像素和大像素，对于手机摄像头来说，一直是一对矛盾的存在。

高像素：带来高分辨率画质
大像素：带来暗态下高感光度和低噪声的画质。

以上两者都非常重要，为了两者兼得4cell1感光芯片应运而生，也称之为“Tetra cell”，“Quad bayer”，“four cell”等，该芯片基于经典的Bayer阵列，将每一种颜色以4个pixel排列组合，成功可以让一款摄像头在高像素和大像素之间自由切换。现如今4cell1感光芯片兼具了常态的高像素和暗态的高感光低噪声的表现，已经成为目前手机摄像头的主力军。
在这里插入图片描述同时也带来问题，如下图，左边实拍图比右图多了许多齿狀格子等伪色。主要原因是芯片本身硬件感光和Remosaic造成的，为了优化这种现象，‘CrossTalk校准’登场，去除由于信号差别造成的格子，锯齿状等色块干扰。
在这里插入图片描述 什么是crosstalk？
在感光芯片中，crosstalk（串扰）现象是指相邻像素之间的信号互相影响导致的一种干扰。当一个像素受到光照并转换成电信号时，其附近的像素可能会因为光电效应或其他物理机制而感应到部分光强，这不属于它们自身的光学响应，而是由于彼此之间产生的非线性相互作用。这种串扰可能导致图像质量下降，尤其是在高密度像素阵列如CMOS传感器中更为明显，因为它增加了错误信息的传播机会。为了减少crosstalk，设计者通常会采用各种技术，比如优化像素布局、增加隔离层等措施。
在这里插入图片描述解决办法：crosstalk（串扰）校准。
Crosstalk校准工具，通常将全图分成多个ROI方块，计算各像素通道的能量并确定其补偿数据，芯片再使用这些校准数据让原本不均匀状态的能量分布变得更为平衡。

问题分析

一般是模组厂家在模组出厂的时候，会使用上述的crosstalk工具将校准补偿数据烧录在eeprom里面。在调试模组成像效果的时候，需要从eeprom中读取crosstalk数据(QSC),然后写入感光芯片中的特定寄存器中进行校准。
注意：
4cell1芯片还会涉及到PD补偿，坏点补偿等其他的内容，而整个流程，通常需要先补偿PD点，再做Crosstalk校准，然后再Remosaic成为正常的Bayer去应用。针对软件的Remosaic，这其中所有的步骤，通常都封装在芯片厂商提供的一个算法库里面，手机端调用该算法库，去实现4cell1芯片，兼具常态时候的高分辨率和暗态时候的高感光度，然后你就可以美美地拍照了。
————————————————

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/qq_41897352/article/details/117336884

当向sensor寄存器（0x53c0 ~ 0x54df）写入Crosstalk补偿数据时候，sensor要么在sleep mode（0x0100 = 0）要么crosstalk disable（寄存器0x5000[6] = 0）

关键代码

在文件camxeepromdriver.xsd添加Crosstalk对应的QSC数据属性可以模仿SPC的填写方法，如在eeprom的xml文件模仿SPC的数据格式填写如下。

    <QSC>
       <!--Specifies the availability of the specified data and type of endianness
            element for operation  -->
       <QSCData description="Memory Type">
         <!--Specifies whether a particular OTP data available or not -->
         <isAvailable>true</isAvailable>
         <!--Type of the Endianness
             Valid values are: BIG, LITTLE -->
         <endianness>BIG</endianness>
       </QSCData>
       <QSCSettings>
           <!--Specifies memory offset value and mask information -->
           <dataOffset>
             <!--Offset value in the OTP memory -->
             <offset>0x1798</offset>
             <!--mask value which will be applied to obtain required data bits -->
             <mask>0xFF</mask>
           </dataOffset>
           <!--register address value to write QSC data -->
           <QSCAddress>0x53c0</QSCAddress>
           <!--size of the QSC data settings -->
           <settingsSize>288</settingsSize>
       </QSCSettings>
       <!--Register address / data size in bytes -->
       <addressType range="[1,4]">2</addressType>
       <!--Register address / data size in bytes -->
       <dataType range="[1,4]">1</dataType>
       <!--Delay in milli seconds. Delay is 0 if not explicitly provided -->
       <delay>0</delay>
     </QSC>

在仓库camx中，先将EEPROM中的crosstalk校准数据读取出来，主要实现在src/core/camxeepromdata.cpp中的FormatQSCData();FormatQSCData函数在构造函数EEPROMData::EEPROMData(）中调用。FormatQSCData函数是模仿者FormatSPCData函数写的。如下：

 
  /// EEPROMData::FormatQSCData
  
  VOID EEPROMData::FormatQSCData()
  {
      QSCInfo*             pQSCFormatInfo = &(m_pEEPROMDriverData->formatInfo.QSC);
      QSCCalibrationData*  pQSCData       = &(m_pSensorInfoTable->moduleCaps.OTPData.QSCCalibration);
      MemoryInfo           dataOffset     = { 0 };
  
      pQSCData->isAvailable = pQSCFormatInfo->QSCData.isAvailable;
  
      if (TRUE == pQSCFormatInfo->QSCData.isAvailable)
      {
          UINT32  totalRegCount = 0;
          for (UINT16 i = 0; i < pQSCFormatInfo->QSCSettingsCount; ++i)
          {
              totalRegCount += pQSCFormatInfo->QSCSettings[i].settingsSize;
          }
  
          pQSCData->settings.regSettingCount = totalRegCount;
          pQSCData->settings.regSetting      = static_cast<RegisterSetting*>(
                                                           CAMX_CALLOC(sizeof(RegisterSetting) * totalRegCount));
  
          if (NULL != pQSCData->settings.regSetting)
          {
              RegisterData* pRegData = static_cast<RegisterData*>(CAMX_CALLOC(sizeof(RegisterData) * totalRegCount));
  
              if (NULL != pRegData)
              {
                  RegisterSetting* pCurRegOffset = pQSCData->settings.regSetting;
  
                  for (UINT16 i = 0; i < pQSCFormatInfo->QSCSettingsCount; ++i)
                  {
                      /// copy to local structures so that original offset values wont be modified because of increments
  
                      Utils::Memcpy(&dataOffset, &pQSCFormatInfo->QSCSettings[i].dataOffset, sizeof(MemoryInfo));
  
                      UINT32 dataSize = MaskLengthInBytes(dataOffset.mask);
                      if (NULL != pQSCData->settings.regSetting)
                      {
                          for (UINT16 index = 0; index < pQSCFormatInfo->QSCSettings[i].settingsSize; index++, pCurRegOffset++)
                          {
                              (pCurRegOffset)->registerAddr    = pQSCFormatInfo->QSCSettings[i].QSCAddress + index;
                              (pCurRegOffset)->registerData    = pRegData++;
                              (pCurRegOffset)->registerData[0] =
                                  FormatDataTypeInteger((&dataOffset), pQSCFormatInfo->QSCData.endianness);
                              dataOffset.offset                += static_cast<UINT16>(dataSize);
                              (pCurRegOffset)->regAddrType     = pQSCFormatInfo->addressType;
                              (pCurRegOffset)->regDataType     = pQSCFormatInfo->dataType;
                              (pCurRegOffset)->operation       = OperationType::WRITE;
  
                              if (0 != pQSCFormatInfo->delay)
                              {
                                  (pCurRegOffset)->delayUsExists = TRUE;
                                  (pCurRegOffset)->delayUsID     = 0;
                                  (pCurRegOffset)->delayUs       = pQSCFormatInfo->delay;
                              }
                          }
                      }
                  }
  
              }
              else
              {
                  CAMX_LOG_ERROR(CamxLogGroupSensor, "Calloc failed");
              }
          }
          else
          {
              CAMX_LOG_ERROR(CamxLogGroupSensor, "Calloc failed");
          }
      }
  }

同理，也需要模仿DumpWBData函数来实现DumpQSCData
其他地方，可以参考模仿AWB，SPC的写法在SensorNode::LoadSensorConfigCmds()函数中添加，即可打通流程。

具体的说，crosstalk补偿写入是发生在配流阶段，详细可以参考
CamX-Chi 高通Android Camera HAL框架学习2-configure_streams

验证测试

验证高像素模式下修改前后的预览成像和拍照成像在手机上肉眼无法观察到明显差异。
那么如何保证已经正确地将EEPROM中的crosstalk校准数据写入了感光芯片对应的寄存器中呢？

首先验证确保从EEPROM中crosstalk校准数据读取正确，这可以通过checksum和dump数据来分别验证。

  
  /// EEPROMDataDump::DumpQSCData
  
  VOID EEPROMDataDump::DumpQSCData()
  {
      FILE*              pQSCDumpFile            = NULL;
      CHAR               fileName[FILENAME_MAX] = { 0 };
      QSCCalibrationData* pQSCData                = &(m_pSensorInfoTable->moduleCaps.OTPData.QSCCalibration);
  
      if (TRUE == pQSCData->isAvailable)
      {
          OsUtils::SNPrintF(fileName, sizeof(fileName), "%s/%s_%s_%s", ConfigFileDirectory,
                            m_pEEPROMDriverData->slaveInfo.EEPROMName, "qsc", "OTP.txt");
          pQSCDumpFile = OsUtils::FOpen(fileName, "w");
      }
  
      if (pQSCDumpFile != NULL)
      {

        for (UINT16 index = 0; index < pQSCData->settings.regSettingCount; index++)
        {
            OsUtils::FPrintF(pQSCDumpFile,
                             "addr = 0x%x : value  = 0x%x\n",
                             pQSCData->settings.regSetting[i].registerAddr,
                             pQSCData->settings.regSetting[i].registerData[0]);
        }

  
        OsUtils::FClose(pQSCDumpFile);
      }
  }

如何确保将crosstalk校准数据准确地写入了sensor对应的寄存器0x53c0 ~ 0x54df中，最简单的思路就是去读取写入后寄存器的值。遗憾的是，这些寄存器都是只写寄存器。
于是,想到找效果同事去验证下Xtalk补偿回写前后高像素模式拍照图片对比。使用效果专用软件发现，补偿后的图片在放大后的效果字体更加清晰，说明补偿有不错的收益。

代码评审问题

Xtalk补偿回写是在什么时候写入的？是在使用高像素模式的时候进行回写补偿吗？
sensor寄存器0x5380（值0x0f）默认打开 Xtalk补偿回写，有没有副作用？

参考文章

https://blog.csdn.net/qq_41897352/article/details/117336884

原文地址：https://blog.csdn.net/weixin_43326587/article/details/140323973

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：leetcode 209. 长度最小的子数组
下一篇：Django 删除所有数据

【学习日记】notebook添加JAVA支持
作者是个大学生这个专栏主要收集课时常用的软件以及女朋友上课用的软件的教程。需提前配置好java环境本篇仅对添加支持进行说明。新开了gitcode 用于上传安装包。解压进入解压后目录复制文件地
阅读更多2024-11-15
Docker与Podman全面比较
Docker和Podman作为两大容器引擎，各自拥有独特的特点和优势。本文将从溯源、特点、技术优势、应用实例和技术前景等方面对Docker和Podman进行全面比较。
阅读更多2024-11-15
算法学习blog：day2 继续记日记
4. 明日计划：至少五道题，并且要学会并实现今天的三道题，看这五道题的思路解法，下一天进行实现优化。除此之外pdf粗略看到了20页，明天继续看，后面才是重点。1.做了三道PAT 76，77，78，差一
阅读更多2024-11-15
基于Python的网上银行综合管理系统
【2025最新】基于python+django+vue+MySQL的网上银行综合管理系统，前后端分离。
阅读更多2024-11-15
自定义注解+拦截器+jwtFilter实现权限控制
GetterSUPER_ADMIN(1, "超级管理员"),SYSTEM_ADMIN(2, "系统管理员"),DOMESTIC_CONSUMER(3, &quo
阅读更多2024-11-15
前端面试题整理-vue指令开发
在 bind 钩子中，我为绑定的元素添加了一个点击事件监听器，当元素被点击时，执行复制操作。我当时在开发点击复制文本的功能，我有很多个元素都想有这个功能，但是我又不想每个元素都绑定一个 onClick
阅读更多2024-11-15
在使用ipc通信时，在渲染进程的Vue + TypeScript 开发过程，给window对象添加属性并赋值时，发生报错解决方法
在使用ipc通信时，在渲染进程的Vue + TypeScript 开发过程，给window对象添加属性并赋值时，发生报错解决方法
阅读更多2024-11-15
GESP4级考试语法知识（贪心算法（四））
GESP4级考试语法知识（贪心算法（四））
阅读更多2024-11-15
20241114在飞凌的OK3588-C的核心板上跑Linux R4时通过iperf3测试以太网卡的实际网速
创建一个eth0配置文件，配置文件的路径为：/etc/network/interfaces.d/eth0,设置动态ip的配置文件。虽然飞凌的OK3588-C的核心板使用的是千兆网卡RTL8211
阅读更多2024-11-15
【EmbeddedGUI】脏矩阵设计说明
脏矩阵设计说明
阅读更多2024-11-15