《基于深度学习的多色光度巡天项目天文目标检测框架》论文精读

A deep learning based astronomical target detection framework for multi-colour photometry sky survey projects

摘要

多色测光巡天项目将利用广角望远镜和几种不同的滤光片获得不同颜色的天体图像。不同颜色的图像可以揭示天体的不同组成部分。我们将能够利用这些图像研究天体的细节，甚至发现许多新的天体。然而，天体在观测图像中是随机且稀疏分布的，我们需要从这些图像中检测出它们，然后才能进行进一步的研究。根据多色图像的特性，我们提出了一种基于深度学习的新型天文目标检测框架。我们的框架可以适应任意数量颜色的图像，并直接从这些图像中检测天体。对于扩展目标，例如星系，我们的框架可以检测和分割它们的图像；对于点状目标，例如恒星或类星体，我们的框架可以检测和定位它们的图像。从实际应用方面，我们通过构建处理单色、三色和五色 SDSS 图像的管道来测试我们框架的性能。结果表明，我们的框架可以提供可靠的检测结果。我们的框架可以作为构建多色光度天空调查项目管道的基本模块。

1. 引言

多色测光巡天项目引起了广泛关注，该项目可以获得多种不同颜色的天体图像。由于不同颜色的图像可以揭示天体的不同成分，因此多色图像可用于更好地研究天体的特性，并可能导致一些新发现，例如暗星云，绿豆星系或蓝豆星系。近年来，已经提出了许多多色测光巡天项目，例如SDSS（Accetta等，2022），SkyMapper（Keller等，2007），J-PAS（Benitez等，2014），DES（Flaugher等，2015），LSST（Ivezić等，2019），Mephisto Yuan等。 （2020）、WFST（Lin et al.，2022）、Sitian（Liu et al.，2021b）和CSST（Gong et al.，2019）。这些项目已经获得或将获得大量的观测图像。
由于天体在观测图像中随机且稀疏分布，因此从观测图像中检测天体是第一步也是最重要的一步。然而，当代和未来的多色天空调查项目将获得大量的观测图像，并且天体的大小和形状差异极大，很难以直接的方式从观测图像中检测出不同的天体。

传统上，天文学家使用源提取算法，例如SExtractor（Bertin和Arnouts，1996）从观测图像中获得天体的可比数据。然后，天文学家会通过人工检查（Bom 等人，2017 年；Ignat 和 Bodeic，
2019 年；He 等人，2020 年；Xiang 等人，2022 年；Kim 等人，2020 年）或机器学习算法（De La Calleja 和 Fuentes，2004 年；Tachibana 和 Miller，2018 年；Duev 等人，2019 年；Xi 等人，2020 年；
Sun 等人，2022 年；Jacquemont 等人，2021 年）将这些目标分类为不同类型。然而，科学家通常需要选择特定波段的图像，以便源提取算法获得候选对象，这会给某些特定天体的检测带来困难，因为某些天体具有只能通过比较不同波段的图像才能获得的特征，例如发射星云。因此，数据处理流程需要能够直接从多色光度巡天图像中检测天体的端到端目标检测算法。

近年来，深度神经网络已被提出用于通用目标检测任务（Ren et al.，2015；Redmon and Farhadi，2018；Carion et al.，2020；Zhu et al.，2020）。得益于GPU技术的发展和大量标记数据，基于深度神经网络的目标检测算法取得了显著的效果。基于这些深度神经网络的结构，提出了许多检测算法来处理天文图像。对于通用的天空调查项目，Astro R-CNN（Burke et al.，2019）使用基于R-CNN的神经网络（Girshick et al.，2014）从天文图像中检测、分类和分割恒星和星系。贾等人。 (2020) 提出了一种基于 Faster R-CNN (Ren et al., 2015) 的检测和分类算法，用于从大视场小口径望远镜获得的图像中检测恒星和运动天体。Mask galaxy (Farias et al.,
2020) 是一种基于 Mask R-CNN (He et al., 2017) 的算法，用于螺旋星系或椭圆星系的检测、分割和形态分类。基于 YOLO (Redmon et al., 2016) 的 APSCnet (He et al., 2021) 被提出用于从观测图像中检测类星体、恒星和星系。

这些算法直接用于处理天文图像。但需要注意的是，多色测光巡天项目获得的图像具有一些独特的性质，使其不适合用通用目标检测神经网络算法直接处理。

1. 不同天体图像的大小可能差别很大。例如，星系可能大到几个弧分，而地面多色巡天项目中亮度适中的恒星或类星体只有几个弧秒。
2. 多色巡天项目将获得具有许多不同波段的天体图像，这将远远超过只有三个通道（R，G和B）的普通自然图像。
3. 普通源检测算法使用的函数是为处理灰度为28（256）级的图像而设计的。
   然而，天文图像的灰度比普通图像大得多。

因此，科学家有必要设计一个框架，而不是简单地调整通用目标检测神经网络来处理多色测光天空调查获得的图像。在本文中，我们构建了一个处理多色测光图像的框架。首先，我们提出了一种多步骤检测策略，其中包含两个神经网络：一个基于注意机制的神经网络，它更擅长检测扩展目标，用于检测和分割扩展目标的图像；一个基于 Faster R-CNN 的神经网络，它更擅长检测小目标，用于检测和分类点状目标。其次，我们修改了这两个神经网络的结构和数据增强算法，以处理具有任意数量颜色的图像。通过这些设计和修改，我们的框架可以直接从观测图像中检测和分割天体。本文包含以下部分。在第 2 节中，我们将讨论框架中使用的数据和神经网络结构。我们将在第 3 部分测试我们算法的性能，在第 4 部分得出结论并预测我们未来的工作。

2. 数据特性和目标检测框架

2.1. 多色测光巡天图像的特性

在多色测光巡天项目中，滤光片是专门用来追踪天体不同成分的。例如，H-alpha 滤光片用于观察附近星系中氢原子的分布，红外滤光片（中心在 91521 Å，宽度约为 1001 Å）可用于追踪遥远星系中恒星形成区域的氢莱曼阿尔法辐射。如今，许多多色测光巡天项目都提出了更多的滤光片来发现和详细研究天体。例如，J-PAS 使用 56 个窄带滤光片来观察光学波段的天体（Benitez 等人，2014 年）。中国空间站望远镜将使用至少 7 个从紫外到光学波段的滤光片来观测天体 (Gong 等人，2019)。
在本文中，我们使用 SDSS DR17 数据作为多色测光巡天图像的示例 (Accetta 等人，2022)。
SDSS 是最成功的多色巡天项目之一，部分原因在于其高质量的数据处理流程 (Lupton 等人，2002、2005)。 SDSS 项目使用了五个滤光片，包括 g、i、r、u 和 z 滤光片。这些滤光片覆盖从光学波段到近红外波段。 SDSS 数据处理流程通常仅从 r 波段获得的图像中检测天体，因为通常 r 波段的图像具有更高的信噪比。然而，正如我们上面所讨论的，如果我们可以考虑多个波段，那么其他一些天体在其他波段具有更高的信噪比，或者可以更好地被探测到。虽然我们会从 SDSS 数据中检测扩展目标、点目标来测试框架的性能，但如果我们探测需要多色信息的天体，例如暗星云或发射星云，我们的框架的优势可以进一步释放。

2.2. 评价标准

本文提出的框架主要用于从观测图像中检测天体，我们可以使用该框架获得以下结果：点目标的边界框（勾勒目标轮廓的矩形框）和扩展目标的多边形。因此，检测结果的位置精度会比较粗糙，这可以降低神经网络的复杂性，并帮助我们更好地训练神经网络。通过添加回归贝叶斯神经网络（Jia et al.，2021），可以获得具有点目标不确定性的精确天体测量和光度测量结果，我们还可以开发单独的算法来分离星团或星系中的恒星。

根据检测要求，我们可以为检测框架定义评价标准。由于我们使用边界框和多边形来定义检测结果，我们将使用 IOU（相交和合并比率）来定义神经网络是否检测到天体。 IOU用于描述神经网络预测的边界框或多边形与真实边界框或多边形的重叠程度。当IOU为0时，边界框或多边形不重叠，没有交集；当IOU为1时，边界框或多边形完全重叠；当IOU在0和1之间时，值越大，边界框与多边形重叠部分的面积越大，定义见公式（1），

在实际应用中，如果正检测结果的 IOU 大于预定义值，则我们将该检测定义为真阳性检测 (TP)；如果负检测结果的 IOU 低于预定义值，则我们将该检测定义为真阴性检测 (TN)。否则，如果正检测结果的 IOU 大于预定义值，则我们将该检测定义为假阳性检测 (FP)；如果负检测结果的 IOU 小于预定义值，则我们将该检测定义为假阴性检测 (FN)。在本文中，我们将扩展目标检测的 IOU 设置为 0.5，将点目标检测的 IOU 设置为 0.8。通过这些定义，我们可以计算准确率和召回率作为检测框架的评估标准。准确率的定义见公式 (2)，

可以显示所有检测结果中 TP 的百分比。召回率定义在公式 (3) 中，

表示从所有正样本中正确预测出一个正样本的概率。给定IOU作为检测阈值，准确率和召回率反映了检测算法的性能。通常，我们可以在给定的IOU下绘制PR曲线来表示检测算法的性能。PR曲线的横轴表示准确率，纵轴表示召回率。PR曲线所包围的面积称为平均准确率（MAP），反映了检测算法的性能，如公式（4）中定义，

其中 n 表示所有类别的数量。在本文中，我们将使用 MAP 和 PR 曲线作为评估标准来评估算法的性能。同时，我们还将评估我们的框架在从实际观测数据中检测天体的准确率和召回率。

图1. 从多色光度巡天图像中检测天体的框架结构。

2.3 框架数据准备

我们的框架可以分为四个不同的部分，如图1所示，包括数据准备、数据预处理、图像合成和目标检测。在数据准备部分，我们将屏蔽坏点，使用暗框图像和平场图像来校准观测图像。在数据预处理部分，我们将使用DS9中定义的zscale算法分别对不同波段的观测图像进行灰度变换，以提高低星等天体的信噪比（Joye等，2003）。在图像合成部分，我们将使用图像配准算法根据相机的底板模型对多色图像进行配准。经过图像合成部分，我们可以获得多色图像，并且这些多色图像中的天体目标已经配准。每个波段的原始图像大小为 1 × H × W，合成图像大小为 N × H × W，其中 N 代表颜色数量，H 和 W 代表图像的高度和宽度。需要注意的是，SDSS 图像的像素尺度差异很小。但是，如果我们使用从紫外线到红外线的观测图像，像素尺度的差异会非常大，我们需要将所有观测图像重新缩放到预定义的像素尺度，通常是信噪比较大的图像的像素尺度。

由于我们在框架中使用监督学习算法（神经网络），因此我们需要在将这些神经网络部署到实际应用中之前对其进行训练。我们需要图像及其标签作为训练数据。我们的检测框架将输出点目标的边界框和扩展目标的多边形。因此，我们将使用 Gaia DR2（Gaia Col laboration 等，2018）来获取点和扩展目标的目录。对于点目标，我们将直接定义 10 × 10 像素的边界框。对于扩展目标，我们将这些图像转换为 JPG 文件，并通过互联网与 labelme 分享这些图像，供公民科学家使用（Russell 等人，2008 年）。然后，公民科学家将点击像素作为注释像素，注释像素包围的图像将被定义为扩展目标的标签。由于手动注释会给多边形带来误差，我们将在第 3.4 节中讨论这个问题。我们总共获得了 5000 张图像作为训练数据。由于获取训练数据的标签非常昂贵，我们需要使用数据增强技术获取更多的训练数据。因此，在获得图像及其相应的标签后，我们将调整大小、随机翻转、随机旋转和规范化对齐的图像，以增加训练数据集中的图像数量，如图 2 所示。

目标检测部分有两个神经网络：扩展目标检测与分割神经网络和点目标检测神经网络。扩展目标是无法解析为点源的目标，例如星系、星云或球状星团。点目标是已解析的目标，包括恒星、移动目标和类星体。在训练阶段，我们会将标记图像分别发送到这两个神经网络，并使用这些图像训练这两个神经网络。在部署阶段，我们将首先使用扩展目标检测与分割神经网络检测和分割扩展目标，然后使用点目标检测神经网络检测点源。我们将在以下小节中讨论这两个神经网络的细节。

图2.数据增强程序流程图。

2.4. 使用 swin 变换器检测和分割扩展目标

多色光度天空调查图像中存在扩展目标，例如星系或星云。由于扩展目标结构复杂，并且会被前景目标遮挡，因此很难高效地检测这些目标。对于扩展目标，一种基于注意的神经网络，视觉变换器在通用目标检测任务中取得了显著的表现。视觉变换器是一种变换器，首先用于自然语言处理，后来用于视觉任务（Vaswani 等，2017；Gal 等，2022）。视觉变换器具有与人类视觉系统相同的机制，它使用注意机制来提高其在图像像素之间建立长距离关系的能力，并降低训练阶段的计算资源成本。对于目标检测任务，视觉变换器会关注目标的重要部分，而忽略间隙或信息不密集的区域。因此，我们使用视觉变换器作为基本模块来构建扩展目标的检测和分割算法。视觉变换器的结构如图3所示。

视觉变换器中有三个不同的组件：键、查询、值。视觉变换器会随机发送N个查询和键来获得分数，并计算分数和值之间的相关性，以获得对目标检测很重要的信息（Carion等，2020）。然而，由于在普通的视觉变换器中每个像素都必须捕获全局上下文信息，因此自注意力机制模块在处理图像时具有很高的计算复杂度并且会占用大量的GPU内存。同时，普通的视觉变换器直接将图像均匀地分成不相交的块，并计算两个块之间的自注意力，这不太适合提取具有多个不同尺度的特征，特别是对于具有不同大小特征的天文目标。

作为一种新型的视觉变换器，Swin Transformer提出了滑动窗口方法的思想，通过将注意力的计算限制在每个窗口上来减少计算量，并使用称为块合并的类似池化的操作来捕获具有不同尺度的特征（Liu et al.，2021a）。在Swin Transformer中，窗口是每个查询的基本元素，每个窗口将从输入图像的左上角向右下角移动窗口大小的一半。每次，我们会在每个窗口之间计算基于窗口的多头自注意力来提取特征。此外，Swin Transformer 将彼此靠近的块进行合并，使得感受野变得更大，可以捕捉到多尺度目标的特征，这对于扩展天体的检测非常有用。

本文使用的 Swin Transformer 的示意图如图 4 所示。由于我们要采用 Swin Transformer 从多色图像中检测目标，因此我们以分层的方式设计了 Swin Transformer，它包含四个阶段。Patch Partition 层将根据原始图像生成 4 张不同分辨率的图像。生成的每张图像都是分辨率较低的多色图像，这可以帮助 Swin Transformer 获得更大的感知场。如果我们将 patch 大小设置为 M，图像有 N 种颜色，则 patch 分区模块的大小为 M × M。然后，输入图像将被转换为大小为 HM × WM × (M × M × N) 的矩阵。然后，转换后的矩阵将被发送到线性嵌入层和 Swin Transformer 块。 Swin Transformer 块中有四个不同的层：LN（层规范化）、W-MSA（窗口掩蔽注意层）、SW-MSA（移位窗口掩蔽注意层）和 MLP（多层感知器）。LN 用于规范化向量，MLP 用于提取输出。W-MSA 和 WS-MSA 通常成对使用，因此 Swin Transformer 块的数量始终为偶数，如图 4 所示。

W-MSA 将计算窗口之间的注意力，WS-MSA 将计算移位窗口之间的注意力。

使用这些 Swin Transformer 块，我们可以提取不同级别的特征图，以便进一步检测和分割。Swin Transformer 块将执行以下计算，如公式 (5) 中定义，

其中 ˆzl和 zl分别表示 (S)W − MSA模块和 MLP 模块针对 block l 的输出特征。W − MSA和 SW −MSA 分别表示基于窗口的多头自注意力，采用常规和移位窗口分区配置 (Liu et al., 2021a)。为了在相同窗口数下实现 W-MSA 和 SW-MSA 的等效计算，Swin Transformer 设置了合理的 mask 来隔离不同区域的信息。在本文中，Swin Transformer 包含 8 个 Swin Transformer Block（4 对）来处理观测图像。我们使用 Swin Transformer 提取的特征从观测图像中分割目标，如图 5 所示。检测和分割部分的结构改编自基于卷积神经网络的目标检测和分割神经网络。通过设置特征图中每个点的 roi 来获得多个 roi 提议。这些 roi 提议被发送到 RPN 网络进行二分类（前景或背景）和边界框回归。我们将获得包含前景（目标）的边界框，并使用 Roi 对齐来修改这些边界框的大小。最后，我们将这些边界框发送到 FCN（全卷积神经网络）进行目标分割，并发送到 FC（全连接神经网络）进行目标检测。

图 3. 视觉变压器的示意图。

图 4. Swin 变压器和 Swin 变压器块的示意图。

图 5. 用于目标检测和分割的 Swin Transformer 的整体架构。

2.5. 使用 Faster R-CNN 检测点源

我们使用 Faster R-CNN 来检测已解析的目标，例如：恒星或类星体。Faster R-CNN 是一种两阶段算法，它将特征提取、提议提取、边界框回归和分类集成到一个神经网络中，如图 7 所示。Jia 等人 (2020) 使用 Faster R-CNN 从宽视场小孔径望远镜获得的单色图像中检测点状和条纹状目标。在本文中，我们修改了 Faster R-CNN 神经网络的结构，使其能够处理具有任意数量通道（颜色）的图像。修改后的 Faster R-CNN 神经网络包括以下四个不同的部分。

1. 特征提取。此部分用于从多色图像中提取特征，这些特征将被发送到 RPN 网络，后者将生成用于分类和位置回归的候选区域。我们调整了原来的设计，使用 ResNet-50 作为特征提取的主干神经网络，使用大小为 3×3 像素的卷积核。但是，我们的神经网络会根据输入图像的颜色数量调整其结构，这将根据输入图像的颜色数量自动设置用于特征提取的卷积核的通道数。我们将卷积核的数量设置为输入图像 c 颜色数量的两倍，并使用大小为 3×3 像素的卷积核对图像进行特征提取。然后，ResNet 的第一个 BottleNeck 中的卷积核数量设置为 2c，我们可以获得大小为 2c × 4 的特征图。接下来的三个 BottleNeck 将执行类似的操作来提取特征。修改后的 ResNet 如图 6 所示。
2. 区域提议。在这一部分中，RPN 网络会为后续网络生成带有天体目标信息的区域提案。我们将进行区域提案回归，以获得具有更准确位置的提案。
3. Roi 对齐。Roi 对齐将使用双线性插值方法获取两个变量（x 和 y 坐标）的提案位置。对于多色图像，我们假设目标在不同颜色的图像中的位置相同。然后，​​我们将从多色图像中提取的特征图发送到后续的全连接层，以将它们分类为背景或目标。
4. 分类和回归。在此部分中，我们将使用提案的多色特征图来计算提案的类别。同时，我们将重新缩放这些提案并使用边界框回归来实现更高的回归和分类精度。检测结果将是边界框，它勾勒出天体的位置以及这些不同天体的类型。
   

图 6. 修改后的 ResNet50 结构。C 代表颜色数量，H 和 W 代表输入图像的大小

图7.Faster R-CNN的整体架构。

2.6. 检测算法与分割算法的集成

上述两种基于深度学习的算法将在实际应用中集成在一起，如图 8 所示。在该框架中，我们首先使用第 2.4 节中讨论的 Swin Transformer 检测和分割扩展目标。然后将属于检测到的扩展目标的像素设置为整个图像的平均值，并将蒙版图像发送到第 2.5 节中讨论的 Faster R-CNN 以检测点目标。最后，所有检测结果将合并在一起并存储为最终检测结果。在第一步中，点目标被检测为扩展目标的可能性非常小，这将导致 FP 成为扩展目标检测结果，FN 成为点目标检测结果。

图8. 集成目标分割与检测框架示意图。

3. 框架的训练和性能测试

在本节中，我们将使用来自 SDSS DR17 的数据来训练和测试我们框架的性能。我们用第 2.3 节中讨论的方法处理了这些数据。来自 SDSS DR17 数据的图像是通过 5 种不同的过滤器获得的。因此，我们可以测试我们的算法在从单色、三色和五色图像中检测天体时的性能。此外，如果扩展天体的标签没有得到很好的注释，我们还将测试我们算法的稳健性，这是人类专家标记数据的常见情况。

3.1. 单色图像检测结果

为了展示我们的算法在多色图像中检测天体方面的优势，我们首先展示我们的算法在单色图像中检测天体的性能作为基线。我们分别用 ugriz 波段的图像训练了五个框架，并测试了这些框架在这些图像中检测扩展目标和点目标的性能。我们使用每个波段的 2052 张图像来测试我们框架的性能。对于在 r 波段获得的图像可以获得最佳检测结果，这与我们的经验一致（天体在 r 波段图像中具有更高的信噪比）。p-r 曲线如图 9 所示。

从该图可以看出，我们的框架在检测点目标和扩展目标方面具有不同的性能。点目标的检测精度在不同召回率下相对稳定，而扩展目标的检测精度和召回率会发生变化，尽管这两个目标的MAP几乎相同。这种差异表明，一般来说，扩展目标比点目标更难被检测到，有些点目标即使我们设置很小的阈值也无法被检测到。检测结果的混淆矩阵如表1所示。从该表可以看出，我们可以确认点目标比扩展目标更容易被检测到，这可能是因为扩展目标具有相当复杂的结构和较低的信噪比。

图 9. 单色图像的检测结果。我们的框架可以对 r 波段获得的图像获得最佳检测结果。

表 1单色图像检测结果的混淆矩阵。

3.2. 三色图像检测结果

在本小节中，我们将测试我们的框架在三色图像中检测天体的性能。我们选择了从 g、r 和 i 波段获得的原始图像，并使用这些图像训练我们的框架。我们还使用 2052 张图像来测试我们框架的性能。p-r 曲线如图 10 所示，混淆矩阵如表 2 所示。

如 p-r 曲线所示，我们可以用三色图像获得更好的检测结果，尤其是对于扩展目标。然而，当召回率较高时，点目标的准确率会略有下降，这可能是由于点目标图像的信噪比较低造成的。此外，如混淆矩阵所示，由于我们可以在三色图像中包含更多颜色信息，因此扩展目标的检测精度得到了提高。结果表明，我们的框架可以更好地提取多色图像的信息来探测天体。

表 2三种颜色图像检测结果混淆矩阵

图 10. 单色、三色和五色图像的检测结果。
3.3. 五色图像检测结果

在本小节中，我们将进一步测试我们的框架在五色图像中检测天体的性能。我们使用所有五个波段的图像来训练和测试我们的框架。所有这些图像都与上面讨论的步骤一致。我们使用 2052 张图像来测试我们框架的性能，结果如图 10 所示，混淆矩阵如表 3 所示。

如 p-r 曲线所示，我们的框架在从五色图像中检测天体方面可以获得更好的性能，特别是在难以检测的点目标（低召回率和高精度的目标）的检测和更容易与背景融合的扩展目标（低精度和高召回率的目标）的分类方面。同时，混淆矩阵显示，如果我们有更多颜色的图像，检测精度可能会进一步提高。

表 3五种颜色的检测结果。

3.4. 框架对低质量标签的稳健性

由于我们的框架是基于监督学习算法的，训练数据非常重要，会直接影响我们框架的性能。在本文中，我们使用 Gaia DR2 来定位每幅图像中恒星、类星体和星系的中心点。然后我们使用中心点和固定大小的边界框来标记恒星和类星体，这不太可能引入错误。然而，我们使用通过手动注释获得的中心点和多边形来标记扩展目标。因此，手动注释会引起一些位置误差，这会影响我们框架中扩展目标检测算法的性能。

为了测试我们框架的稳健性，我们在星系的标签中添加了随机移位，并使用这些新图像训练框架。我们生成了三个数据集，它们的定位误差分别为 0 到 10 个像素、1 到 20 个像素和 1 到 30 个像素。
扩展目标检测算法获得的检测结果如图 11 所示。可以看出，每个波段的 p-r 曲线所包围的图像面积随着偏移量的增加而减小，换句话说，MAP 减小。此外，这些图还表明标签偏移量主要影响准确率，对召回率的影响较小。此外，我们还发现多色图像的检测结果更佳，并且多色图像对标签误差的鲁棒性相对较强。虽然由于标签误差，P-R 曲线发生了显着变化，但需要指出的是，我们的算法将 IOU 设置为 0.5 作为检测阈值，我们可以降低 IOU 阈值，这将获得更好的检测结果和更低的定位精度（见表 4）。

图 11. 不同级别注释错误图像的检测结果。

表4 IOU=0.5时的召回率与准确率（R/P）。

3.5. 流水线在观测图像处理中的应用

最后，我们将我们的框架与 astrometry (Lang et al., 2010) 和 astroquery (Ginsburg et al., 2019) 相结合，构建一个处理真实观测图像的流水线。真实的观测图像也来自 SDSS DR 17，但在不同的条带中。包含我们的框架和 jupyter 笔记本文件的代码可以在 China-VO 中找到。在实际应用中，我们首先将这两个神经网络的通道设置为颜色数量。然后，我们将使用上述数据准备步骤从原始拟合文件中生成训练数据（具有五种颜色的归一化图像）。对于训练集，点目标和扩展目标的位置来自 Gaia DR 2。点目标的边界框是自动获得的，具有固定大小（根据点扩展函数的全宽半幅值手动定义）。用于标记扩展目标的多边形由公民科学家获得。我们定义了一个数据加载器来加载这些训练数据，并使用上面讨论的数据增强方法生成新的训练数据。然后，我们将使用数据加载器生成的数据分别训练这两个神经网络。

训练完成后，我们将在目标检测中部署这两个训练好的神经网络。原始数据也将从拟合文件处理为具有五种颜色的归一化图像。然后，这些图像将首先放入 Swin 转换器中，以获得星系的检测结果。然后，扩展目标将被屏蔽，我们将屏蔽后的图像放入 Faster R-CNN 中以获得点目标。我们将使用恒星的位置作为参考，并使用天体测量法获得平板模型。然后，我们将所有检测结果的位置从相机坐标转换为 WCS 坐标。我们使用边界框的中心位置作为点目标的位置。同时，我们使用多边形的重心作为星系的位置。我们将所有检测结果与 Astroquery 的 SDSS 目录 (Alam et al., 2016) 进行交叉匹配，以获得不同天体的位置。正如我们上面所讨论的，位置精度不是我们方法的核心。在交叉匹配阶段，我们将点目标的位置精度设置为 1 像素，将扩展目标的位置精度设置为 5 像素。通过上述步骤，我们可以获得一个目录，并将该目录与 SDSS 目录进行交叉匹配。结果显示在表 5-7 中，具有不同的极限星等。如这些表所示，我们的方法在从单帧图像检测天体时可以实现超过 87% 的准确率和 85% 的召回率。如果我们从堆叠图像中检测天体，则可以获得更好的结果。由于这部分用于展示我们的框架在检测多种颜色天体方面的性能，我们不会进一步讨论图像堆叠的策略。在图 12 和 13 中可以找到检测结果的进一步比较。从这些图中可以看出，我们的检测框架可以从具有更多通道的图像中获得更好的检测结果：随着我们增加这些图像的颜色数量，准确度和精度都在提高。这些结果表明我们的框架是有效的。

最后，我们在表 8 中展示了我们的框架和其他一些基于深度学习的目标检测算法的性能。结果表明，我们的框架可以实现所有目标 80% 以上的准确率和 85% 以上的召回率，这比其他方法要差。需要指出的是，我们的框架直接从单个时期获得的原始 SDSS 图像中检测天体，而不是从一些生成或模拟的图像中检测天体。因此，噪声或背景变化会限制我们算法的性能。如果我们可以使用堆叠图像进行检测，我们的算法可以取得更好的结果。

图 12. 与不同极限星等的星表交叉匹配时，我们的框架检测扩展目标的准确率和精确率。

图13. 本框架对点目标检测在不同极限星等星表交叉匹配时的准确率和精确率。

表5 极限震级为19时的召回率和准确率。

表6 极限震级为20时的召回率和准确率。

表7 极限震级为21时的召回率和准确率

表 8 与基于深度学习的方法的比较。

4. 结论和未来工作

在本文中，我们提出了一个基于深度学习的框架来处理多色光度天空调查项目获得的图像。我们的框架可以根据多色信息直接从观测图像中检测扩展目标和点目标。我们已经使用来自 SDSS 的真实观测数据测试了我们的框架的性能，结果表明我们的方法在训练后可以获得相对稳定的结果。然而，我们还有一些技巧可以进一步提高我们框架的性能。在未来，我们将使用神经网络架构搜索方法来为不同的神经网络获得更好的结构。由于我们的框架可以处理具有任意数量颜色的图像，我们不仅会使用我们的框架来处理由光学望远镜（如 Sitian 和 CSST）获得的数据，还会处理来自射电望远镜（如 SKA）的数据，这些望远镜将获得多达数百个通道的数据。

数据可用性
审查数据和代码共享于：https://nadc.china vo.org/res/r101190/。

原文地址：https://blog.csdn.net/qq_45471661/article/details/145143721

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！