论文阅读-UnrollingNet:一种基于注意力的深度学习方法，用于分割隧道大尺度点云

目前存在的问题：

• 图像获取条件受到限制，无法表示三维结构，但是深度学习方法处理效果很好；
• 点云具有空间信息和点属性，获取数据环境限制条件少，三维点云具有非结构化和不规则的性质，容易影响模型的特征学习。
• 隧道点云分割应该关注其特点：数据不平衡，同时应该考虑时间效率。

文章主要研究内容：

• 点云投影后用 U-net进行语义分割，利用像素级加权交叉熵损失解决数据不平衡问题。
• （1）如何有效地准确地分割渗流而不是人工检查以保持健康的隧道操作。
• (2)如何以高精度对点云数据不平衡进行多类分割，实现隧道全景理解。
• (3) 如何减少 2D 投影表示的离散化以提高模型性能。

未来课研究内容：

• 通过扩展其应用领域进一步探索开发的展开网络的性能，
• 专注于开发的方法与构建信息建模 (bim) 或数字孪生技术的组合，以创建用于操作监控的参数构建双bim。
• 成本敏感学习算法Costsensitive learning algorithms 将进一步纳入开发端到端点云分割框架，具有更好的分割精度。
• 需要注意的是，本文使用来自单个隧道的数据进行验证，并且应使用来自其他隧道的数据正确进行模型的泛化能力，这可能是未来工作的主题。
• 量化检测到的渗流的风险幅度是一个值得进一步研究的问题，值得关注，因为它可以为工程师提供更可靠的数据来评估和做出有关隧道的决策。

论文研究思路

将三维点云数据通过圆投影的方式，获得二维图像表示，基于 U-net 的分割算法结合双重注意力模块，利用像素权重交叉熵损失分割二维图像。

论文翻译：

摘要：开发了一种新的基于投影的 UnrollingNet 学习方法，用于对包括隧道 3D 点云的渗流在内的各种对象进行多标签分割。首先利用3D激光扫描从工作隧道中收集原始点云。在修剪后的数据集上创建展开投影方法以生成 2D 表示。采用基于 U-net 的分割算法对像素级的隧道进行分类。提出了一种像素权重交叉熵损失和双重注意模块来解决类不平衡问题，提高分割性能。中国一个真实的跨河流隧道部分被用作示范的案例研究。结果表明:(1)所建立的模型具有较高的点云投影性能，纯度评分和产率分别达到0.910和0.821;(2)分割模型在多个类中表现良好，渗流分割的交集over Union (IOU)、Precision、Recall和F1得分分别达到0.66、0.736、0.864和0.795;(3)该模型比其他基于深度学习的点云分割模型获得了更好的分割分数。

1. Introduction

地铁作为一种重要的城市交通方式，因其对经济增长和和谐社会发展的有效运行和重要贡献，引起了人们的广泛关注，并已在世界各地的许多国家构建[1-3]。由于地质条件、意外地球压力、列车振动和老化过程，安装的段可能会改变隧道运行的形状，其差分沉降和纵向结构变形可能导致渗流，这可能会逐渐演变并被忽略，可能以局部或全局倒塌结束，威胁隧道的安全运行[4,5]。因此，对隧道进行有效的周期性调查已经被广泛接受和必要的，以确保适当的操作。在隧道调查的实例中，视觉检查和图像检查都是常用的方法。视觉检查是基于广泛的专业经验和知识现场进行的，然而，这是低效的，而不是具有成本效益的[6,7]。此外，大规模隧道可以增加人工工作量，并在该受限空间中长时间工作高强度不仅可以造成身体损伤，还可以造成心理创伤。图像检查是通过手动或机器学习获取隧道调查的图像[8,9]。被调查的隧道公里可以产生数以万计的图像或几个小时的视频，需要大量的处理和负担人工工作量。相比之下，机器学习提高了数据处理的效率，收集的图像如何受到视场限制的影响，无法对整个隧道提供足够的覆盖，并且由于图像的二维 (2D) 性质而无法呈现三维 (3D) 实体表示。此外，隧道中的光照条件差可能导致采集到的图像质量差，从而影响调查结果[10]。为了解决概述的局限性，点云逐渐广受欢迎。点云是通过 3D 激光扫描获得的，这在收集数据时不需要额外的光，因此更适合隧道内的黑暗环境 [10,11]。换句话说，与图像检查相比，点云数据集的收集对光反射噪声具有更强的鲁棒性。此外，3D点云允许详细的空间信息和点属性，以实现准确和精细的目标重建和特征表示，其快速采集速度、操作成本低、几何描述准确等优点有助于广泛的应用[12,13]。点云分割模型能够作用于每个点来实现分割，从而允许测量缺陷的准确区域，如隧道渗流，隧道作为一个整体有足够的覆盖。基于上述分析，与视觉图像相比，三维点云更适合于描述隧道目标进行分割。根据流行的研究趋势，学者们做出了不懈的努力来开发处理点云的分割方法。齐等人开发了一种著名的点云开创性深度学习网络PointNet。[14]通过直接作用于点云来提取点特征来实现点云分割，然后执行特征聚合过程进行学习，最终取得了良好的性能。随后的作品[15-17]通过获取更多的上下文信息并从局部区域聚合信息来丰富点状态特征，提高了PointNet的性能。这些改进的模型在三维点云的数据处理和信息学习方面具有良好的性能。因此，Wang等人[18]提出了一种动态图CNN (DGCNN)，它能够动态学习层间构造的图结构来提取全局形状属性，并基于所提出的EdgeConv模块和最近邻搜索算法捕获多层系统中潜在长距离的语义特征，从而表现良好。同样，基于注意力机制的强大能力，已经提出了基于注意力的方法来检测具有有希望的性能的点云，例如分层编码器-解码器网络架构 [19]、特征融合网络 [20]、点注意力网络 [21]、点转换器 [22] 和点云转换器 (PCT) [23]。这些方法在直接处理点云方面表现良好，但是，改进的潜力在准确性和时间效率方面仍然存在。此外，三维点云具有非结构化和不规则的性质，容易影响模型的特征学习，严重阻碍了有效的分割分析[24,25]。虽然图像在直接应用于隧道分割方面存在局限性，但对于基于深度学习的方法[26]，它们优于结构化、规则和时间高效的点云。因此，许多方法都考虑了点云和图像在处理点云时的优势，以提高效率。Boulch等人提出了一个名为SnapNet的基于cnn的方法。[27]作用于点云进行识别。该方法能够识别从合适的点云快照派生的2D图像视图中的目标，然后在3D空间中快速反投影标记的预测，以达到点云识别。类似地，Lawin 等人。 [28] 和 Boulch 等人。 [29] 开发了通过将 3D 点云投影到一组 2D 图像上来检测 3D 点云的框架，然后将这些图像馈送到 CNN 进行分割，然后将获得的预测重新投影到点云到最终的点云分割结果上。同样，Milioto等人[30]和Aksoy等人[31]利用点云作为中间表示的图像投影来输入基于cnn的方法来辅助自动驾驶，得到的结果表明该方法是有效的。这些方法能够将 3D 点云投影到 2D 图像上，将非结构化的、不规则的 3D 点云转换为结构化的常规图像作为中间表示，然后是先进的分割方法进行分割，然后将中间表示的分割结果投影回原始点云，实现点云分割，取得了良好的效果。受这些方法的启发，本研究将二维图像表示应用于点云分割，以检查其性能。

本研究的核心思想是通过基于展开投影的分割模型来解决数据不平衡问题。为此，对输入点云（即 2D 图像表示）展开投影进行操作。所提出的方法允许使用 CNN 作为主干，用于根据图像的每个像素的 U-net（或称为 Unet）推断完整的语义分割。据我们所知，这是第一次设计基于投影的方法来分割隧道中的大规模点云。与 CV 区域中流行的投影方法相比，设计的展开投影实现了 SOTA 分割性能。像素级加权交叉熵损失旨在有效解决数据不平衡问题，避免丢弃原始点云中的任何点。这产生了一种有效的方法，但可能导致离散化或不平衡类引起的问题。此外，本研究提出了一种双重注意力网络（DAN），以进一步提高投影表示的分割效率。

总之，本研究将解决几个问题，描述为：（1）如何有效地准确地分割渗流而不是人工检查以保持健康的隧道操作。(2)如何以高精度对点云数据不平衡进行多类分割，实现隧道全景理解。(3) 如何减少 2D 投影表示的离散化以提高模型性能。主要目标是开发一种基于投影的学习方法，名为 UnrollingNet，用于处理 3D 隧道点云，以有效地准确执行各种对象的多类分割，包括渗流。本研究证实了利用中国武汉地铁3号隧道段开发方法的潜力。本研究的创新之处在于开发了一种混合深度学习方法UnrollingNet，该方法能够在考虑数据不平衡的情况下对隧道点云进行精确、快速的分割。除了渗流外，从不平衡的点云中检测到多类对象，用于隧道全景理解。所开发的方法有可能作为决策自动化系统的基础，以替代当前的手动分割并提高分割效率。本研究的后续主要内容组织如下。简要回顾了点云分割相关研究，在第 2 节中。然后，详细阐述了所开发的投影方法，并对其应用进行了详细的逐步过程。然后，利用中国的真实隧道情况，在第4节中演示了所开发的方法的有效性和适用性。第 5 节讨论了与几种最先进的模型相比开发方法的优越性。最后一部分总结了未来的工作方向的研究。

2. Related works

点云分割是计算机视觉领域一个众所周知的挑战，它吸引了众多学者和工业家，以及许多先进技术和测量设备的开发和传播，以促进结果分析[27,32]。在本节中，主要关注与研究相关的现有工作，特别是那些使用先进技术进行点云分割的工作。此外，还将介绍与机器学习应用程序中涉及的数据不平衡相关工作的不同方法。因此，现有的研究差距将总结为开发有针对性的问题陈述的重要信息，然后通过所提出的方法将在本研究中解决。

2.1. Point cloud segmentation

由于技术的进步，点云在描述现实世界环境方面具有很大的优势，人们提出了许多检测点云的方法。xie等人[33]和Wu等人[34]开发了不同的算法来处理隧道点云数据，通过分析隧道特征提取目标结果。然而，他们提出的方法不是机器学习/深度学习方法，在适用性方面存在局限性，准确性提高的潜力。在机器学习/深度学习方法中，qi等人[14]率先开发了一种名为pointnet的深度学习网络，该网络提取点特征直接作用于点云，然后进行特征聚合进行学习，从而表现良好。然而，该方法的缺点是不能充分考虑空间点云之间的特征来准确地对相邻点进行分类。后续工作[15-17]被提出用于点云分割，尽管这些方法在点云上有所改进，但当不同尺度的对象彼此接近时，它们仍然存在无法提取令人满意的局部特征的缺点。此后，土豆等人。 [35] 分别应用 pointnet 和 kpconv 来分割隧道点云，结果表明 kpconv 表现更好，但在面对大规模点云时仍有改进的潜力。除了通过点云上的直接动作进行分割外，还可以通过变换中间表示(即基于投影的点云分割方法)来分割点云。yi等人[36]和Duan等人[11]分别开发了基于点云检测隧道段的方法。他们的方法包括将隧道点云展开为2d图像、边缘检测和分割，结果良好。他们的方法可以进一步增强，以促进具有复杂环境的不同隧道结构的扩展。开发了多视图方法[27-29,37]，将点云投影到一组2d图像上进行语义分割。例如，tatarchenko等人[37]提出了点云检测的切线卷积该方法可以切点云平面划分，然后输入到深度学习网络进行学习，从而实现对大规模点云的有效应用。因此，提出了squeezeseg[38]、salsanet[31]和rangenet++[30]对输入点云的球面投影进行操作进行语义分割。例如，Wu等人[38]引入了一种端到端方法，用于点云分割。他们的方法首先使用球形投影将稀疏、不规则分布的 3d 点云转换为密集的 2d 网格表示，然后输入到 cnn 模型和条件随机场进行训练，从而在结果的准确性和处理速度上表现良好。这些方法是通过具有良好性能和处理速度的直接表示开发和应用于点云分割，但对于后续的探索具有很大的潜力。一般来说，上述大部分研究都致力于提高模型在点云分割上的性能。然而，现有的研究很少专注于应用深度学习分割隧道点云，通常假设隧道点云与其他结构的点云相似。此外，分割速度，即时间效率，是一个基本指标，应该给予足够的关注，有可能改进以满足实际应用的要求。从前面的分析中，与深度学习中的点云相比，图像在时间效率方面具有更好的性能，因此，设计了一个中间表示模型，将3d隧道点云转换为2d图像进行分割，实现点云分割。此外，不平衡数据（主要体现在某些类别的样本数量远多于其他类别，这对于基于深度学习的方法来说是一个挑战，因为它们可能会偏向于多数类，从而影响模型在少数类上的性能。）通常存在于所提出的隧道点云数据集中，影响最终结果，但之前的大多数研究在处理点云时忽略了这个问题，通常假设不平衡数据是有限的，同时继续开发新的模型以最大化模型的性能。因此，在设计模型分割点云以进行模型性能时，需要考虑数据不平衡问题，特别是对于小类，如渗流。

2.2. Handling data imbalance

为了解决数据不平衡的问题，已经开发了几种算法或技术。例如，gao等人[39]提出了一种利用成像复杂性的概念，使深度学习模型能够通过从单个类中自扰动给定样本来优化学习与单类相关的固有成像特征。然而，由于缺乏其他方法的支持，这种方法在解决数据不平衡方面的适用性尚未得到充分验证。Imb等人[40]结合采样方法和深度学习来解决不平衡数据集中的分割问题。同样，lin 和 nguyen [41] 采用过采样和欠采样的混合方法来增加少数类中的数据数量，并分别减少多数类中的数据数量，从而减轻数据不平衡。然而，采样方法可能会影响原始数据的分布，从而影响模型的性能，例如欠采样可能会导致特征信息的损失，而过采样可能会增加模型的训练时间[42-44]。根据之前的研究，通常采用加权损失方法来促进模型解决数据集中不平衡的类分布。例如，yu 等人。 [45] 提出了一个损失函数来处理不平衡数据，这个损失函数考虑了每个类别的预期损失，并引入了调制因子来更多地关注硬样本。yasuda等人[45]开发了一种基于模型中加权损失函数和批处理归一化的组合的加权批处理归一化，以消除数据不平衡对结果的影响。类似地，wang等人[46]设计了一个不平衡xgboost包，它将xgboost与加权和焦点损失相结合，以解决二进制标签不平衡的分割任务。此外，zhang等人[47]和liu等人[48]在损失中引入了不同的权重来平衡不同类别的分布，以消除训练过程中数据不平衡的影响。这些加权损失方法的显著成功应用促进了深度学习在分割方面取得了良好的效果。

受此启发，本研究设计了一种新的像素级加权交叉熵损失来帮助模型解决训练过程中数据不平衡的问题。综上所述，本文提出了一种基于展开网的大规模隧道点云分割方法，具有较高的精度和较高的时间效率。该方法包括一系列系统分析，包括点云投影、图像分割和点云重建。本文提出了一种圆投影算法，将3d隧道点云转移到2d图像中，降低了计算成本，然后构建了基于u-net的图像分割模型，并结合dan进行图像分割。随后，从分割后的图像构建3d点云。在训练过程中，设计了一个像素级加权交叉熵损失函数来帮助模型解决数据集中类分布不平衡的问题。

3. Methodology

旨在实现点云的准确和快速的语义分割，并通过使自动机器能够替代当前的手动分割来提高分割效率。开发了一种基于投影的 2d cnn 来处理输入点云，并应用 2d 图像分割学习方法来执行语义推理。我们的方法包括三个步骤，如图1所示。这三个步骤详细描述如下:

(a)将输入点云转换为2d图像表示，

(b)应用工作在2d图像上的2d全卷积模型进行语义分割，

(c)将2d分割结果转换为原始点云中的3d空间，而不考虑使用的2d图像离散化（将连续的二维图像数据转换为离散的数据点集）。

3.1. Tunnel point cloud projection

在这项工作中，我们利用“leica sitrack: one”3d激光扫描系统实现隧道点云的集合，在球坐标空间中表示，包括距离、水平角、垂直角度和强度。因为隧道受到光的限制，导致收集的点云数据中的rgb值扰动不准确，在这项工作中，从特征中排除rgb值，同时考虑到较少的特征有助于减少计算的复杂性，即每个点云特征包含空间信息和强度值。在本节中，我们提出了一种圆投影算法，将点云从3d转移到2d，减少计算量。

首先，将球坐标空间中的空间信息(即距离、垂直角度、水平角度和强度)转换为笛卡尔坐标空间，如图2所示。然后检索沿y轴的峰谷，得到点数据上的一组横截面，然后通过最小二乘圆拟合提取每个部分的中心。之后，通过将圆中心与空间曲线拟合来更新新的中心轴。这个空间曲线成为 2d 表示图中的 y 轴。有了这个更新轴，每个横截面中的点云被转换为极坐标系统。极坐标中每个点的方向角成为2d表示映射中的x轴。在生成的2d图像中，每一行代表一个隧道段，每个像素包含具有一定方向角的点云。算法的细节如算法1所示。如算法1所示，投影算法的输入是扫描传感器的r、α和β，其中r、α和β分别为球系统中的半径、仰角和方位角。然后将扫描传感器的输入从球坐标转换为笛卡尔坐标，然后将每个点从笛卡尔坐标转换为极坐标。在极坐标系统中，r表示距离，θ表示方向角。在笛卡尔坐标系中，x、y 和 z 表示每个点的空间位置，而 i 是对应点的强度。对于生成的2d地图的每个像素单元，集成和平均与该单元相关的所有点。在训练阶段，同一单元格中的点并不总是在同一个类中。因此，点的模式标签用于生成相应的 2d 标签图。隧道点云投影算法的输出为x '，y '，z '，i '，r '，和label '。x′,y′,z′,i′,r′ 分别是空间位置、强度和到横截面中心的距离的相应 2d 图，label′ 是图像分割训练和推理的 2d groundtruth。输出被集成为一个多维映射，成为所提出的图像分割模型的输入。

3.2. 2D image segmentation

这里使用u-net作为图像分割模型来分割从点云转换的图像。u-net应用连续的层来补充通常的收缩网络，其中使用上采样算子而不是池化算子，从而提高输出分辨率。为了定位结果，将收缩路径的高分辨率特征与上采样输出相结合，在这个组合信息上，连续的卷积层可以学习组装更精确的输出。在本研究中，图像投影后的2d特征输出是分割模型的输入。输入特征图的形状为 (h, w, 5)，这意味着我们利用五维数据来分割隧道。具体来说，输入是[x '， y '， z '， i '， r ']，其中x '， y '， z '是三点位置，i '表示缓解，r '表示投影范围。所提出的图像分割模型如图 3 所示。它包含编码器和解码器，有四个卷积块。编码器中的每个块由一个卷积层、批量归一化层、relu 激活和最大池化层组成。解码器中的每个块由一个卷积层、批量归一化层、relu 激活和最大池化层组成。这种残差结构使训练速度更快，导致模型具有更好的泛化性。

3.2.1. Pixel-wise weighted cross-entropy loss

为了进一步探索u-net在二维图像分割方面的潜力，我们提出了像素级加权交叉熵损失函数来更新训练阶段的模型参数。所提出的损失函数由具有像素级权重的多类交叉熵损失组成。像素级权重是根据每个单元格中的 3d 点数和不平衡的类分布生成的。所提出的损失如下所示：

其中 yi 是基于投影算法创建的地面实况。wp 和 wc 是每个像素的交叉熵权重。wp 是点云权重，由每个像素单元中 3d 点数检索。这里，wp在训练过程中引入了额外的三维点云信息，引导神经网络聚焦于密集图像区域，然后在三维点云恢复后提高分割性能。logitsi 是所提出模型的输出热图。由于隧道的类分布在很大程度上不平衡，例如，段点的数量比渗流点大10倍。出于这个原因，wc 被提议强制优化器惩罚小类。通过引入多个参数，像素级加权交叉熵损失引导神经网络优化过程处于正确的方向，平衡小类和主要类的分割，导致像素级加权交叉熵损失在训练收敛时间和最小训练误差方面显示出优势。

3.2.2. Dual attention network (DAN)

注意力模块能够将广泛的上下文信息编码为重要的局部特征，并进一步提高对局部特征表示的丰富上下文依赖关系建模的潜力。在这项研究中，提出了称为dan的空间通道注意来增强隧道点云分割与数据不平衡的性能。图 3 中的绿色框显示了 dan 的结构。dan 用于像素级分割模型的编码器和解码器。首先将特征映射a∈rc ' ×h ' ×w '用于核大小为3 × 3和批处理归一化(bn)层的卷积算子，生成新的特征映射b， b∈rc ' ×h ' ×w ' ' '。然后 b 被送入另一个内核大小为 3 × 3 和 bn 层的卷积算子。生成输出c的通道，其中c∈r1×h ' ×w ' ' '。此外，为 softmax 层正确提供特征图 c 以估计通道注意力图 d，其中 d ∈ r1×h′ ×w′ ′。最后，利用特征映射d和a的元素乘运算得到最终的输出e∈rc ' ×h ' ×w '。

作为流行的激活函数之一，softmax 函数是广泛用于将神经网络的非归一化输出映射到预测类的 概率分布。具体来说，softmax 函数以 m 个实数的向量作为输入，其中一些向量分量为负，或 >1，可能不总和为 1。 softmax 函数的输出是归一化概率分布，由 m 个概率组成，与输入数的指数成正比。因此，特征图 d 可以解释为将原始输入映射到 m 维空间中的向量的概率。注意力机制的优势源于它完全摒弃卷积和递归的事实，鼓励更可并行化和有效的训练过程。为了对通道之间的相互依赖关系进行建模和挖掘，引入了一个通道注意模型。与图3中的空间注意模块不同，首先对特征映射a∈rc ' ×h ' ×w '进行重构，为全连通层和bn层提供，生成一个新的特征映射b，其中b∈rc ' ' ' ×1×1。然后b由另一个全连接层和bn层计算，输出c为c∈rc×1×1。然后，将特征图c送入softmax层计算通道注意图d，其中d∈rc ' ×1×1。利用特征映射d和元素乘算子与a检索最终输出e∈rc ' ×h ' ×w '。

dan 功能依赖于这两个注意力网络，其中空间注意力模块有助于对丰富的上下文依赖关系进行建模的有效性，从而将更广泛的上下文信息编码到局部特征中，而通道注意模块增强了通道之间的相互依赖性 [49]。这两个注意力网络允许增强模型提取和学习特征，同时保留信息，同时增强与类相关的特征图以促进特征可辨别性 [50]。

3.3. 3D tunnel restoration

通过利用 2d 图像分割模型，我们获得了具有多个类的 2d 图像注释。然而，需要 3d 点标签来验证分割性能。因此，为了推断语义云表示中的所有原始点，我们对初始渲染过程中获得的所有点使用所有(u, v)对，并用对应于每个点的图像坐标对2d图像进行索引。也就是说，对于对应于同一像素单元的每个点，我们使用来自 u-net 模型的 2d 输出的相同标签对其进行注释。在2d数据加载过程之前预先计算每个像素的点索引，以提高训练效率。

3.4. Evaluation metrics

在这项研究中，我们利用精确召回曲线 (prc)、平均精度 (ap) 和并集交集 (iou) 分数来评估监督隧道分割结果的性能。我们还提出了一个纯度分数和产率来评估隧道点云投影的性能。

4. Experiment results

4.1. Data setup

在本文中，在复杂的地质和水文地质条件下构建了穿过汉河的选定隧道段，该条件来自中国西南地铁 3 号州旺家站到龙光站。目前，本节的渗流分割依赖于劳动密集型和低效的人工检查。此外，分割结果不能完全反映真实的隧道场景。为了解决这些问题，采用更高效、更准确的3d激光扫描技术替代传统的人工检查，通过隧道点云数据反映隧道场景。与此一致，我们使用leica“sitrack: one”3d激光扫描系统进行隧道点云收集，包括由于光限制而没有rgb信息的坐标和强度[51,52]。这里，要做的假设是操作员对数据收集执行正确的操作。此外，可能无法收集一些细节，例如非常小的渗流，这是可以接受的，因为这些小渗流对隧道运行的影响较低。项目剖面如图4所示。很明显，隧道中的光分布是有限的和不均匀的，因为照明主要由隧道壁上的点光源提供。

使用领域专家的云比较软件将点云手动标记为七个类别。在手动标记过程中，通过在原始文件中创建一个名为“标签”的列来保存与标记点对应的标签信息，在点级别对每种类型的对象进行分类和标记。具体来说，青色标记和棕色标记分别代表有渗流和无渗流的点云。其他颜色，如洋红色、蓝色、绿色、红色和黄色标记分别表示管道、功率轨道、电缆、支撑和跟踪。数据集沿 y 轴分为两部分。80%的隧道点(约27.5万，原始点云包含34,407,083个点)用于训练，其他点(约6.88亿)用于评估监督学习。图5说明了点云数据的分割。由于数据分布不平衡，我们引入了等距下采样方法，用段类重新采样原始数据，并将段类减少到0.1倍。根据所提出的方法，首先将标记的输入点云投影到带有标签的 2d 图像表示中。带有标签的 2d 图像进一步分为训练和测试数据集。接下来，在带有标签（即训练数据集）的 2d 图像上训练 2d cnn 模型进行语义分割。训练好的cnn模型用于对2d测试图像进行预测。最后，将预测的 2d 分割结果转换为 3d 空间，并对预测和 groundtruth 进行比较以进行分割性能分析。介绍了隧道投影实验和分割实验的结果，并在以下两个部分进行了分析

6. Conclusions and future works

在这项研究中，开发了一种名为展开网的新型深度学习方法，用于在 3d 隧道点云上进行多类对象分割。开发的模型包含一系列系统分析，涉及一个圆投影算法将3d点云转移到2d图像中，以实现高效和有效的模型训练。这里，分割模型是基于u-net构建的，再加上dan，以加强特征提取和学习作用于投影的2d图像的能力。在分割后的图像上，对三维点云进行重构，实现点云分割。在训练过程中，像素权重交叉熵损失旨在通过解决展开网络中的数据不平衡来促进特征学习。该方法在wuhan, China的实际跨河流地铁隧道收集的三维点云数据集上进行了验证。根据实验研究，可以得出几个结论。

(1)通过充分考虑产率、纯度分数和模型性能，合理选择(335 × 1440)的图像形状作为投影参数。(2)与其他方法相比，本文提出的圆投影算法具有更好的性能，如球体、体素和基于中心方法，产率为0.821，纯度得分为0.910。(3)基于u-net的所开发的方法比基于非et++、pan、pspnet、manet和linknet的方法表现出了最好的性能。(4) 设计的像素权重交叉熵损失在支持特征提取和信息学习的模型方面表现最好，在骰子、焦点、Jaccard 和 mce-losses 上，表明所提出的损失能够很好地解决数据不平衡。(5) 进一步探索了开发的模型在分割隧道点云方面的最佳性能，例如利用不同的模型（即densenet、efficiency、resnet 和 resnext）作为点云分割的编码器，本研究应用的 resnext 作为编码器 per-forms best。此外，通过比较原始模型、具有像素权重交叉熵损失的模型和开发的模型来执行消融实验，表明所开发的模型表现最好。(6)所提出的方法可以成功地分割大部分点云在准确性方面，优于 pointnet 和 pct，几乎等于 dgcnn，但在识别渗流方面更好，在计算效率上表现最好。本研究主要关注具有有效性和时间效率的点云分割。

未来的研究。

• 通过扩展其应用领域进一步探索开发的展开网络的性能，
• 专注于开发的方法与构建信息建模 (bim) 或数字孪生技术的组合，以创建用于操作监控的参数构建双bim。
• 成本敏感学习算法Costsensitive learning algorithms 将进一步纳入开发端到端点云分割框架，具有更好的分割精度。
• 需要注意的是，本文使用来自单个隧道的数据进行验证，并且应使用来自其他隧道的数据正确进行模型的泛化能力，这可能是未来工作的主题。
• 量化检测到的渗流的风险幅度是一个值得进一步研究的问题，值得关注，因为它可以为工程师提供更可靠的数据来评估和做出有关隧道的决策。

原文地址：https://blog.csdn.net/weixin_43899239/article/details/143601777

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！