论文阅读：Dual-disentangled Deep Multiple Clustering
目录
摘要
多重聚类近年来引起了广泛关注，因为它能够从不同的角度揭示数据的多种潜在结构。大多数多重聚类方法通常先通过控制特征之间的差异性来提取特征表示，然后使用传统的聚类方法（如 k-means）实现最终的多重聚类结果。然而，所学习的特征表示往往与实现明显聚类的最终目标相关性较弱。此外，这些特征通常不是专门为聚类目的而明确学习的。
为此，本文提出了一种新颖的双重解耦深度多重聚类方法（Dual-Disentangled Deep Multiple Clustering，简称 DDMC），通过学习解耦表示来解决上述问题。具体而言，DDMC 基于变分期望最大化（Variational Expectation-Maximization, EM）框架实现。在 E 步骤中，解耦学习模块利用粗粒度和细粒度的解耦表示，从数据中提取更加多样化的潜在因子。在 M 步骤中，聚类分配模块采用聚类目标函数增强聚类输出的效果。
我们的大量实验表明，DDMC 在七个常用任务中均显著优于当前最先进的方法。
引言
聚类是一种基于相似性对数据点进行分组的技术，由于大量无标签数据的日益普及，该领域得到了广泛研究。传统方法如 k-means、谱聚类和高斯混合模型依赖通用的手工特征，但这些特征并不总是适合特定任务。近年来，利用深度神经网络（DNN）的深度聚类算法显著提升了性能。然而，大多数算法仅生成单一的数据划分，而多重聚类算法旨在为不同应用生成多个划分，从而展现从数据集中发现多个不同聚类的能力（如图1所示）。
现有的多重聚类方法大致分为浅层模型和深度模型。对于浅层模型，COALA 基于已建立的聚类将对象作为约束以生成替代聚类；其他方法则依赖不同的特征子空间，例如，Hu 等人通过最大化不同特征子空间中的拉普拉斯特征值间隔发现多个聚类。近期研究中，研究人员开始使用深度学习生成多重聚类，例如，ENRC 结合自编码器和聚类目标函数生成替代聚类；iMClusts 利用深度自编码器的表示能力和多头注意力生成多个聚类；AugDMC 则通过数据增强学习用于多重聚类的不同表示。
尽管深度多重聚类方法取得了显著成果，但仍面临两大挑战。首先，学习到的表示与生成明显不同的聚类目标相关性较弱。这是因为聚类的多样性通常通过限制表示之间的重叠来间接实现，但这并不能确保特征表示的差异性与聚类多样性直接相关，可能导致冗余聚类。其次，大多数现有方法仅将学习到的表示输入传统聚类算法（如 k-means）以获得多个聚类，然而这些表示通常是在未考虑聚类目标的情况下学习的，从而削弱了最终的聚类结果。尽管一些方法（如 ENRC）试图优化聚类性能，但仍未取得令人满意的结果。
幸运的是，解耦表示学习致力于学习分离和揭示数据中潜在因子的因子化表示，可以有效支持多重聚类的多样性学习。例如，在图1中，数据对象至少具有两个不同的潜在因子（形状和颜色）。解耦表示学习能够将这些因子分离并编码为表示空间中独立且不同的潜在变量，从而使形状/颜色的潜在变量仅随着对象形状/颜色的变化而变化，而相对于其他因子保持不变。尽管解耦表示学习已取得显著成功，但目前尚无研究将其用于实现多重聚类。
然而，将解耦表示学习应用于多重聚类并非易事。首先，解耦表示学习尽管成功，但最初并非为多重聚类设计。因此，设计一个专门用于多重聚类的解耦表示学习框架至关重要。其次，需要确保聚类目标的有效性。现有的深度多重聚类方法主要强调在聚类级别捕获特征，而忽视了每个聚类内部的聚类级别有效性。
为此，本文提出了一种新颖的双重解耦深度多重聚类（Dual-Disentangled Deep Multiple Clustering，DDMC）方法，能够通过端到端的方法同时确保聚类级别和聚类内部级别的性能。具体而言，我们的解耦学习模块利用粗粒度和细粒度的解耦表示来学习更加多样的解耦表示，同时，我们的聚类分配模块旨在提升方法在聚类内部级别性能方面的有效性。我们将方法构建为变分期望最大化（EM）框架。在 E 步骤中，我们通过解码独特的解耦表示来揭示潜在的多重聚类，同时固定聚类分配组件。在 M 步骤中，利用 E 步骤中获得的解耦表示进行聚类分配学习。
本文的贡献可总结如下：
- 提出了一种新颖的双重解耦深度多重聚类方法（DDMC），首次将解耦学习引入多重聚类。
- 方法基于变分 EM 框架实现。在 E 步骤中，学习解耦表示以实现多重聚类；在 M 步骤中，优化聚类分配以增强聚类内部级别的性能。
- 在七个常用任务上进行了广泛实验，结果证明了 DDMC 的优越性。
模型
为了同时学习用于不同聚类的表示并实现良好的聚类级别性能，我们在变分 EM 框架内结合了解耦表示学习和聚类分配学习，如图2所示。具体来说，给定一张图像 xi∈{xi}，解耦多重聚类的目标是得到 K 个不同的图像表示 {zi1,…,ziK}，通过实现粗粒度和细粒度的解耦来描述图像的各种特征。通过这种方式，这些图像可以被划分为 M 个不同的聚类，每个聚类反映原始图像的一个独特方面，其中 K 可以大于 M。这是因为现实世界中的数据可能包含的方面数量多于所需的聚类数量，而需要将所有方面解耦以获得所需的表示。
一张图像可能包含多个不同的方面，每个方面可以对应一个聚类视角。为了有效地揭示这些潜在特征，我们致力于通过数据增强实现粗粒度解耦。通过采用多种增强方法生成变体图像，每个变体图像反映原始图像的一个不同特征，从而突显其固有的多样性。
实验
数据集
实验结果
结论
在本文中，我们提出了一种新颖的双解耦深度多重聚类方法（DDMC），利用解耦表示实现多重聚类。DDMC通过粗粒度和细粒度解耦表示揭示并分离数据中的潜在因子。此外，它还引入了聚类分配模块，以进一步增强多重聚类在聚类级别性能上的有效性和鲁棒性。我们将该方法表述为一种变分期望最大化（Expectation-Maximization，EM）框架，并推导了细粒度解耦的证据下界（Evidence Lower Bound, ELBO）。
在七个基准数据集上的大量实验表明，DDMC在多重聚类性能以及每个单独聚类性能方面均达到了当前最先进水平。未来工作中，我们计划将该方法扩展到更复杂的数据类型和场景，例如多模态数据。此外，与基线方法相比，尽管性能得到了提升，所提方法的计算成本较高，因此提高效率将是另一个值得研究的方向。
模型的具体代码将在实验复现博文中详细描述。
原文地址：https://blog.csdn.net/dundunmm/article/details/144068377
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！