【自学笔记】局部线性嵌入LLE

局部线性嵌入（LLE, Locally Linear Embedding）

  LLE是一种无监督学习算法，基于一个假设：数据存在于一个低维流形上，这个流形在局部区域是线性的。我们希望找出一个嵌入，能够保留这些局部线性关系。
  通常，我们采用k-近邻算法找到点$x$的附近点$x_1,...x_k$，并假设$x$能被它们线性表示：

$x=w_1{x}_1+...+w_k{x}_k$

  通过LLE降维后，我们希望尽可能保留线性关系，即：

$x^{{}^{\prime }}\approx w_1{x}_1^{{}^{\prime }}+...+w_k{x}_k^{{}^{\prime }}$

  这么做抹除了较远的点之间的联系，达到降维的效果。具体地，在降维之前，数据集通常是$N$个点，每个点在一个$D$-维欧几里得空间中表示。也就是说，数据集可以表示为：

X = { x 1 , . . . x N } X=\left \{ x_{1},...x_{N} \right \} X={x1​,...xN​}, $x_i\in {\mathbb{R}}^D$

  这里$D$就是原始维度，通常非常高。
  降维后，输出每个点在一个$d$-维空间的嵌入表示：

Y = { y 1 , . . . y N } Y=\left \{ y_{1},...y_{N} \right \} Y={y1​,...yN​}, $y_i\in {\mathbb{R}}^d$

  注意，$d$是另一个超参数，并不等于$k$，表示降维后的维度，通常有以下选择：
  （1）$d=2$或$3$，用于可视化。
  （2）$d$等于问题的固有维度（intrinsic dimension），即数据的潜在流形维度。

  设系数组成$N\times k$的矩阵$W$，可解出：

$w_{ij}=\frac{{\sum }_{t\in K_i}{C}_{jt}^{-1}}{{\sum }_{t,s\in K_i}{C}_{ts}^{-1}}$，其中$C_{jt}=(x_i-x_j{)}^T(x_i-x_t)$

  点$x_i$的$k$-近邻组成的集合为$K_i$，定义损失函数为：

$J(W)={\text{min}}_Y{\sum }_{i=1}^N||y_i-{\sum }_{j\in K_i}{w}_{ij}{y}_j|{|}^2$
$s.t.{\sum }_{j\in K_i}{w}_{ij}=1$

  用矩阵表示优化目标：

$\text{Minimize: }{Y}^{T}MY$，其中$M=(I-W{)}^T(I-W)$是一个稀疏矩阵。

  Y的优化通过求解M的特征值问题实现：

$MY=\lambda Y$

  提取$M$的最小的$d+1$个非零特征值对应的特征向量，构成低维嵌入（去掉第一个最小的特征向量，因为它通常是常量向量）。

代码实现

  scikit-learn库中提供了此类方法：

from sklearn.manifold import LocallyLinearEmbedding
from sklearn.datasets import make_swiss_roll
import matplotlib.pyplot as plt

# 生成三维的瑞士卷数据集
X, color = make_swiss_roll(n_samples=1000, noise=0.05)

# 可视化原始高维数据
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=color, cmap=plt.cm.Spectral)
plt.title("Original 3D Swiss Roll")
plt.show()


# 设置 LLE 参数
n_neighbors = 10  # 每个点的邻居数量
n_components = 2  # 降维后的目标维度

# 创建 LLE 模型
lle = LocallyLinearEmbedding(n_neighbors=n_neighbors, n_components=n_components, method='standard')

# 降维
X_lle = lle.fit_transform(X)

# 可视化降维后的结果
plt.figure(figsize=(8, 6))
plt.scatter(X_lle[:, 0], X_lle[:, 1], c=color, cmap=plt.cm.Spectral)
plt.title("2D Embedding using LLE")
plt.xlabel("Component 1")
plt.ylabel("Component 2")
plt.show()

原文地址：https://blog.csdn.net/qq_40432278/article/details/144136727

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！