【机器学习】23. 聚类-GMM: Gaussian Mixture Model
1. 定义和假设
定义：probabilistic clustering（model-base）
假设：数据服从正态分布
2. 算法内容
我们假设数据是由k个高斯（正态）分布混合生成的。每个分布有2个参数：μ和σ。
一个分布对应一个集群
从u和o的随机初始值开始
在每次估计后，我们计算每个例子属于每个分布（簇）的概率
利用概率，我们重新计算参数，直到它们不变。
案例
假设有20000个数据点，两个高斯分布，两个标准差都是2，使用GMM聚类。
- 初始化均值方差。标准差限定了，初始均值即可。随机初始化均值分别为-2和3
- 根据贝叶斯计算概率
0.5 是每个分布的权重 - 更新均值
新的均值是基于数据点的加权平均值计算的. 权重由每个数据点属于特定分布的概率决定 - 迭代和收敛, 重复步骤2和步骤3, 直到μ不再产生变化或变化非常小, 数据点最终分配给概率更高的分布
3. 和K-Means对比
k-means: crisp(hard)-assignment
GMM – probabilistic(soft assignment)
GMM可以看作是k均值的泛化
GMM更灵活。允许椭圆的cluster而不是圆形
原文地址：https://blog.csdn.net/weixin_48846514/article/details/143441359
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！