自学内容网 自学内容网
自学内容网 > 正文

三种不同形态的异常检测方法介绍

🕗 发布于 2024-12-08 12:38 算法  数据分析  机器学习  

一、异常检测目的

        业务监控的核心目标之一是及时发现并响应异常情况，在实际工作中会发现，业务指标（例如每日销售额）的异常会呈现不同的形态，如突然间过高/低，或者趋势性下降，又或者波动规律改变，每种形态背后的业务场景、预示的潜在风险都不太一样，因此识别不同的形态对于异常原因推断也相当重要。下面基于最常见的时间序列数据类型，介绍一下三种不同类型的异常及其识别方法。

二、异常形态及识别方法介绍

1、单点异常

形态：某个实例较全局其他大多数实例都不一样，则该点被叫做单点异常。上方第一个图中上面的两个点就是单点异常，对于时间序列类型，红框里的点就是单点异常。

识别方法：对于时间序列类型的单点异常来说，可以通过2倍/3倍标准差或箱线图中的离群点进行识别。 

2、上下文(波动)异常

形态：某个实例在全局看来是正常的，但是放到特定的上下文中（即与前后的数据集相比）与一般的情况又不一样，则被称为上下文异常。如上图中第二、第三都都是上下文异常，可以理解为该数据不符合正常的波动形态。

识别方法：这种异常可以通过建立时间序列预测模型，对数据进行预测，根据实际值与预测值之间的差异进行判定。

3、群体(趋势)异常

相关数据实例的集合相较于整体数据集是异常的，则称为集体异常。集体异常中的单个实例，本身可能不是异常，但是作为整体出现时就异常了。对于时间序列类型的数据来说，可能是如下图所示形态，中长期呈现出来的确定性上升或者下降趋势，预示潜在风险。

识别方法：通过对窗口内的斜率进行估计和显著性检验，来进行判定。

        斜率估计：使用Theil-Sen回归对窗口内的斜率中位数进行估计。

        斜率显著性检验：使用Mann-Kendall检验对斜率进行显著性检验。

           

参考资料：

网易如何做到数据指标异常发现和诊断分析？

论文分享：Anomaly Detection: A Survey（异常检测：综述）_哔哩哔哩_bilibili


原文地址：https://blog.csdn.net/baidu_26137595/article/details/144163181

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2025