飞道的博客

Elastic ML 机器学习

316人阅读  评论(0)

elastic包含两类机器学习功能:

生产环境中可用于内部指标评价,多用于订单分析、物联网数据分析等等。

Anomaly Detection(异常检测):

singlemetric:在单个时间序列中检测异常。unsupervised。

mutil-metric:使用一个或多个指标检测异常,并可以选择拆分分析。unsupervised。

populartion:对不常见数据(例如检测总体中的异常值)的分布行为的数据分析。unsupervised。

advanced:可以对多个索引字段执行数据分析。提供检测器和影响者的完整配置设置。

categorization:将日志消息分组,并检测其中的异常情况。

rare:检测时间序列数据中的罕见值。

Data Frame Analytics(数据分析):

outlier detection:异常值检测识别数据集中的异常数据点。unsupervised。

regression:回归预测数据集中的数值。supervised。

classification:分类预测数据集中数据点的类别。supervised。

异常检测主要是针对时序数据进行实时检测。而数据分析主要是通过历史数据进行分析得出一些结果。

针对 Time-series(时序) 数据的分析。它包括异常侦测及预测。这也就是我们常说的非监督机器学习。在这种模式下,用户不用训练机器学习什么是异常,期望得到的是什么,什么是对的,什么是错误的。Elastic ML 通过对数据的观察进行学习。

Data frame analytics。这是一种监督的途径。Classification 及 Regression 被用来解决非常复杂的问题。在这种方式下,Elastic ML 需要一定的数据来进行训练,然后我们可以运用训练的模型来对未来的数据进行分类或预测。

不用训练的:

异常检测 [Anomaly detection] 需要时间序列数据。它构建了一个概率模型,并且可以连续运行以识别发生的异常事件。模型会随着时间而演变;您可以使用它的洞察力来预测未来的行为。

异常值检测 [Outlier detection] 不需要时间序列数据。它是一种数据框分析,通过分析每个数据点与其他数据点的接近程度及其周围点簇的密度来识别数据集中的异常点。它不会连续运行;它会生成数据集的副本,其中每个数据点都带有异常值分数。分数表示与其他数据点相比,数据点是异常值的程度。

需要训练的:

有两种类型的数据框分析需要训练数据集: 分类和回归。

在这两种情况下,结果都是您的数据集的副本,其中每个数据点都带有预测和经过训练的模型的注释,您可以部署它来对新数据进行预测。有关详细信息,请参阅 监督学习简介。

分类 [classification] 学习数据点之间的关系,以预测离散的分类值,例如 DNS 请求是来自恶意域还是良性域。

回归 [regression] 学习数据点之间的关系,以预测连续的数值,例如 Web 请求的响应时间。

Outlier detection 和 population 的区别:

前者是基于实体 entity ,找出一组 entity 中和群体表现差异较大的 entity。例如基于消费者名称找出消费金额、频次比较突出的个体。

后者是基于时序,先找出群体群体中和大部分个体的变化趋势差异较大的小部分群体。

mutil-metric 和 population 的区别:

前者自己和自己比,后者自己和其他大部分人比。注意 mutil-metric 可以选择 split 字段,不选择则是对全局数据进行异常曲线分析,选择 custom_id 则是对每个用户进行数据异常曲线分析。

后者是群体分析。,建立 “典型” 用户,机器或其他实体在指定时间段内所做的工作的概况,然后识别与其它群体相比表现异常的时候。

【样例数据】

用例1:

使用 Outlier detection 进行聚类分析,找出个体表现和群体平均表现差异较大的个体。

用例2:

使用 mutil-metric 进行异常分析,基于时序数据自动学习曲线变化规律以及范围,超出曲线变化范围则是异常。

在规定的一段时间里,日志的数量

在规定的一段时间里,所收到的 404 响应值

在规定的一段时间里,磁盘的使用量

用例3:

使用 population 进行聚类分析,找出基于时序数据下,个体表现和群体平均表现差异较大的个体。也就是找出时序变化曲线和群体大部分个体基于时序变化曲线差异较大的个体。


转载:https://blog.csdn.net/qq_34448345/article/details/127439569
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场