数据处理过程中，通常需要对数据进行预处理，包括缺失值填充，异常值检测等。异常值处理对于后续数据分析，建模具有非常很重要的影响。

基于描述统计

1.基于常识判断

针对数据进行简单的描述统计，查看数据的极大值和极小值。判断数据是否处于合理的范围。进行数据筛选，筛选掉明显不符范围的数据。

2.基于3倍标准差进行筛选

如果数据整体成正态分布，可以根据常识的3σ原则进行异常值筛选。对于标准正态分布来说，(μ-3σ，μ+3σ)之间的面积为99.730020%。统计学中小概率事件为5%，则可以初略的认为处于数据3σ之外的数据为异常数据。不过在具体场景中还需要具体的讨论。

正态分布.jpg(图片来源于网络，侵删)

3.box-cox数据转化+3σ准则

3σ准则假设是数据整体呈正态分布。但是如果数据是有偏数据，则需要转化后再进行筛选，box-cox数据转化在前文已有描述box-cox数据转化。不再赘述。

4.基于四分位进行筛选

我们在进行箱线图描述时，通常都会绘制出上下四分位线以及处于四分位线外的离群点。通常认为位于4分位线外的点为异常值。位于上下四分位外的为异常值。

boxplot.png

基于机器学习的异常值检测方法

1.孤立森林算法

对于孤立森林的个人理解。孤立森林算法是基于决