聚类模型

1、层次聚类

2、原型聚类-K-means

3、模型聚类-GMM

4、EM算法-LDA主题模型

5、密度聚类-DBSCAN

6、图聚类-谱聚类

五、密度聚类-DBSCAN

DBSCAN的类表示是一簇密度可达的样本，相似性度量定义为密度可达，密度可达即为一类，属于硬划分。密度聚类是一种基于密度的聚类，其根据样本的空间分布关系进行聚类。一般来讲，用带参的模型来定义样本的分布可以看作是带参的密度估计，比如高斯混合模型，高斯判别分析；用无参的模型来描述样本的分布称为无参密度估计，比如直方图，核密度估计，山峰聚类，DBSCAN，meanshift。

假设我的样本集是$(x_1,x_2,...,x_m)$，在DBSCAN中为了描述样本分布的关系，定义了如下几个概念：

1） $\epsilon$-邻域：对于$x_j\in D$，其$\epsilon$-邻域包含样本集$D$中与$x_j$的距离不大于$\epsilon$的子样本集，即$N_{\epsilon}(x_j) = \{x_i \in D | distance(x_i,x_j) \leq \epsilon\}$ 这个子样本集的个数记为$|N \in (x_j)|$　

2）核心对象：对于任一样本$x_j\in D$，如果其$\epsilon$-邻域对应的$N \in (x_j)$ 至少包含$MinPts$个样本，即如果$|N \in (x_j)|≥MinPts$，则$x_j$是核心对象

3）密度直达：如果$x_i$位于$x_j$的$\epsilon$-邻域中，且$x_j$是核心对象，则称$x_i$由$x_j$密度直达。注意反之不一定成立，即此时不能说$x_j$由$x_i$密度直达, 除非且$x_i$也是核心对象。

4）密度可达：如果$x_i$由$x_{j}$密度直达，且$x_{j}$由$x_{k}$密度直达，那么$x_{i}$由$x_{k}$密度可达。密度可达满足封闭性

其中密度可达是相似性度量，由于密度可达具有封闭性，所以簇内的所有点与簇内的核心均密度可达，否则即不是一个簇，所以密度可达可以对样本进行聚类，其中密度可达涉及的参数有$\epsilon$和$MinPts$和距离度量$distance(x_i,x_j)$。

5）噪声点：对于非核心点和不能由核心点密度可达的点即为噪声点

DBSCAN算法流程：

输入：样本集$D=(x_1,x_2,...,x_m)$，邻域参数$(\epsilon,MinPts)$， 样本距离度量方式

输出：簇划分$C=\{c_{1},c_{2},..c_{k},...,c_{K}\}$

1）初始化核心对象为$\Omega=\varnothing$，簇划分$C=\varnothing ,k=0$，未访问样本集合$\Gamma=D$

2）变量所有样本点，找出$|N \in (x_j)|≥MinPts$的核心对象$x_{j}$并入核心对象$\Omega$

3）如果核心对象$\Omega=\varnothing ||\Gamma=\varnothing$，算法结束，否则从核心对象集$\Omega$中随机选择一个核心对象$x_{j}$，初始化当前簇$c_{k++}=x_{j}$，当前核心对象集为$\Omega_{cur}=x_{j}$，循环：

​ a）从当前的核心对象集$\Omega_{cur}$中选择$x_{j}$，循环：

​ aa）找出$x_{j}$密度直达的未访问的点$x_{i}$加入到$c_{k}$，把其中未访问的核心对象加入到$\Omega_{cur}$

​ ab）更新当前核心对象集$\Omega_{cur}=\Omega_{cur}-x_{j}$

​ ac）更新核心对象集$\Omega=\Omega-\Omega_{cur}$，更新未访问样本集$\Gamma=\Gamma-c_{k}$

​ b）如果当前核心对象集$\Omega_{cur}=\varnothing$，结束内部循环

4）输出簇划分$C=\{c_{1},c_{2},..c_{k},...,c_{K}\}$

可以看出，外层循环为簇的个数，内层循环是构建一个密度可达的簇。当算的执行完$\Gamma \neq\varnothing$，对应既不是核心点，也不是密度可达的点我们称为异常点或者噪声点。

DBSCAN的特点：

1）由于密度可达的定义，DBSCAN具有发现任意形状的簇划分

2）聚类的同时可发现异常点，抗噪性强

3）不需要预先指点类数，但$\epsilon$和$MinPts$的直观性不强，参数选择麻烦

4）样本集较大时，聚类收敛时间较长，密度估计存在维度灾难问题

5）如果样本集的密度不均匀、聚类间距差差别很大时，聚类质量较差，这时用DBSCAN聚类一般不适合