决策树是非参数学习算法，可以解决分类问题，天然可以解决多分类问题（不同于逻辑回归或者SVM，需要通过OVR，OVO的方法），也可以解决回归问题，甚至是多输出任务，并且决策树有非常好的可解释性。决策树功能强大，能够拟合复杂的数据集。
在线dot转换png
https://onlineconvertfree.com/zh/
对于二分类：
H
=
−
p
⋅
l
o
g
(
p
)
−
(
1
−
p
)
⋅
l
o
g
(
1
−
p
)
H = -p \cdot log(p) - (1-p) \cdot log(1-p)
H=−p⋅log(p)−(1−p)⋅log(1−p)
通过信息熵可以看到当前数据的不确定度。对于决策树，在根节点上要找到一个维度和一个阈值，对根节点进行划分，划分之后希望整体信息熵减小，进而对于划分出来的两个子节点重复递归划分的方法，逐步减小整体的信息熵。
对于二分类：
G
=
1
−
p
2
−
(
1
−
p
)
2
=
1
−
p
2
−
1
+
2
p
−
p
2
=
−
2
p
2
+
2
p
\begin{aligned} G &= 1 - p^2 - (1-p)^2 \\ &= 1 - p^2 -1 + 2p - p^2 \\ &= -2p^2 + 2p \end{aligned}
G=1−p2−(1−p)2=1−p2−1+2p−p2=−2p2+2p
每次都是对半划分，决策树高度：logm
维度：n，样本：m ，遍历：n*m
如使用 CART 的方式，在每个叶子节点都包含若干个数据，如果这些数据的输出值是类别的话，则可以在叶子结点中让数据进行投票，归为多的一类的数据的类别。
决策树的局限性
1、
2、
集成学习
虽然分为 A 类只有两票，但是认为是 A 类的概率非常高，而分为 B 类的票数虽然是三票，都是得到的确定性都不太大。
每个子模型可以用同一个算法，这样子模型之间的数据不同，是存在有一定的差异性。
和集成学习的不同，不需要使用多种算法，使用一种算法就可以创建差异性
Bagging：使用随机取样的方式，包括在特征空间中随机取特征，创建诸多的子模型，把它们集成在一起。
通过 n_jobs 参数控制并行运行的核数
在Bagging中，使用的集成学习的方式（基础分类器）是决策树，集成了很多决策树的集成学习，由于采用了随机取样的方式，具有随机性，所以叫做随机森林。
Extra-Trees：极其随机的随机森林，极其随机的特性表现在决策树节点的划分上。
