基于sklearn的机器学习 — 决策树与随机森林

🕗 发布于 2024-07-25 12:47 机器学习 sklearn 决策树

基于树的学习算法是一种广泛而流行的非参数、有监督的分类和回归方法。

基于树的学习算法的基础是决策树（decision tree），它将一系列决策规则串联起来，看起来像一棵倒立的树，第一条决策规则位于树顶，称之为根节点（root node） 随后的决策规则分布在树下。

在决策树中，每条决策规则都出现在一个决策节点（decision node） 上，并通过该规则创建分支，通向新的节点。末端没有决策规则的分支称为叶节点（leaf） 。

决策树结构

机器学习模型的复杂性、知识表示的直观性各不相同，因此很难完全理解它们的工作原理。

基于树的模型的优点之一是其可解释性，决策树是一种高度直观的模型，拓展到随机森林也是如此。

机器学习算法的性能和可解释性对比

1. 决策树分类器

决策树学习器试图找到一个能最大程度降低节点不纯度的决策规则。

虽然不纯度有多种测量方法，但DecisionTreeClassifier默认使用基尼不纯度（Gini impurity）：

$\begin{equation} G(t)=1-\sum_{i=1}^c{p_i}^2 \nonumber \end{equation}$

其中，G(t)是节点 t 上的基尼不纯度，pi 是节点 t 上类别 c 的观测值比例。

这个寻找决策规则的过程是递归重复的，直到所有叶节点都是纯节点（即只包含一个类别）或达到某个任意的临界点。

这里以鸢尾花数据集为例，使用 scikit-learn 的DecisionTreeClassifier创建决策树分类器

# Load libraries  
from sklearn.tree import DecisionTreeClassifier 
from sklearn import datasets  
# Load data  
iris = datasets.load_iris() 
features = iris.data 
target = iris.target  
# Create decision tree classifier object 
decisiontree = DecisionTreeClassifier(random_state=0)  
# Train model  
model = decisiontree.fit(features, target)

在使用fit训练模型后，我们可以使用该模型来预测观察结果的类别：

# Make new observation  
observation = [[ 5, 4, 3, 2]]  
# Predict observation's class 
model.predict(observation)  

>>>
array([1])

还可以看到观察的预测类别概率：

# View predicted class probabilities for the three classes 
model.predict_proba(observation)  

>>>
array([[0., 1., 0.]])

最后，如果想使用不同的不纯度测量方法，可以使用criterion参数进行设置，sklearn提供了两种选择，默认采用基尼不纯度（Gini Impurity），输入’entropy’可设置为信息熵（Entropy）

# Create decision tree classifier object using entropy 
decisiontree_entropy = DecisionTreeClassifier( criterion='entropy', random_state=0)  
# Train model  
model_entropy = decisiontree_entropy.fit(features, target)

决策树可以通过将特征空间划分为矩形来建立复杂的决策边界。决策树越深，决策边界就越复杂，这很容易导致过拟合。

决策树的典型轴平行决策边界如图所示（鸢尾花数据集）：

2. 决策树回归器

决策树回归的工作原理与决策树分类类似；不过，默认情况下，潜在拆分的衡量标准不是减少基尼不纯度（Gini impurity）或信息熵（entropy），而是减少均方误差（MSE）的程度：

$\mathrm{MSE}=\frac{1}{n}\sum\limits_{i=1}^n\left(y_i-\bar{y}_i\right)^2$

其中， ${y}_{i}$ 是目标的真实值， $\bar{y}_{i}$ 是平均值。

在 scikit-learn 中，可以使用DecisionTreeRegressor实现决策树回归。训练好决策树后，我们就可以用它来预测观测值的目标值：

# Load libraries  
from sklearn.tree import DecisionTreeRegressor 
from sklearn import datasets  
# Load data with only two features 
diabetes = datasets.load_diabetes() 
features = diabetes.data 
target = diabetes.target  
# Create decision tree regressor object  
decisiontree = DecisionTreeRegressor(random_state=0)  
# Train model  
model = decisiontree.fit(features, target)
# Make new observation  
observation = [features[0]]  
# Predict observation's value 
model.predict(observation)

>>>
array([151.])

就像使用决策树分类器一样，我们可以使用criterion参数来选择所需的拆分质量方法。

例如构建一棵能减少平均绝对误差（MAE）的分割树：

# Create decision tree classifier object using MAE  
decisiontree_mae = DecisionTreeRegressor(criterion="absolute_error", random_state=0)
# Train model  
model_mae = decisiontree_mae.fit(features, target)

3. 决策树模型的可视化

决策树分类器的优势之一是我们可以将整个训练好的模型可视化，这使得决策树成为机器学习中最易解释的模型之一。

通过tree.plot_tree可以将生成的决策树的图像，需要注意的是默认设置下分辨率较低，需要配合matplotlib进行调整

# Load libraries
from sklearn import tree  
from sklearn.tree import DecisionTreeClassifier 
from sklearn import datasets  
import matplotlib.pyplot as plt
# Load data  
iris = datasets.load_iris() 
features = iris.data 
target = iris.target  
# Create decision tree classifier object 
decisiontree = DecisionTreeClassifier(random_state=0)  
# Train model  
model = decisiontree.fit(features, target)
# Draw tree plot
tree.plot_tree(model, feature_names= iris.feature_names, filled=True, fontsize=4)
fig = plt.gcf()
fig.dpi = 300
plt.show()

鸢尾花数据集的决策树模型

如果我们查看根节点，可以看到决策规则是：如果花瓣宽度小于或等于 0.8 厘米，则转到左分支；如果不小于或等于 0.8 厘米，则转到右分支。

还显示了基尼不纯度指数（0.667）、观测值数量（150）、每个类别中的观测值数量（[50,50,50]），以及如果我们在该节点停止观测，观测值将被预测为哪个类别（setosa）。

在该节点上，学习器发现一条决策规则（花瓣宽度（厘米）<= 0.8）就能完美地识别出所有 setosa 类别的观察结果。

此外，再使用一条具有相同特征的判定规则（花瓣宽度（厘米）<= 1.75），决策树就能将 150 个观察结果中的 144 个正确分类。这说明花瓣宽度是一个非常重要的特征。

4. 随机森林

决策树的一个常见问题是，它们往往过于贴近训练数据（即过度拟合）。这催生出了称为随机森林的集合学习方法。

随机森林可视为决策树的集合，背后的理念是将存在高方差的多个（深层的）决策树平均化，从而建立一个更稳健的模型，该模型具有更好的泛化性能，并且不易过度拟合。

使用scikit-learn的RandomForestClassifier训练随机森林分类模型：

# Load libraries  
from sklearn.ensemble import RandomForestClassifier 
from sklearn import datasets  
# Load data  
iris = datasets.load_iris()
features = iris.data 
target = iris.target  
# Create random forest classifier object  
randomforest = RandomForestClassifier(random_state=0, n_jobs=-1)  
# Train model  
model = randomforest.fit(features, target)

使用 scikit-learn 的RandomForestRegressor训练随机森林回归模型：

# Load libraries  
from sklearn.ensemble import RandomForestRegressor 
from sklearn import datasets  
# Load data with only two features 
diabetes = datasets.load_diabetes() 
features = diabetes.data 
target = diabetes.target  
# Create random forest regressor object  
randomforest = RandomForestRegressor(random_state=0, n_jobs=-1)  
# Train model  
model = randomforest.fit(features, target)

虽然随机森林的可解释性不如决策树，但随机森林的一大优势在于，我们不必过于担心如何选择好的超参数值。我们通常不需要对随机森林进行修剪，因为集合模型对单个决策树的平均预测噪声具有很强的鲁棒性。

在实践中，我们唯一需要关注的参数是为随机森林选择的决策树数量 k。通常情况下，树的数量越多，随机森林分类器的性能就越好，但代价是计算成本的增加。

随机森林模型与前文介绍决策树模型的十分相似，它们使用了许多相同的参数，例如，我们可以更改所使用的分割质量的方法：

# Create random forest classifier object using entropy 
randomforest_entropy = RandomForestClassifier( criterion="entropy", random_state=0)  
# Train model  
model_entropy = randomforest_entropy.fit(features, target)

不过，作为一个森林而不是一棵单独的决策树，随机森林模型也有一些独有的参数：

max_features参数决定了每个节点要考虑的最大特征数，它可以接受多个参数，包括整数（特征数）、浮点数（特征百分比）和 sqrt（特征数的平方根）。默认情况下max_features为auto，其作用与 sqrt 相同。
bootstrap参数设置在构建树时是否使用bootstrap采样（默认为True）。Bootstrap是一种随机抽样方法，它的核心思想是通过多次从原始数据集中随机抽取子集来生成多个训练集，然后使用这些训练集来训练多个决策树，否则对每一个决策树都使用所有的数据集进行训练。
n_estimators参数用于设置森林中决策树的数量。

顺便一提，由于训练随机森林模型实际上相当于训练许多决策树模型，因此如上述代码所示，设置 n_jobs=-1 来使用所有可用核心可有效提升效率。

5. 识别重要特征

决策树的主要优点之一是可解释性，就像第3节所介绍的一样，我们可以将整个模型可视化。

然而，随机森林模型是由数十、数百甚至数千个决策树组成的，因此对随机森林模型进行简单、直观的可视化是不切实际的。

尽管如此，这里还有另一种选择：我们可以比较（并可视化）每个特征的相对重要性。

在第3节中，我们对决策树分类器模型进行了可视化，发现仅基于花瓣宽度的决策规则就能对许多观察结果进行正确分类。这意味着花瓣宽度是分类器中的一个重要特征，也就是说不纯度（例如分类器中的基尼不纯度或熵以及回归因子中的方差）平均下降幅度越大的分裂特征就越重要。

不过，在特征重要性方面有两点需要注意：

scikit-learn 要求我们将名义分类特征分解成多个二元特征。这样做的结果是将该特征的重要性分散到所有二元特征中，即使原始的名义分类特征非常重要，也会使每个特征看起来不重要。
如果两个特征高度相关，其中一个特征就会占据大部分重要性，使另一个特征显得不那么重要，如果不考虑这一点，就会对解释产生影响。

在 scikit-learn 中，分类和回归决策树以及随机森林可以使用feature_importances_方法报告每个特征的相对重要性：

# Load libraries 
import numpy as np 
import matplotlib.pyplot as plt 
from sklearn.ensemble import RandomForestClassifier 
from sklearn import datasets  
# Load data  
iris = datasets.load_iris() 
features = iris.data 
target = iris.target  
# Create random forest classifier object  
randomforest = RandomForestClassifier(random_state=0, n_jobs=-1)  
# Train model  
model = randomforest.fit(features, target)  
# Calculate feature importances  
importances = model.feature_importances_  
# Sort feature importances in descending order 
indices = np.argsort(importances)[::-1]  
# Rearrange feature names so they match the sorted feature importances 
names = [iris.feature_names[i] for i in indices]  
# Create plot 
plt.figure()
# Create plot title  
plt.title("Feature Importance")  
# Add bars  
plt.bar(range(features.shape[1]), importances[indices])  
# Add feature names as x-axis labels  
plt.xticks(range(features.shape[1]), names, rotation=90)  
# Show plot 
plt.show()

特征重要性对比

结果数值越大，该功能越重要（所有重要性分数总和为 1）。

通过绘制特征重要性数据图，可以增加随机森林模型的可解释性。

原文地址：https://blog.csdn.net/laughzjh/article/details/140652745

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

MYSQL常用基本操作总结
SQL查询中各个关键字的执行先后顺序： from > on> join > where > group by > with > having >select
阅读更多2024-09-19
JAVA并发编程系列之Semaphore信号量剖析
候选人，心中万马奔腾！！！吐了一口82年老血，当场砸电脑回家！原因是：腾讯T2面试，现场限时3分钟+限最多20行代码，模拟地铁口安检进站。其中安检入口10个，当前排队人数是100个，每个人安检进站耗时
阅读更多2024-09-19
24年蓝桥杯及攻防世界赛题-MISC-2
24年蓝桥杯及攻防世界赛题-MISC-2
阅读更多2024-09-19
干货-并发编程提高——重谈 RUNNABLE-上篇（十四）
直接看它的 Javadoc 中的说明：一个在 JVM 中执行的线程处于这一状态中。（A threadexecuting而传统的进（线）程状态一般划分如下：注：这里的进程指早期的单线程进程，这里所谓进程
阅读更多2024-09-19
phpstudy 建站使用 php8版本打开 phpMyAdmin后台出现网页提示致命错误：（phpMyAdmin这是版本问题导致的）
将网站根目录phpMyAdmin4.8.5里面的文件换成官网下载的5.2.1版本即可。重启网站，打开phpMyAdmin后台即可（若打不开更改 mysql密码即可）解决方法：官网下载phpmyadm
阅读更多2024-09-19
零工市场小程序：保障灵活就业
截止2024年高校毕业生达到1179万，在今年的经济情况下，就业市场就面临着比较大的压力，许多毕业生面临一时之间难以找到合适的工作的问题，那么求职者就会需要一份临时的工作来得到报酬，面对传统的找零工方
阅读更多2024-09-19
Linux中权限和指令
mv指令是move的缩写，用来，经常用来备份文件或目录。
阅读更多2024-09-19
Redis 底层揭秘：事务与 Lua 脚本的工作原理
定义Lua 是一种轻量级的脚本语言，它可以在 Redis 中被执行，用于实现复杂的逻辑操作。优势与事务相比，Lua 脚本具有更高的性能和更好的灵活性。Lua 脚本可以在 Redis 服务器端一次性执行
阅读更多2024-09-19
Vue3使用shapefile读取矢量数据，以数组形式返回坐标点
【代码】Vue3使用shapefile读取矢量数据，以数组形式返回坐标点。
阅读更多2024-09-19
WEB 编程：使用富文本编辑器 Quill 配合 WebBroker 后端
评估了好几个，最后选择这个开源的。把前端代码，存储为一个单独的文本文件，方便随便哪个页面需要的时候可以使用。相当于封装为一个独立的对象，方便代码重用。
阅读更多2024-09-19