决策树回归（Decision Tree Regression）

理论知识推导

决策树回归是一种非参数监督学习方法，用于回归问题。它通过将数据集划分成较小的子集来建立模型，并在这些子集上构建简单的预测模型（通常是恒定值）。下面是决策树回归的数学推导过程：

实施步骤与参数解读

1. 数据准备： 准备训练数据集和测试数据集。

2. 特征工程： 对数据进行预处理和特征工程。

3. 模型训练： 使用训练数据训练决策树模型。

4. 模型评估： 使用测试数据评估模型性能。

5. 模型优化： 调整模型参数以提高模型性能。

重要参数：

• max_depth：树的最大深度，防止过拟合。
• min_samples_split：内部节点再划分所需最小样本数。
• min_samples_leaf：叶节点最少样本数。
• max_features：在分裂时考虑的最大特征数。

未优化模型实例

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression
import matplotlib.font_manager as fm

# 设置全局字体为楷体
plt.rcParams['font.family'] = 'KaiTi'

# 生成多维数据集
X, y = make_regression(n_samples=500, n_features=5, noise=0.1)
y = y.reshape(-1, 1)

# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 未优化模型
regressor = DecisionTreeRegressor()
regressor.fit(X_train, y_train)
y_pred = regressor.predict(X_test)
mse_unoptimized = mean_squared_error(y_test, y_pred)

# 优化后的模型
optimized_regressor = DecisionTreeRegressor(max_depth=5, min_samples_split=10, min_samples_leaf=5)
optimized_regressor.fit(X_train, y_train)
y_pred_optimized = optimized_regressor.predict(X_test)
mse_optimized = mean_squared_error(y_test, y_pred_optimized)

# 输出结果
print(f"未优化模型的MSE: {mse_unoptimized}")
print(f"优化后的模型的MSE: {mse_optimized}")

# 可视化
plt.figure(figsize=(12, 6))

# 原始数据的二维投影
plt.subplot(1, 2, 1)
plt.scatter(X_test[:, 0], y_test, color='blue', label='Actual')
plt.scatter(X_test[:, 0], y_pred, color='red', label='Predicted')
plt.title('未优化模型')
plt.xlabel('Feature 0')
plt.ylabel('Target')
plt.legend()

plt.subplot(1, 2, 2)
plt.scatter(X_test[:, 0], y_test, color='blue', label='Actual')
plt.scatter(X_test[:, 0], y_pred_optimized, color='red', label='Predicted')
plt.title('优化后的模型')
plt.xlabel('Feature 0')
plt.ylabel('Target')
plt.legend()

plt.show()

结果解释

• 未优化模型：均方误差（MSE）相对较高，表示模型在测试数据上的预测不够准确。
• 优化后的模型：均方误差（MSE）较低，表示模型在测试数据上的预测更加准确。

可视化图展示

• 未优化模型：图中红色点表示模型预测值，蓝色点表示实际值。预测值与实际值之间有明显差距。
• 优化后的模型：图中红色点表示优化后的模型预测值，与实际值（蓝色点）更加接近，说明优化后的模型性能更好。

通过上述步骤，我们实现了决策树回归模型的训练和优化，并通过可视化对比了两个模型的效果。

原文地址：https://blog.csdn.net/qq_44133607/article/details/140508099

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！