机器学习：决策树回归树实现
1、决策树：
是一种树形结构，用于通过一系列的是非问题来预测目标值。在决策树回归中，树的叶子节点代表预测的连续值。
2、数据准备：
收集数据集，并对其进行清洗和预处理。
将数据集分为特征（X）和目标变量（y）。
# 读取CSV文件中的数据
data = pd.read_csv("spambase.csv")# 选取特征列和目标列
x = data.iloc[:, :-1] # 特征数据
y = data.iloc[:, -1] # 目标数据3、特征选择：
选择用于构建决策树的特征。这可以通过特征重要性分析来完成。
# 划分训练集和测试集，测试集占20%，随机状态设置为42以保证结果可复现
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=42)
4、构建决策树：
从根节点开始，选择一个特征和该特征的某个值作为分割点。
基于分割点将数据集分为子集。
对每个子集重复上述过程，直到满足停止条件（例如，达到最大深度，或子集中的样本数量小于某个阈值）。
6、剪枝：
为了防止过拟合，可以对树进行剪枝。剪枝可以是预剪枝（在树生长之前设置最大深度）或后剪枝（在树生长后删除一些分支）。
# 初始化一个列表来存储不同树深度的交叉验证分数
scores = []# 定义一个树深度候选列表
c = [5, 6, 7, 8, 9, 10, 11, 12, 13]# 遍历树深度候选列表
for i in c:# 创建一个决策树回归模型，设置最大深度为当前候选深度reg = DecisionTreeRegressor(max_depth=i)# 对训练集进行8折交叉验证，并获取分数score = cross_val_score(reg, x_train, y_train, cv=8)# 计算交叉验证分数的平均值score_mean = sum(score) / len(score)# 将平均分数添加到分数列表中scores.append(score_mean)# 使用分数列表中的最大值找到最佳树深度
best_c = c[np.argmax(scores)]# 使用最佳树深度创建决策树回归模型
reg = DecisionTreeRegressor(max_depth=best_c)7、训练模型：
使用训练数据集来训练决策树模型。
# 训练模型
reg.fit(x_train, y_train)8、预测：
使用训练好的模型对新的数据进行预测。
# 使用测试集进行预测
predict_test = reg.predict(x_test)# 打印模型在测试集上的R^2分数
print(reg.score(x_test, y_test))9、结果
10、参数调整：
根据模型评估的结果，调整模型参数以优化性能。
tree.DecisionTreeRegressor(criterion=’mse’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=False)
1.criterion：节点分裂依据。默认：mse,可选择·mae(平均绝对误差)->使用绝对值。
2.splitter:默认best，表示以最优的方式切分节点。决定了树构建过程中的节点分裂策略。值为'best'，意味着在每个节点上，算法会找出最好的分割点来尽量降低信息熵或者减少均方误差。如果设置为'random'，则算法会随机选择一个特征进行分裂。
3.max_depth：树的最大深度。过深的树可能导致过拟合。
4. min_samples_split ：默认值是2. 分裂一个内部节点需要的最小样本数。
5. min_samples_leaf : 默认值是1，叶子节点最少样本数。
6. max_leaf_nodes：设置最多的叶子节点个数，达到要求就停止分裂【控制过拟合】。
11、完整代码
import pandas as pd
import numpy as np
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split
# 读取CSV文件中的数据
data = pd.read_csv("spambase.csv")# 选取特征列和目标列
x = data.iloc[:, :-1] # 特征数据
y = data.iloc[:, -1] # 目标数据# 划分训练集和测试集，测试集占20%，随机状态设置为42以保证结果可复现
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=42)# 导入决策树回归模型和交叉验证函数
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import cross_val_score# 初始化一个列表来存储不同树深度的交叉验证分数
scores = []# 定义一个树深度候选列表
c = [5, 6, 7, 8, 9, 10, 11, 12, 13]# 遍历树深度候选列表
for i in c:# 创建一个决策树回归模型，设置最大深度为当前候选深度reg = DecisionTreeRegressor(max_depth=i)# 对训练集进行8折交叉验证，并获取分数score = cross_val_score(reg, x_train, y_train, cv=8)# 计算交叉验证分数的平均值score_mean = sum(score) / len(score)# 将平均分数添加到分数列表中scores.append(score_mean)# 使用分数列表中的最大值找到最佳树深度
best_c = c[np.argmax(scores)]# 使用最佳树深度创建决策树回归模型
reg = DecisionTreeRegressor(max_depth=best_c)# 训练模型
reg.fit(x_train, y_train)# 打印最佳树深度
print(best_c)# 使用测试集进行预测
predict_test = reg.predict(x_test)# 打印模型在测试集上的R^2分数
print(reg.score(x_test, y_test))