鸢尾花Iris训练数据和测试数据的分割和训练数据的散点图矩阵绘制
鸢尾花Iris训练数据和测试数据的分割和训练数据的散点图矩阵绘制
鸢尾花Iris训练数据和测试数据的分割和训练数据的散点图矩阵绘制
一、训练数据和测试数据
1.1 训练数据（training data）
用于构建机器学习模型的数据，叫作训练数据（training data）或训练集（training set）。
1.2 测试数据（test data）
用于评估模型性能的数据，称作测试数据（test data）或测试集（test set）或留出集（hold-out set）。
1.3 泛化能力 (Generalization ability)
泛化能力 (Generalization ability) 指的是一个模型在未见过的数据上的表现能力。 它衡量一个模型学习到的知识是否能够推广到新的、不同的数据，而不是仅仅在训练数据上表现良好。 一个具有良好泛化能力的模型，即使面对训练数据中未出现的情况，也能做出准确的预测或决策。
二、训练数据和测试数据分割
2.1 训练数据和测试数据的比例
训练数据与测试数据的分配比例可以是随意的，但是以25%的数据作为测试数据是一种好的经验法则。
训练集和测试集: 评估泛化能力的关键在于将数据集分成训练集和测试集。模型在训练集上进行学习，然后在从未见过数据的测试集上进行评估。测试集上的表现才是对泛化能力的真正检验。
2.2 Python中scikit-learn中训练数据和测试数据分割方法
在scikit-learn中，可以使用train_test_split函数进行数据集的分割。
例如，以鸢尾花数据集分割程序为例子：
## 1. 从sklearn中加载数据集datasets
from sklearn import datasets
## 2.取出datasets数据集中的鸢尾花数据赋值给iris
iris = datasets.load_iris() #iris为字典类型数据
## 3. 数据集分割为训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(iris['data'],iris['target'],random_state=0)
## 4.对训练集结构进行查看
print('X_train shape:{}'.format(X_train.shape))
print('y_train shape:{}'.format(y_train.shape))
## 5.对测试集结构进行查看
print('X_test shape:{}'.format(X_test.shape))
print('y_test shape:{}'.format(y_test.shape))
运行结果：
图1 运行结果
三、基于散点图矩阵的数据观察
3.1 安装pandas工具包
在电脑cmd指令窗，输入如下代码
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
安装完成如图2所示。
图2 pandas工具包安装过程
3.2 安装mglearn工具包
在电脑cmd指令窗，输入如下代码
pip install mglearn -i https://pypi.tuna.tsinghua.edu.cn/simple
安装完成如图3所示。
图3 mglearn工具包安装过程
3.3 绘制散点图矩阵
在绘制散点图矩阵前，除了安装pandas工具包、mglearn工具包外，还需要安装了sklearn工具包，matplotlib工具包等。
绘制散点图矩阵代码如下：
## 1. 从sklearn中加载数据集datasets
from sklearn import datasets
## 2.取出datasets数据集中的鸢尾花数据赋值给iris
iris = datasets.load_iris() #iris为字典类型数据
## 3. 数据集分割为训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(iris['data'],iris['target'],random_state=0)
## 4.对训练集结构进行查看
print('X_train shape:{}'.format(X_train.shape))
print('y_train shape:{}'.format(y_train.shape))
## 5.对测试集结构进行查看
print('X_test shape:{}'.format(X_test.shape))
print('y_test shape:{}'.format(y_test.shape))
## 6.散点图矩阵绘制
import matplotlib.pyplot as plt #使用缩减的plt代替matplotlib
import pandas as pd
import mglearn
from pandas.plotting import scatter_matrix
iris_dataframe=pd.DataFrame(X_train,columns=iris.feature_names)
grr=scatter_matrix(iris_dataframe,c=y_train,figsize=(16,16),marker='o',hist_kwds={'bins':20},s=60,alpha=.8,cmap=mglearn.cm3)
plt.show() #图显示
运行结果如图4所示：
图4 Iris数据集的散点图矩阵，按类别标签着色
四、总结
本文以鸢尾花数据iris数据为例，首先介绍了鸢尾花Iris数据分割为训练数据和测试数据并对train_test_split函数进行使用分割，最后对训练数据的散点图矩阵绘制进行了代码介绍并绘图。
原文地址：https://blog.csdn.net/qq_18937049/article/details/144043023
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！