机器学习基础--基于常用分类算法实现手写数字识别

🕗 发布于 2024-11-28 12:03 机器学习 逻辑回归 人工智能

# 1.数据介绍

>MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(test set) 也是同样比例的手写数字数据.
>MNIST 数据集可在 http://yann.lecun.com/exdb/mnist/ 获取, 它包含了四个部分:

* Training set images: train-images-idx3-ubyte.gz (9.9 MB, 解压后 47 MB, 包含 60,000 个样本)
* Training set labels: train-labels-idx1-ubyte.gz (29 KB, 解压后 60 KB, 包含 60,000 个标签)
* Test set images: t10k-images-idx3-ubyte.gz (1.6 MB, 解压后 7.8 MB, 包含 10,000 个样本)
* Test set labels: t10k-labels-idx1-ubyte.gz (5KB, 解压后 10 KB, 包含 10,000 个标签)

数据文件是二进制格式的，所以要按字节读取。代码如下：

导入函数包

import struct,os
import numpy as np
from array import array as pyarray
from numpy import append, array, int8, uint8, zeros
import matplotlib.pyplot as plt

def load_mnist(image_file, label_file, path="mnist"):
    digits=np.arange(10)

    fname_image = os.path.join(path, image_file)
    fname_label = os.path.join(path, label_file)

    flbl = open(fname_label, 'rb')
    magic_nr, size = struct.unpack(">II", flbl.read(8))
    lbl = pyarray("b", flbl.read())
    flbl.close()

    fimg = open(fname_image, 'rb')
    magic_nr, size, rows, cols = struct.unpack(">IIII", fimg.read(16))
    img = pyarray("B", fimg.read())
    fimg.close()

    ind = [ k for k in range(size) if lbl[k] in digits ]
    N = len(ind)

    images = zeros((N, rows*cols), dtype=uint8)
    labels = zeros((N, 1), dtype=int8)
    for i in range(len(ind)):
        images[i] = array(img[ ind[i]*rows*cols : (ind[i]+1)*rows*cols ]).reshape((1, rows*cols))
        labels[i] = lbl[ind[i]]

    return images, labels


train_image, train_label = load_mnist("train-images-idx3-ubyte", "train-labels-idx1-ubyte")
test_image, test_label = load_mnist("t10k-images-idx3-ubyte", "t10k-labels-idx1-ubyte")

定义加载mnist数据集的函数，传入参数为文件名称和路径，首先将路径拼接为文件所在路径，然后以二进制读方式打开文件

magic_nr, size = struct.unpack(">II", flbl.read(8))

">II" 表示总共读取两个 4 字节无符号整数。I：表示读取一个无符号的 4 字节整数（unsigned int），>：表示大端字节序（Big Endian）。flbl.read(8)表示读取前八个字节

lbl = pyarray("b", flbl.read())

使用 pyarray 将标签数据存储为一个高效的数组。flbl.read()读取剩余所有内容，这个是接着上面的八字节继续读取

ind = [k for k in range(size) if lbl[k] in digits]

N = len(ind)

仅选择标签在 digits 范围（0 到 9）内的图像索引，存储到 ind。
N 是符合条件的图像数量。

images = zeros((N, rows*cols), dtype=uint8) labels = zeros((N, 1), dtype=int8)

images: 用于存储图像数据，形状为 (N, rows*cols)，每个图像展平成一维向量。
labels: 用于存储标签，形状为 (N, 1)。

for i in range(len(ind)): images[i] = array(img[ind[i]*rows*cols : (ind[i]+1)*rows*cols]).reshape((1, rows*cols)) labels[i] = lbl[ind[i]]

遍历筛选后的图像索引 ind。
根据索引从 img 中提取相应的图像像素数据，展平为一维并存储到 images。
将对应的标签存储到 labels。

算法介绍

1. K-Nearest Neighbors (KNN)

概念：
K-Nearest Neighbors（KNN）是一种基于实例的学习算法。当给定一个新的数据点时，KNN 算法通过计算这个点与训练数据中所有点的距离，找到 K 个距离最近的点，然后通过这些 K 个邻居的标签来决定新的数据点的分类标签。
特点：
- 非参数方法：KNN 不对数据做任何假设。
- 计算开销大：需要计算与所有训练样本的距离，因此在数据量大的时候计算成本高。
- 适合小规模数据集，且对噪声敏感。
工作原理：
- 选择合适的 K 值（K 是邻居的数量）。
- 计算测试样本与所有训练样本的距离（通常使用欧氏距离）。
- 选出 K 个最近的邻居。
- 通过邻居的标签投票决定分类。

from sklearn.metrics import accuracy_score,classification_report
from sklearn.neighbors import KNeighborsClassifier

knc = KNeighborsClassifier(n_neighbors=10)
#初始化，设定要分类的个数为10
knc.fit(train_image,train_label.ravel())
#使用训练数据来训练Knn模型
predict = knc.predict(test_image)
print("accuracy_score: %.4lf" % accuracy_score(predict,test_label))

2. Naive Bayes

概念：
Naive Bayes 是一种基于贝叶斯定理的分类算法，假设特征之间是条件独立的（即“朴素”假设）。尽管这种假设在实际中很少成立，但 Naive Bayes 在许多实际问题中表现得很好。
特点：
- 计算速度快。
- 对小数据集表现良好。
- 假设特征独立：适用于条件独立的特征，如文本分类中的词频。
工作原理：
- 通过贝叶斯定理计算每个类别的后验概率：P(Y∣X)=P(X∣Y)P(Y)P(X)P(Y∣X)=P(X)P(X∣Y)P(Y)其中 P(Y∣X)P(Y∣X) 是给定特征 XX 后属于某类别 YY 的概率，P(X∣Y)P(X∣Y) 是特征 XX 在类别 YY 下的条件概率，P(Y)P(Y) 是类别 YY 的先验概率。
- 由于假设特征条件独立，可以将特征的联合概率分解为单个特征的条件概率的乘积。
适用场景：
- 文本分类、垃圾邮件过滤、情感分析。

from sklearn.naive_bayes import MultinomialNB

mnb = MultinomialNB()
mnb.fit(train_image,train_label)
predict = mnb.predict(test_image)
print("accuracy_score: %.4lf" % accuracy_score(predict,test_label))
print("Classification report for classifier %s:\n%s\n" % (mnb, classification_report(test_label, predict)))

3. Decision Tree（决策树）

概念：
决策树是一种树形结构的分类模型，它通过将数据集划分为多个子集，最终将数据分类。每个节点代表一个特征的条件，边代表特征值的取值，叶子节点代表类别标签。
特点：
- 易于理解和解释。
- 可以处理数值型和类别型数据。
- 对噪声数据和不平衡数据敏感。
工作原理：
- 决策树通过递归地选择最佳的特征来分割数据，使得每个分支尽可能纯（即数据类别单一）。
- 使用某些标准（如信息增益、基尼指数）来选择最优的特征。
- 树的构建会一直持续到所有数据被正确分类，或者达到停止条件（如最大深度、最小样本数等）。
优点：
- 可解释性强，容易理解。
- 不需要特征缩放。
缺点：
- 容易过拟合，尤其是树很深时。
- 对数据中小的变化非常敏感。

from sklearn.tree import DecisionTreeClassifier

dtc = DecisionTreeClassifier()
dtc.fit(train_image,train_label)
predict = dtc.predict(test_image)
print("accuracy_score: %.4lf" % accuracy_score(predict,test_label))
print("Classification report for classifier %s:\n%s\n" % (dtc, classification_report(test_label, predict)))

4. Random Forest（随机森林）

概念：
随机森林是一种集成学习方法，它通过构建多棵决策树并将其结果进行投票或平均，从而得到更稳健的分类结果。每棵树都是在不同的随机子集上训练出来的。
特点：
- 通过集成多个决策树来降低过拟合的风险。
- 可以处理大规模数据，具有较好的性能。
- 在很多应用中效果优异。
工作原理：
- 随机选择数据的子集来训练每一棵树（Bootstrap Aggregating，简称 Bagging）。
- 每棵树在训练时只考虑特征的一个随机子集，这进一步增加了随机性并减少了过拟合。
优点：
- 非常强大的分类器，通常比单一的决策树更准确。
- 处理高维数据时也表现良好。
- 对噪声不敏感。
缺点：
- 模型较复杂，较难解释。
- 训练和预测时计算开销较大。

from sklearn.ensemble import RandomForestClassifier

rfc = RandomForestClassifier()
rfc.fit(train_image,train_label)
predict = rfc.predict(test_image)
print("accuracy_score: %.4lf" % accuracy_score(predict,test_label))
print("Classification report for classifier %s:\n%s\n" % (rfc, classification_report(test_label, predict)))

5. Logistic Regression（逻辑回归）

概念：
逻辑回归是一种广泛使用的分类算法，尽管它的名字中有“回归”，但它实际上是一种分类方法。它通过学习特征与类别之间的关系，输出一个类别的概率值。
特点：
- 用于二分类问题（也可以扩展到多分类问题）。
- 模型简单，计算效率高。
- 输出概率值，适合进行概率预测。
工作原理：
- 假设特征和类别之间存在线性关系，通过 Sigmoid 函数将线性组合映射到 0 到 1 之间。
- 目标是最小化损失函数（如交叉熵），找到最佳的回归系数。
公式：
P(y=1∣X)=11+e−(wTX+b)P(y=1∣X)=1+e−(wTX+b)1
其中，XX 是特征向量，ww 是模型权重，bb 是偏置项，yy 是类别。
优点：
- 输出类别概率，适合概率预测。
- 训练速度快，且容易理解。
缺点：
- 仅适用于线性可分问题，对于非线性问题性能较差。

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression()
lr.fit(train_image,train_label)
predict = lr.predict(test_image)
print("accuracy_score: %.4lf" % accuracy_score(predict,test_label))
print("Classification report for classifier %s:\n%s\n" % (lr, classification_report(test_label, predict)))

6. Support Vector Machine (SVM)

概念：
支持向量机（SVM）是一种基于最大间隔分类的算法。它通过在特征空间中找到一个超平面来分隔不同类别的数据点，并尽可能最大化分类边界（即最大化类别之间的间隔）。
特点：
- 强大的分类能力，尤其在高维空间中表现良好。
- 适用于线性可分和非线性可分的情况（通过核技巧）。
- 对于小样本数据集有较好的表现。
工作原理：
- SVM 试图找到一个超平面，使得数据点到超平面的距离尽可能大（即最大化间隔）。这种超平面被称为最优超平面。
- 核技巧（Kernel Trick）可以将数据映射到更高维的空间，使得非线性可分问题转化为线性可分问题。
优点：
- 在高维空间中依然有效。
- 能够处理线性和非线性问题。
- 强大的分类性能，尤其是在数据量较少时。
缺点：
- 训练速度较慢，尤其是在大规模数据集上。
- 对于大数据集的处理较为困难。

from sklearn.svm import SVC

svc = SVC()
svc.fit(train_image,train_label)
predict = svc.predict(test_image)
print("accuracy_score: %.4lf" % accuracy_score(predict,test_label))
print("Classification report for classifier %s:\n%s\n" % (svc, classification_report(test_label, predict)))

原文地址：https://blog.csdn.net/wjm041006/article/details/144076600

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：探索 IntelliJ IDEA 中 Spring Boot 运行配置
下一篇：c++-用c++解决简单数学问题

Leetcode刷题笔记15
724. 寻找数组的中心下标238. 除自身以外数组的乘积974. 和可被 K 整除的子数组
阅读更多2024-11-28
自动驾驶目标检测融合全貌
4、asymmetry fusion 异步融合，用已经检测好的2d框投影原始3d点云，或者用像素给3d点云检测框上色，增加语义信息描述。1、early fusion 早期融合，特点用到几何空间转换3
阅读更多2024-11-28
Linux 系统优化实战指南
本指南将带您逐步完成 Linux 系统的优化过程，包括性能调优、安全加固和资源管理等方面。
阅读更多2024-11-28
Java中TimedCache缓存对象的详细使用
TimedCache是一个泛型类，它的主要作用通常是在一定时间范围内对特定键值对进行缓存，并且能够根据设定的时间策略来自动清理过期的缓存项。
阅读更多2024-11-28
【大数据学习 | Spark-SQL】Spark-SQL编程
上面的是SparkSQL的API操作。
阅读更多2024-11-28
【大数据学习 | Spark-SQL】SparkSQL读写数据
我们使用sparksql进行编程，编程的过程我们需要创建dataframe对象，这个对象的创建方式我们是先创建RDD然后再转换rdd变成为DataFrame对象。(1.列式存储，检索效率高，防止冗余查
阅读更多2024-11-28
数据库和缓存的数据一致性 -20241124
数据库和缓存存在不一致性，部分原因是因为数据库和缓存是独立的两部分。从设计上可能做了适配，但是总归有配合问题。如果数据库本身在设计上就考虑设计高并发缓存，我们在使用时就不用考虑一致性问题或者性能问题。
阅读更多2024-11-28
比特币与区块链原理解析：矿机挖矿与去中心化的未来
比特币（Bitcoin）是由一个名为“中本聪”（Satoshi Nakamoto）的匿名人物或团体于2008年11月1日提出并于2009年正式发布的数字货币。它的诞生起源于全球金融危机后的对中心化金融
阅读更多2024-11-28
Wordcloud+PyQt5写个词云图生成器1.0
WordCloud去掉停用词（fit_words+generate）的2种用法。使用WordCloud模块中repeat参数，做一个关键字重复的词云图。-------------词云图集合------
阅读更多2024-11-28
JSONArray 与Object 之间的转换
【代码】JSONArray 与Object 之间的转换。
阅读更多2024-11-28