自学内容网 自学内容网

【matlab】大数据基础与应用实例

目录

引言

线性回归模型

基本形式

最小二乘法

多元线性回归

线性回归的假设

模型评估

应用

独热编码

原理

应用场景

优点

缺点

数据收集

数据可视化

数据处理与分析

完整代码


引言

线性回归模型

线性回归模型是一种用于预测连续值输出(或称为因变量)的统计方法,它基于一个或多个自变量(或称为解释变量、特征)与因变量之间的线性关系。在线性回归中,我们假设因变量与自变量之间的关系可以通过一个线性方程来描述,即因变量是自变量的线性组合加上一个误差项。

基本形式

线性回归模型的基本形式可以表示为:

y=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_nx_n+\epsilon

其中:

  • y 是因变量(预测目标)。
  • β0​ 是截距项(或称为常数项)。
  • β1​,β2​,…,βn​ 是回归系数(或称为斜率),它们表示了各自变量对因变量的影响程度。
  • x1​,x2​,…,xn​ 是自变量(特征)。
  • ϵ 是误差项,表示模型未能捕捉到的变异或随机噪声。
最小二乘法

线性回归模型通常使用最小二乘法(Least Squares Method)来估计回归系数 β0​,β1​,…,βn​。最小二乘法的目标是找到一组回归系数,使得预测值与实际值之间的平方误差和(即残差平方和,RSS)最小。

多元线性回归

当模型包含多个自变量时,称为多元线性回归。在多元线性回归中,我们同样使用最小二乘法来估计回归系数,但需要考虑多个自变量之间的相互作用。

线性回归的假设

线性回归模型的有效性基于以下假设:

  1. 线性关系:自变量与因变量之间存在线性关系。
  2. 独立性:观测值之间相互独立。
  3. 同方差性:误差项 ϵ 的方差在所有观测值中都是相同的。
  4. 正态性:误差项 ϵ 服从正态分布。
模型评估

线性回归模型的性能可以通过多种指标来评估,包括但不限于:

  • 均方误差(MSE):预测值与实际值之差的平方的平均值。
  • 均方根误差(RMSE):MSE的平方根,与原始数据的量纲相同,便于理解。
  • 决定系数(R²):表示模型预测值与实际值之间的拟合程度,取值范围从0到1,值越大表示模型拟合得越好。
应用

线性回归模型广泛应用于各种领域,如经济学、统计学、工程学和自然科学等,用于预测、趋势分析和因果推断等。

独热编码

独热编码(One-Hot Encoding),又称一位有效编码,是数据预处理中常用的一种技术,主要用于处理分类数据。在机器学习和数据科学领域,独热编码是一种将分类变量(离散特征、无序特征)转换为数值型数据的方法,以便机器学习算法能够处理。以下是对独热编码的详细介绍:

原理

独热编码使用N位状态寄存器来对N个状态进行编码,每个状态都有其独立的寄存器位,且在任意时刻,只有一位是有效的(即设置为1),其余位都是0。这种方法通过将每个分类值映射到一个唯一的二进制向量上,确保模型正确理解非数值分类特征,同时避免了模型错误地解释分类值之间可能存在的数值关系。

应用场景

独热编码特别适用于处理那些具有明确、有限且通常不带有数值意义的分类值的数据。例如,在性别特征中,“男”和“女”之间没有数值上的大小或顺序关系;在颜色特征中,“红”、“绿”和“蓝”也是纯粹的分类标签,没有隐含的数值含义。

优点
  1. 计算机友好:计算机更擅长处理数字而不是文字或标签。使用独热编码,我们可以将分类数据转化为数值型数据,使得计算机能够更轻松地理解和处理。
  2. 防止大小关系误解:如果我们直接用数字来表示分类(如0、1、2等),计算机可能会误以为这些数字之间存在大小或顺序关系。独热编码避免了这种误解。
  3. 适用于各种算法:许多机器学习算法,尤其是涉及距离计算的算法(如K近邻算法),更适合处理数值型数据。独热编码将分类数据转换为二进制形式,使得这些算法能够更好地处理。
  4. 模型的需求:在深度学习等领域,神经网络的输入层通常期望是数值型数据。独热编码为我们提供了一种有效的方式,将分类数据转换为适用于神经网络的形式。
缺点
  1. 维度爆炸:独热编码会在原始特征的基础上引入大量的新特征,导致维度爆炸,特别是当分类数量较多时。这可能增加计算复杂性和存储空间需求。
  2. 不适用于高基数特征:当分类的类别数量非常大时,独热编码可能变得不切实际。这可能导致训练数据过于稀疏,影响模型的性能。
  3. 信息冗余:由于每个类别都有一个独立的特征,独热编码可能引入冗余信息。对于某些模型,这可能导致冗余特征的存在。
  4. 不考虑特征之间的关联性:独热编码将每个类别视为独立的特征,不考虑类别之间的关联性。这可能忽略了一些信息,特别是对于具有内在顺序关系的分类数据。

综上所述,独热编码是一种有效的数据预处理技术,能够将分类数据转换为适合机器学习算法处理的数值型数据。然而,在使用独热编码时需要注意其优缺点以及适用场景,并结合实际情况进行选择和调整。

数据收集

这里选择了电影相关数据集如图所示:

数据可视化

% 1、散点图,展示评分与评分人数的关系
figure;
scatter(data.Rating, data.NumRatings, 'filled');
xlabel('评分');
ylabel('评分人数');
title('电影评分与评分人数关系');

% 2、直方图,展示电影评分的分布
figure;
histogram(data.Rating, 'BinWidth', 0.5);
xlabel('评分');
ylabel('电影数量');
title('电影评分分布');

% 3、条形图,展示各个国家/地区电影数量
figure;
categories = categorical(data.CountryRegion);
uniqueCategories = unique(categories);
counts = histcounts(categories, 'Normalization', 'count');
bar(uniqueCategories, counts);
xlabel('国家/地区');
ylabel('电影数量');
title('各个国家/地区电影数量');

% 4、盒须图,展示电影时长的分布
figure;
boxplot(data.Duration);
ylabel('时长(分钟)');
title('电影时长分布');


% 5、饼状图,统计不同类型电影的数量
for i = 1:length(uniqueGenres)
    genreCounts(i) = sum(genres == uniqueGenres(i));
end
figure;
p = pie(genreCounts, uniqueGenres);
title('不同类型电影的分布');

数据处理与分析

对电影评分数据的预处理、特征编码、线性回归模型的训练和交叉验证,以及最后绘制实际评分与预测评分的对比图。

完整代码

clc;

% 读取Excel文件
data = readtable('data.xlsx');

%数据预处理
% 数据清洗,删除包含空值的行
data = rmmissing(data);
% 将中文列名映射到英文变量名
data.Properties.VariableNames = {'Movie', 'Year', 'Rating', 'NumRatings', 'Actors', 'Genre', 'CountryRegion', 'Duration'};
% 时长列是字符串,需要转换为数值
data.Duration = str2double(regexprep(data.Duration, '[^\d]', ''));
%将类别特征转换为数值特征
genres = string(data.Genre);  
uniqueGenres = unique(genres);
genreCounts = zeros(size(uniqueGenres));


%数据可视化
% 1、散点图,展示评分与评分人数的关系
figure;
scatter(data.Rating, data.NumRatings, 'filled');
xlabel('评分');
ylabel('评分人数');
title('电影评分与评分人数关系');

% 2、直方图,展示电影评分的分布
figure;
histogram(data.Rating, 'BinWidth', 0.5);
xlabel('评分');
ylabel('电影数量');
title('电影评分分布');

% 3、条形图,展示各个国家/地区电影数量
figure;
categories = categorical(data.CountryRegion);
uniqueCategories = unique(categories);
counts = histcounts(categories, 'Normalization', 'count');
bar(uniqueCategories, counts);
xlabel('国家/地区');
ylabel('电影数量');
title('各个国家/地区电影数量');


% 4、盒须图,展示电影时长的分布
figure;
boxplot(data.Duration);
ylabel('时长(分钟)');
title('电影时长分布');


% 5、饼状图,统计不同类型电影的数量
for i = 1:length(uniqueGenres)
    genreCounts(i) = sum(genres == uniqueGenres(i));
end
figure;
p = pie(genreCounts, uniqueGenres);
title('不同类型电影的分布');


% 确保年份,评分人数和时长列为数值类型
data.Year = str2double(string(data.Year));
data.NumRatings = str2double(string(data.NumRatings));
data.Duration = str2double(string(data.Duration));


% 数据预处理
% 使用独热编码(One-Hot Encoding)处理类型特征
genreMatrix = zeros(height(data), length(uniqueGenres));
for i = 1:height(data)
    genreIndices = ismember(uniqueGenres, strsplit(genres(i), ', '));
    genreMatrix(i, genreIndices) = 1;
end

% 组合所选特征
X = [data.Year, data.NumRatings, data.Duration, genreMatrix];
y = data.Rating;

% 标准化特征矩阵
X = normalize(X);

% 使用线性回归模型进行k折交叉验证
k = 5; % 5折交叉验证
cv = cvpartition(height(data), 'KFold', k);

mseValues = zeros(k, 1); % 存储每折的均方误差
yPredAll = cell(k, 1); 
for i = 1:k
    trainIdx = training(cv, i);
    testIdx = test(cv, i);
    
    % 训练模型
    model = fitlm(X(trainIdx, :), y(trainIdx));
    
    % 测试模型
    yPred = predict(model, X(testIdx, :));
    yPredAll{i} = yPred; % 存储每折的预测值
    
    % 计算均方误差
    mseValues(i) = mean((y(testIdx) - yPred).^2);
end

% 输出平均均方误差
averageMSE = mean(mseValues);
disp(['平均均方误差: ', num2str(averageMSE)]);

% 绘制实际值和预测值的曲线图
figure;
hold on;

% 初始化一个数组来存储所有实际值和预测值
allYActual = [];
allYPred = [];

for i = 1:k
    testIdx = test(cv, i);
    yActual = y(testIdx);
    yPred = yPredAll{i};
    
    % 检查向量长度是否一致
    if length(yActual) == length(yPred)
        allYActual = [allYActual; yActual]; % 将每折的实际值添加到总数组中
        allYPred = [allYPred; yPred];       % 将每折的预测值添加到总数组中
    else
        warning(['Fold ', num2str(i), ' 的预测值和实际值长度不匹配']);
    end
end

% 根据索引排序,以便绘制曲线图
[~, sortIdx] = sort(allYActual);
sortedYActual = allYActual(sortIdx);
sortedYPred = allYPred(sortIdx);

% 绘制曲线图
plot(sortedYActual, '-b', 'DisplayName', '实际值'); % 蓝色实线表示实际值
hold on;
plot(sortedYPred, '-r', 'DisplayName', '预测值');   % 红色实线表示预测值

xlabel('样本索引');
ylabel('评分');
title('实际值与预测值曲线图');
legend('show'); % 显示图例
hold off;


原文地址:https://blog.csdn.net/m0_58683132/article/details/140406909

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!