【matlab】大数据基础与应用实例

计算机友好：计算机更擅长处理数字而不是文字或标签。使用独热编码，我们可以将分类数据转化为数值型数据，使得计算机能够更轻松地理解和处理。
防止大小关系误解：如果我们直接用数字来表示分类（如0、1、2等），计算机可能会误以为这些数字之间存在大小或顺序关系。独热编码避免了这种误解。
适用于各种算法：许多机器学习算法，尤其是涉及距离计算的算法（如K近邻算法），更适合处理数值型数据。独热编码将分类数据转换为二进制形式，使得这些算法能够更好地处理。
模型的需求：在深度学习等领域，神经网络的输入层通常期望是数值型数据。独热编码为我们提供了一种有效的方式，将分类数据转换为适用于神经网络的形式。

缺点

维度爆炸：独热编码会在原始特征的基础上引入大量的新特征，导致维度爆炸，特别是当分类数量较多时。这可能增加计算复杂性和存储空间需求。
不适用于高基数特征：当分类的类别数量非常大时，独热编码可能变得不切实际。这可能导致训练数据过于稀疏，影响模型的性能。
信息冗余：由于每个类别都有一个独立的特征，独热编码可能引入冗余信息。对于某些模型，这可能导致冗余特征的存在。
不考虑特征之间的关联性：独热编码将每个类别视为独立的特征，不考虑类别之间的关联性。这可能忽略了一些信息，特别是对于具有内在顺序关系的分类数据。

综上所述，独热编码是一种有效的数据预处理技术，能够将分类数据转换为适合机器学习算法处理的数值型数据。然而，在使用独热编码时需要注意其优缺点以及适用场景，并结合实际情况进行选择和调整。

数据收集

这里选择了电影相关数据集如图所示：

数据可视化

% 1、散点图，展示评分与评分人数的关系
figure;
scatter(data.Rating, data.NumRatings, 'filled');
xlabel('评分');
ylabel('评分人数');
title('电影评分与评分人数关系');

% 2、直方图，展示电影评分的分布
figure;
histogram(data.Rating, 'BinWidth', 0.5);
xlabel('评分');
ylabel('电影数量');
title('电影评分分布');

% 3、条形图，展示各个国家/地区电影数量
figure;
categories = categorical(data.CountryRegion);
uniqueCategories = unique(categories);
counts = histcounts(categories, 'Normalization', 'count');
bar(uniqueCategories, counts);
xlabel('国家/地区');
ylabel('电影数量');
title('各个国家/地区电影数量');

% 4、盒须图，展示电影时长的分布
figure;
boxplot(data.Duration);
ylabel('时长（分钟）');
title('电影时长分布');


% 5、饼状图，统计不同类型电影的数量
for i = 1:length(uniqueGenres)
    genreCounts(i) = sum(genres == uniqueGenres(i));
end
figure;
p = pie(genreCounts, uniqueGenres);
title('不同类型电影的分布');

数据处理与分析

对电影评分数据的预处理、特征编码、线性回归模型的训练和交叉验证，以及最后绘制实际评分与预测评分的对比图。

完整代码

clc;

% 读取Excel文件
data = readtable('data.xlsx');

%数据预处理
% 数据清洗，删除包含空值的行
data = rmmissing(data);
% 将中文列名映射到英文变量名
data.Properties.VariableNames = {'Movie', 'Year', 'Rating', 'NumRatings', 'Actors', 'Genre', 'CountryRegion', 'Duration'};
% 时长列是字符串，需要转换为数值
data.Duration = str2double(regexprep(data.Duration, '[^\d]', ''));
%将类别特征转换为数值特征
genres = string(data.Genre);  
uniqueGenres = unique(genres);
genreCounts = zeros(size(uniqueGenres));


%数据可视化
% 1、散点图，展示评分与评分人数的关系
figure;
scatter(data.Rating, data.NumRatings, 'filled');
xlabel('评分');
ylabel('评分人数');
title('电影评分与评分人数关系');

% 2、直方图，展示电影评分的分布
figure;
histogram(data.Rating, 'BinWidth', 0.5);
xlabel('评分');
ylabel('电影数量');
title('电影评分分布');

% 3、条形图，展示各个国家/地区电影数量
figure;
categories = categorical(data.CountryRegion);
uniqueCategories = unique(categories);
counts = histcounts(categories, 'Normalization', 'count');
bar(uniqueCategories, counts);
xlabel('国家/地区');
ylabel('电影数量');
title('各个国家/地区电影数量');


% 4、盒须图，展示电影时长的分布
figure;
boxplot(data.Duration);
ylabel('时长（分钟）');
title('电影时长分布');


% 5、饼状图，统计不同类型电影的数量
for i = 1:length(uniqueGenres)
    genreCounts(i) = sum(genres == uniqueGenres(i));
end
figure;
p = pie(genreCounts, uniqueGenres);
title('不同类型电影的分布');


% 确保年份,评分人数和时长列为数值类型
data.Year = str2double(string(data.Year));
data.NumRatings = str2double(string(data.NumRatings));
data.Duration = str2double(string(data.Duration));


% 数据预处理
% 使用独热编码（One-Hot Encoding）处理类型特征
genreMatrix = zeros(height(data), length(uniqueGenres));
for i = 1:height(data)
    genreIndices = ismember(uniqueGenres, strsplit(genres(i), ', '));
    genreMatrix(i, genreIndices) = 1;
end

% 组合所选特征
X = [data.Year, data.NumRatings, data.Duration, genreMatrix];
y = data.Rating;

% 标准化特征矩阵
X = normalize(X);

% 使用线性回归模型进行k折交叉验证
k = 5; % 5折交叉验证
cv = cvpartition(height(data), 'KFold', k);

mseValues = zeros(k, 1); % 存储每折的均方误差
yPredAll = cell(k, 1); 
for i = 1:k
    trainIdx = training(cv, i);
    testIdx = test(cv, i);
    
    % 训练模型
    model = fitlm(X(trainIdx, :), y(trainIdx));
    
    % 测试模型
    yPred = predict(model, X(testIdx, :));
    yPredAll{i} = yPred; % 存储每折的预测值
    
    % 计算均方误差
    mseValues(i) = mean((y(testIdx) - yPred).^2);
end

% 输出平均均方误差
averageMSE = mean(mseValues);
disp(['平均均方误差: ', num2str(averageMSE)]);

% 绘制实际值和预测值的曲线图
figure;
hold on;

% 初始化一个数组来存储所有实际值和预测值
allYActual = [];
allYPred = [];

for i = 1:k
    testIdx = test(cv, i);
    yActual = y(testIdx);
    yPred = yPredAll{i};
    
    % 检查向量长度是否一致
    if length(yActual) == length(yPred)
        allYActual = [allYActual; yActual]; % 将每折的实际值添加到总数组中
        allYPred = [allYPred; yPred];       % 将每折的预测值添加到总数组中
    else
        warning(['Fold ', num2str(i), ' 的预测值和实际值长度不匹配']);
    end
end

% 根据索引排序，以便绘制曲线图
[~, sortIdx] = sort(allYActual);
sortedYActual = allYActual(sortIdx);
sortedYPred = allYPred(sortIdx);

% 绘制曲线图
plot(sortedYActual, '-b', 'DisplayName', '实际值'); % 蓝色实线表示实际值
hold on;
plot(sortedYPred, '-r', 'DisplayName', '预测值');   % 红色实线表示预测值

xlabel('样本索引');
ylabel('评分');
title('实际值与预测值曲线图');
legend('show'); % 显示图例
hold off;

原文地址：https://blog.csdn.net/m0_58683132/article/details/140406909

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：大数据开发中的元数据：从基础到高级应用的全面指南
下一篇：爬虫管理：开启企业大数据时代的智能信息搜集

Java学习，基本数据类型
System.out.println("最小值：Double.MIN_VALUE=" + Double.MIN_VALUE);System.out.println("最小
阅读更多2024-11-17
创建第一个react项目
通过以上步骤，你已经成功创建并运行了你的第一个React项目。接下来，你可以继续探索React的更多功能，编写更复杂的组件和应用程序。希望这个教程对你有所帮助！如果有任何问题，欢迎随时提问。参考资料R
阅读更多2024-11-17
从零开始的c++之旅——二叉搜索树
这与之前实现的二叉树类似，只不过用上了模板跟构造函数，因为构造函数我们在后面需要用来生成节点。K _key;:_key(key){}//这里也能体现封装思想，不管我们如何实现的类此处我们只需定义成No
阅读更多2024-11-17
c/c++内存管理
int main()// new/delete 和 malloc/free最大区别是 new/delete对于【自定义类型】除了开空间还会调用构造函数和析构函数free(p1);delete p2;/
阅读更多2024-11-17
1、PyTorch介绍与张量的创建
【代码】1、PyTorch介绍与张量的创建。
阅读更多2024-11-17
‌REST风格（Representational State Transfer）
REST风格的核心思想是将Web应用程序的功能作为资源来表示，使用统一的标识符（URI）来对这些资源进行操作，并通过HTTP协议（如GET、POST、PUT、DELETE等）来定义对这些资源的操作。‌
阅读更多2024-11-17
软件测试 —— 自动化基础
自动化是指自动的代替人的行为完成操作，自动化在生活中可以说是随处可见，如：自动洒水机、自动洗手液等，这些生活中的自动案例有效的减少了我们人力的消耗，同时也提高了我们的生活质量，在我们软件中的自动化测试
阅读更多2024-11-17
Python爬虫下载新闻，Flask展现新闻（2）
Python爬虫下载新闻和Flask展现新闻的主要技术
阅读更多2024-11-17
【CSS in Depth 2 精译_057】第九章 CSS 的模块化与作用域 + 9.1 CSS 模块的定义（上）
本篇为《CSS in Depth》全新第2版9.1小节内容的上篇，主要介绍了 CSS 模块化的产生背景及相关概念，并结合上一节层叠图层（cascade layer）的知识，通过一个简单的 messag
阅读更多2024-11-17
分布式事务seata基于docker安装和项目集成seata
分布式系统节点通过网络连接，一定会出现分区问题（P）当分区出现时,系统的一致性和可用性就无法同时满足cp-->不同节点的角色不同ap-->不同节点的角色相同。
阅读更多2024-11-17

【matlab】大数据基础与应用实例

引言

线性回归模型

基本形式

最小二乘法

多元线性回归

线性回归的假设

模型评估

应用

独热编码

原理

应用场景

优点

缺点

数据收集

数据可视化

数据处理与分析

完整代码

相关文章