自学内容网 自学内容网
自学内容网 > 正文

机器学习笔记-2

🕗 发布于 2024-10-10 09:20 机器学习  笔记  人工智能  

文章目录

一、Linear model

线性模型过于简单，有很大限制，我们需要更多复杂模式
在这里插入图片描述

蓝色是线性模型，线性模型无法去表示红色的那个线
所以线性模型有严重的局限性这被成为
Model Bias(模型偏差)

我们需要一个复杂的有位置参数的function
在这里插入图片描述

所有分段线性曲线=常数+多个分段线性函数的叠加

在这里插入图片描述

二、How to represent this function

用这个Sigmoid function来逼近这条蓝色的Hard Sigmoid function
在这里插入图片描述

例：
分别改变w，b，c

在这里插入图片描述

假设要写出红色的这条线
在这里插入图片描述

从简单模型到复杂模型

在这里插入图片描述

初始线性回归模型

引入非线性（sigmoid 函数）：将模型扩展为使用 sigmoid 激活函数引入更多权重和偏移

多特征线性模型：在此基础上，模型扩展为多输入特征

多特征与非线性结合：非线性函数 sigmoid 被应用在多个输入特征的线性组合上

通过多个输入特征和权重计算激活函数
在这里插入图片描述
简化成矩阵

在这里插入图片描述

将线性加权求和的结果通过非线性激活函数进行转换。

在这里插入图片描述

最后输出计算

在这里插入图片描述

在这里插入图片描述
最后用线性代数得到式子

在这里插入图片描述

三、Function with unknown parameter

将神经网络中的所有权重和偏置统一为一个参数向量 𝜃，便于进行优化

在这里插入图片描述

ML框架

在这里插入图片描述

定Loss

在这里插入图片描述

新模型优化

在这里插入图片描述
通过梯度下降法优化模型参数 𝜃 来最小化损失函数L。

在这里插入图片描述

找到最优的𝜃使L值最小

在这里插入图片描述

四、ReLU

在这里插入图片描述
也可以用ReLU，将Sigmoid的地方换成ReLU

在这里插入图片描述

例：

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

总结、A fancy name

我们给这些起了一个好听的名字
Neuron
Neuron Network
Deep Learning
在这里插入图片描述

发展变化

在这里插入图片描述


原文地址：https://blog.csdn.net/qq_46302361/article/details/142779500

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024