Softmax多分类(机器学习)

🕗 发布于 2024-07-21 06:21 机器学习 分类

之前的逻辑回归只能进行二分类。

我们现在使用Softmax进行多分类。

假如我们有的y有4个可选结果(如优秀、良好、及格、不及格)。

x是我们的输入

$z_{1} = \vec{w}_{1}\cdot \vec{x}+b_{1}$

$z_{2} = \vec{w}_{2}\cdot \vec{x}+b_{2}$

$z_{3} = \vec{w}_{3}\cdot \vec{x}+b_{3}$

$z_{4} = \vec{w}_{4}\cdot \vec{x}+b_{4}$

上面的z是通过输入，计算出的在这4个维度上的“中间值”。

$a_{1}=\frac{e^{z_{1}}}{e^{z_{1}}+e^{z_{2}}+e^{z_{3}}+e^{z_{4}}}=P(y=1|\vec{x})$

$a_{2}=\frac{e^{z_{2}}}{e^{z_{1}}+e^{z_{2}}+e^{z_{3}}+e^{z_{4}}}=P(y=2|\vec{x})$

$a_{3}=\frac{e^{z_{3}}}{e^{z_{1}}+e^{z_{2}}+e^{z_{3}}+e^{z_{4}}}=P(y=3|\vec{x})$

$a_{4}=\frac{e^{z_{4}}}{e^{z_{1}}+e^{z_{2}}+e^{z_{3}}+e^{z_{4}}}=P(y=4|\vec{x})$

经过这样处理，可以得到预测值为各数的概率。

推广：

$z_{j}=\vec{w}_{j}\cdot\vec{x}+b_{j}\\ a_{j}=\frac{e^{z_{j}}}{\sum_{k=1}^{N}e^{z_{k}}}=P(y=j|\vec{x})$

接下来定义损失函数:

$loss(a_{1},...,a_{N},y)=\left\{\begin{matrix} -loga_{1} ,if \quad y =1\\ -loga_{2} ,if \quad y =2 \\ ... \\-loga_{N} ,if \quad y =N \end{matrix}\right.$

然后看一下Softmax在神经网络中的应用：

此时我们最后一层有10个神经元，那么输出向量也是10维的。

那么我们也应该有：
$z^{[3]}_{1}=\vec{w}^{[3]}_{1}\cdot\vec{a}^{[2]}+b^{[3]}_{1}\\ a^{[3]}_{1}=\frac{e^{z^{[3]}_{1}}}{e^{z^{[3]}_{1}}+...e^{z^{[3]}_{10}}}=P(y=1|\vec{x})$

以此类推。

原文地址：https://blog.csdn.net/2303_77275067/article/details/140567654

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：C语言中值滤波函数
下一篇：JVM：JavaAgent技术

[SDX35+WCN6856]SDX35 + WCN6856 WiFi可以up起来之后无法扫描到SSID
WCN6856 器件是一款高度集成的片上系统（SoC）支持 802.11ax Wi-Fi 和蓝牙（BT） 5.3。这WCN6856 支持在 2.4 GHz 和 5 GHz 上同时运行5GHz 或
阅读更多2024-09-20
WSL中使用VMD图形化界面
【代码】WSL中使用VMD图形化界面。
阅读更多2024-09-20
Git提交类型
Git提交类型
阅读更多2024-09-20
【AI小项目5】使用 KerasNLP 对 Gemma 模型进行 LoRA 微调
本项目使用 KerasNLP 对 Gemma 模型进行 LoRA 微调，为了快速验证微调的效果，仅在数据集的一个小子集上进行了一个周期的微调，并使用了较低的 LoRA 秩值。取得了显著的改进效果。
阅读更多2024-09-20
用户态缓存：环形缓冲区（Ring Buffer）
环形缓冲区是一种高效的数据结构，广泛应用于生产者-消费者模型中。在网络通信中，尤其是用户态缓存区中，环形缓冲区通过循环使用固定大小的内存区域，减少数据移动和内存管理开销，提升数据传输效率。#endif
阅读更多2024-09-20
操作数据库
映射到一个对象上，需要新建一个model包-这里存放的是模型，所以设置user，对应数据库里表内容（列），因为这三个属性对应的数据类型如下。UserService的getinfo---->借用连
阅读更多2024-09-20
字符串长度
如果不给你数组长度，读入一个数组怎么半int target;题目1：输入，一个钱总数target，一行面值的钱输出，凑成钱总数的最小个数二维背包方法。
阅读更多2024-09-20
Intel架构的基本知识
32位模式下最多能指定16383个段，各段的最大大小为2^32字节。64位模式下采用了平坦模型，因此可以使用64位线性地址。不能使用分段式内存模型。
阅读更多2024-09-20
用 JS 实现一个发布订阅模式
在JavaScript中，发布订阅模式（Pub/Sub）是一种常用的设计模式，用于实现不同组件之间的解耦通信。在这种模式中，发布者（Publisher）不直接给订阅者（Subscriber）发送消息，
阅读更多2024-09-20
Bitset类
Bitset是使用二进制数字来存数字，比如原本要使用一个int的10需要4字节空间，现在使用Bitset保存这个10则是把32个0的第十个0变为1则表示第十个数字存在于Bitset中。也就是说Bits
阅读更多2024-09-20

Softmax多分类(机器学习)

相关文章