自学内容网 自学内容网
自学内容网 > 正文

cnn突破八（两层卷积核bpnet网络扩展）

🕗 发布于 2024-10-09 08:53 cnn  人工智能  神经网络  

cnn突破七中x【？】怎么求？我们举个例子：

接着cnn突破七：

hicnn【】来自temphicnn【】2*2最大池化：

temphicnn[0]+=x[i=0,j=0,5*5方阵]*w1cnn[0-24]，

hicnn是5*5的，temphicnn是10*10的，x是14*14的。

hicnn【1】来自temphicnn【2】【3】【12】【13】，一一对应池化中的位置（0,0）（0,1）（1,0）（1,1），假定（1,1）最大，即13=（第二行=1，第四列=3），即temphicnn【13=1*10+3】最大，对应x【17=1*14+3】

所以，一个hicnn对应一个hocnn，一个hocnn【1】对应25个w1cnn更新：

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*x[17];（公式最后两项关键，其他省略，可以看前头）

\frac{\partial E}{\partial w1cnn[1]}=.....ds(hocnn[1])*x[18];

\frac{\partial E}{\partial w1cnn[2]}=.....ds(hocnn[1])*x[19];

\frac{\partial E}{\partial w1cnn[3]}=.....ds(hocnn[1])*x[20];

\frac{\partial E}{\partial w1cnn[4]}=.....ds(hocnn[1])*x[21];卷积核第一行结束，开始第二行

\frac{\partial E}{\partial w1cnn[5]}=.....ds(hocnn[1])*x[17+14];

......

hicnn【0】来自temphicnn【0】【1】【10】【11】，一一对应池化中的位置（0,0）（0,1）（1,0）（1,1），假定（1,0）最大,即10=(第二行=1，第一列=0)，即temphicnn【10=1*10+0】最大，对应x【14=1*14+0】

所以，一个hicnn对应一个hocnn，一个hocnn【0】对应25个w1cnn更新：

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[0])*x[14];

\frac{\partial E}{\partial w1cnn[1]}=.....ds(hocnn[0])*x[15];

\frac{\partial E}{\partial w1cnn[2]}=.....ds(hocnn[0])*x[16];

\frac{\partial E}{\partial w1cnn[3]}=.....ds(hocnn[0])*x[17];

\frac{\partial E}{\partial w1cnn[4]}=.....ds(hocnn[0])*x[18];卷积核第一行结束，开始第二行

\frac{\partial E}{\partial w1cnn[5]}=.....ds(hocnn[0])*x[14+14];

......

有公式套就是好！这样我们cnn中的卷积核就在反向传播中更新了，我们这个卷积核cnn相当于四层bpnet网络，我们通过一个5*5的卷积核，把整个过程展现出来了！我们的网络结构是：

14*14-》4@10*10-》4@5*5-》80-》10，我们展示了一个卷积核，那么就是：

14*14-》10*10-》5*5-》80-》10，我们的hocnn有5*5个，其中一个就会更新一次5*5的w1cnn卷积核。

下面我们考虑28*28->4@24*24->4@12*12->16@8*8->16@4*4->80->10这个网络结构，

28*28->4@24*24是第一次4个5*5卷积核，

4@12*12->16@8*8是第二次4个5*5卷积核，

这个太复杂，我们化繁为简：

28*28->24*24->12*12->8*8->4*4->80->10

你有没有发现12*12->8*8->4*4->80->10和我们上面的一个卷积核的cnn一样？再看看：

14*14->10*10->5*5->80->10，是的，这个我们已经搞定，我记着为A=12*12->8*8->4*4->80->10那么：

28*28->24*24->12*12->8*8->4*4->80->10

就变成：28*28->24*24->A

我们A中的输入图像是x【】对吧！我们28*28要用，所以A的这个我们记着为hxo【】，好，我们简化网络：

28*28-》12*12-》4*4-》80-》10，显然这是一个5层网络，有扩展了，更复杂了，但我们要简单化：28*28处的卷积核我们记着为：w784【】，那么就有

x【】*w784【】-》sigmod（hxi【】）=hxo【】-》HIcnn，

hxo【】*w1cnn【25】=HIcnn-》sigmod（HIcnn）=HOcnn-》H2I，

hocnn【】*w12cnn【】=H2I-》sigmod（H2I）=H2O-》YI，

h2o【】*w2cnn【】=YI-》sigmod（YI）=YO，d【】是期望

其实我们写了这么多，我们只要在backward中实现：

x【】*w784【】-》sigmod（hxi【】）=hxo【】-》HI，

这一段的推导就可以了。还记得我们的四层网络公式吧：

\frac{\partial E}{\partial w1cnn[i]}=\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m，k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*x[i->？]

我们在五层卷积核中找到了规律，这样替换他：

我们令B=\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m，k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])

\frac{\partial E}{\partial w784[i]}=B*\frac{\partial hicnn[]}{\partial hxo[]}*\frac{\partial hxo[]}{\partial hxi[]}*\frac{\partial hxi[]}{\partial w784[i]}

=B*w1cnn[25]*ds(hxo[])*x[i]

= \sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m，k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*w1cnn[25]*ds(hxo[])*x[i]

;这个x[i]，我们说了是28*28图像，其实，我们现在要细化的就是：

\frac{\partial E}{\partial w784[i]}=......w1cnn[25]*ds(hxo[])*x[i=?]

我们先看看四层网络：\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*x[17];

这个x【17】在这五层网络里被替换为hxo【17】；

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*hxo[17];（在五层里未必是1和17对应，这里我们重点看符号的对应）

那么五层网络公式：

\frac{\partial E}{\partial w784[i]}=......ds(hocnn[j=1])*w1cnn[25]*ds(hxo[17])*x[i]就能看清楚？每一个hocnn[j]都会更新一次w1cnn，我们调整一下：

\frac{\partial E}{\partial w784[i]}=......w1cnn[25]*ds(hocnn[j=1])*ds(hxo[17])*x[i=?]

这里的关键是我们通过每一个hocnn[j]找到与hxo【？】的对应，

那么我们就能找到hxo【？】与x【i=？】的对应。

这个关系我们在四层网络中找到了呼应，就像递归一样，我们又要把找到的那个公式用起来，

实际就是这么一回事！

也就是说，我们在四层网络已经找过了hocnn和hxo的关系，现在要找hxo和x【i=？】的关系，仿照四层，我们用一样的办法就能搞定。

下一节我们用程序示范一下。


原文地址：https://blog.csdn.net/ganggangwawa/article/details/142765718

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024