自学内容网 自学内容网

Tensor在神经网络中的角色

目录

Tensor在神经网络中的角色 

实现权重聚合的算法

1. Tensor的基本概念

2. Tensor的数据结构举例

一维Tensor(向量)

二维Tensor(矩阵)

三维及以上Tensor

3. Tensor的内部结构

4. Tensor的操作

Tensor数据结构示例

示例Tensor内容(部分)

model.state_dict()函数

state_dict有那些不同参数

1. 权重(Weights)

2. 偏置(Biases)

3. Batch Normalization参数(如果模型中包含)

4. 其他可能的参数

注意事项

Tensor数据结构例子

1. 词嵌入(Word Embedding)

2. 模型参数

3. 激活函数输出


Tensor在神经网络中的角色 

在神经网络中,tensor(张量)是一个核心概念,扮演着数据容器的角色。张量可以看作是标量、向量和矩阵的高维推广,能够存储多维数组的数据。在神经网络中,张量通常用于表示输入数据、权重、偏置项、激活值、梯度以及最终的输出等

假设我们有一个简单的全连接神经网络(也称为密集连接层或线性层),它用于处理二维输入数据(例如,图像的灰度值或特征向量)。

  1. 输入层:输入数据被表示为一个张量,其形状可能为 [batch_size, input_features],其中 batch_size 是批量中样本的数量,input_features 是每个样本的特征数。

  2. 权重和偏置:权重(weights)和偏置(biases)也被表示为张量。权重的形状通常为 [input_features, output_features],表示从输入特征到输出特征的连接强度;偏置的形状为 [output_features],用


原文地址:https://blog.csdn.net/qq_38998213/article/details/140687168

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!