自学内容网 自学内容网
自学内容网 > 正文

LLM 的储备知识

🕗 发布于 2024-07-23 13:31 llama  

GPT一代

  • 模型堆叠了12个解码器层。由于在这种设置中没有编码器，这些解码器层将不会有普通transformer解码器层所具有的编码器-解码器注意力子层。但是，它仍具有自注意力层。

在这里插入图片描述
训练过程
在这里插入图片描述
Transformer Decoder 结构
在这里插入图片描述

  • 编码器（6 layers）
    • 多头自注意神经网络
    • 全连接神经网络
    • Residual Connections and Layer Normalization

  • 解码器（6 layers）
    • 掩码多头自注意神经网络
    • 多头注意力机制
    • 全连接神经网络
    • Residual Connections and Layer Normalization
    n Softmax层权值矩阵与目标语言词向量矩阵共享参数。

在这里插入图片描述


原文地址：https://blog.csdn.net/weixin_55982578/article/details/140519612

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

  • [SDX35+WCN6856]SDX35 + WCN6856 WiFi可以up起来之后无法扫描到SSID

    WCN6856 器件是一款高度集成的片上系统（SoC） 支持 802.11ax Wi-Fi 和蓝牙 （BT） 5.3。这WCN6856 支持在 2.4 GHz 和 5 GHz 上同时运行5GHz 或

    阅读更多2024-09-20
  • WSL中使用VMD图形化界面

    【代码】WSL中使用VMD图形化界面。

    阅读更多2024-09-20
  • Git提交类型

    Git提交类型

    阅读更多2024-09-20
  • 【AI小项目5】使用 KerasNLP 对 Gemma 模型进行 LoRA 微调

    本项目使用 KerasNLP 对 Gemma 模型进行 LoRA 微调，为了快速验证微调的效果，仅在数据集的一个小子集上进行了一个周期的微调，并使用了较低的 LoRA 秩值。取得了显著的改进效果。

    阅读更多2024-09-20
  • 用户态缓存：环形缓冲区（Ring Buffer）

    环形缓冲区是一种高效的数据结构，广泛应用于生产者-消费者模型中。在网络通信中，尤其是用户态缓存区中，环形缓冲区通过循环使用固定大小的内存区域，减少数据移动和内存管理开销，提升数据传输效率。#endif

    阅读更多2024-09-20
  • 操作数据库

    映射到一个对象上，需要新建一个model包-这里存放的是模型，所以设置user，对应数据库里表内容（列），因为这三个属性对应的数据类型如下。UserService的getinfo---->借用连

    阅读更多2024-09-20
  • 字符串长度

    如果不给你数组长度，读入一个数组怎么半int target;题目1：输入，一个钱总数target，一行面值的钱输出，凑成钱总数的最小个数二维背包方法。

    阅读更多2024-09-20
  • Intel架构的基本知识

    32位模式下最多能指定16383个段，各段的最大大小为2^32字节。64位模式下采用了平坦模型，因此可以使用64位线性地址。不能使用分段式内存模型。

    阅读更多2024-09-20
  • 用 JS 实现一个发布订阅模式

    在JavaScript中，发布订阅模式（Pub/Sub）是一种常用的设计模式，用于实现不同组件之间的解耦通信。在这种模式中，发布者（Publisher）不直接给订阅者（Subscriber）发送消息，

    阅读更多2024-09-20
  • Bitset类

    Bitset是使用二进制数字来存数字，比如原本要使用一个int的10需要4字节空间，现在使用Bitset保存这个10则是把32个0的第十个0变为1则表示第十个数字存在于Bitset中。也就是说Bits

    阅读更多2024-09-20
自学内容网
Copyright © 2015-2024