大语言模型LLM综述

一、LM主要发展阶段

1.1、统计语言模型SLM

基于统计学习方法，基本思想是基于马尔可夫假设HMM建立词概率预测模型。如n-gram语言模型

1.2、神经语言模型NLM

基于神经网络来做词的分布式表示。如word2vec模型

1.3、 预训练语言模型PLM

 预训练一个网络模型来做词表示，然后根据任务微调网络模型。即“预训练+微调”学习范式。如BERT、GPT-2

1.4、 大语言模型LLM

扩展预训练模型PLM，参数达到百亿级别及以上，模型出现涌现能力，如GPT-3，显著应用ChatGPT

二、 LLM基本概念和技术

2.1 LLM模型架构

- LLM主要采用基于Transformer模型架构和预训练目标构建。但它大幅扩展了模型大小、预训练数据和总计算量，可以更好地根据上下文理解自然语言并生成高质量的文本。

2.2 “涌现能力”

2.2.1上下文学习能力：

假设提供给语言模型自然语言指令或多个任务演示，它可以为测试实例生成期望的输出，无需额外的训练。

2.2.2 指令遵循能力：

通过指令微调 ，LLM可以在未见任务上遵循任务指令，具有更好的泛化能力。

2.2.3逐步推理：

通过采用“思维链”推理策略，LLM可以利用包含中间推理步骤的提示机制来解决任务。

2.3 LLM关键技术

- 扩展：将模型参数规模提升到百亿、千亿级别。在模型大小、数据大小、总运算量上的扩展。
- 训练：训练稳定性、混合精度训练的分布式训练框架。
- 能力引导：通过设计合适的任务指令或上下文学习策略激发LLM的任务求解能力。
- 对齐微调：使LLM与人类价值观保持一致，如有用性、诚实性、无害性。
- 工具操作：为解决不适合以文本形式表达的任务而设计和扩展的外部插件。

2.4 LLM模型资源

2.4.1公开的模型

    - 百亿参数级别的模型

        - LLaMA、NLLB、PanGu-a

    - 千亿参数级别的模型

        - OPT、OPT-IML、BLOOM、GPT-3、GLM

2.4.2 公共API

    - GPT-3系列模型的API接口： ada、babbage、curie、 davinci等
    - GPT -4模型API接口：gpt-4、gpt-4-0314、gpt-4-32k、gpt-4-32k-0314
    - chatGPT接口: gpt-3.5-turbo-o301

2.4.3 常用语料库

    - BOOKs 、Butenberg：有上万本文学作品、电子书的开源书籍集合。
CommonCrawl： 网络爬虫数据库
Reddit Links：社交媒体语料库
Wikipedia：在线百科全书
Code：网络上爬取的开源许可的代码。
    - GPT-3使用的预训练语料库: CommonCrawl、WebText2、Books1、Books2、Wikipedia

2.4.4 算法库资源

- Transformers：Hugging Face
- DeepSpeed： Microsoft
- Megatron-LM： NVIDIA
- JAX：Google
- FastMoE 

三、 如何预训练LLM

3.1 数据收集

3.1.1 语料库来源

    - 通用文本数据： 网页、对话文本、书籍
    - 专用文本数据：多语言文本、科学文本(如论文、教材等)、代码

3.1.2 数据预处理

    - 质量过滤： 删除低质量数据。

       (1) 基于分类器的方法
       (2)基于启发式的方法:  基于语言的过滤、基于度量的过滤、基于统计的过滤、基于关键词的过滤

    - 去重： 在句子级、文档级、数据集级等不同粒度上去重。

    - 隐私去除： 删除可识别的个人信息PII，一般采用基于规则的方法
    - 分词：将文本分割成词序列。SentencePiece、Byte Pair Encoding(BPE)算法

3.2 架构设计

3.2.1 主流架构

    (1) 编码器-解码器架构： Transformer架构是目前各LLM的事实标准骨干。
    (2) 因果解码器架构： 采用单向注意力掩码，每个输入标记只关注过去的标记和它本身。输入和输出通过解码器以相同的方式进行处理。GPT系列模型基于此架构。
    (3) 前缀解码器： 也称为非因果解码器架构，修正了因果解码器的掩码机制，使其能够对前缀标记执行双向注意力，并对生成的标记执行单向注意力。模型有GLM-130B、U-PaLM
    (4) 专家混合MoE

3.2.2 详细配置

    (1)标准化： 为了缓解LLM预训练的不稳定问题，设计了层标准化LN。前置LN、RMS Norm、DeepNorm
    (2)激活函数： 广泛使用GeLU激活函数，GLU激活函数变体，如SwiGLU 、GeGLU等。
    (3) 位置编码： a.绝对位置编码：正弦函数、学习的位置编码； 
               b.相对位置编码：RoPE算法
    (4) 注意力机制和偏差： 原始的Transformer是全自注意力机制，GPT-3采用了稀疏注意力机制，即分解注意力，计算复杂度更低。

3.2.3 预训练任务

    (1) 语言模型LM：基于序列前面的标记x,自回归地预测目标标记xi。

        训练目标为最大化似然函数L(x)=sum(logP(xi|x<i))
    (2) 去噪自编码DAE： 任务的输入是一些有随机替换区间的损坏文本。

         训练目标L(x) = logP(x~|x)

3.3 模型训练

3.3.1 优化设置

    1、批量训练： 将批量大小设置为较大的数字，或动态增加批量大小
    2、学习率：调整策略warm-up、decay
    3、优化器： Adam、AdamW优化器
    4、 稳定训练：使用权重衰减和梯度裁剪等，来解决预训练过程不稳定的问题

3.3.2 可扩展的训练技术

    解决计算资源和训练效率的技术问题，即提高训练吞吐量和将更大的模型加载到GPU内存中。
    1、3D并行
        (1) 数据并行： 将模型参数和优化器状态复制到多个GPU上，将训练语料库分配到GPU上
        (2) 流水线并行：将LLM的不同层分布到多个GPU上。 气泡开销问题 。Gpipe、PipeDream
        (3)张量并行：专注于分解LLM的张量(参数矩阵)。

2、ZeRO技术
3、 混合精度训练
     - FP16和FP32精度训练，BF16
4、整体训练建议(基于现大模型实例)
    - BLOOM：采用8路数据并行、4路张量并行、12路流水线并行
    - DeepSpeed：支持3D并行训练，ZeRO、FSDP和激活计算技术。

四、如何有效微调LLM模型

4.1 指令微调

在自然语言格式的实例集合上微调LLM的方法，目的是增强LLM的能力

4.1.1 格式化实例构造

    - 格式化已有数据集：PromptSource众包平台
    - 格式化人类需求：真实用户提交给OpenAI API的查询任务作为任务描述、真实生活中的任务指令编写。
    - 实例构建的关键因素

        - 扩展指令： 从任务数量、任务描述的多样性来增加任务实例样本，增加模型的泛化能力。
        - 格式设计： 指令的多样性比实例数量更重要。

4.1.2 指令微调策略

    - 平衡数据分布
    - 结合指令微调和预训练

4.1.3 指令微调的效果

    - 性能改进
    - 任务泛化性

4.2 对齐微调

将LLM的行为与人类的价值观或偏好对齐。

4.2.1 对齐标准

    - 有用性、诚实性、无害性

4.2.2 人类反馈收集

    - 标注人员选择
    - 人类反馈收集

        - 基于排序的方法：Elo评分系统、基于问题的方法、基于规则的方法

4.2.3 基于人类反馈的强化学习

    - RLHF系统

        - 关键组件：预训练LM、从人类反馈中学习的奖励模型、训练LM的RL算法。
        - 关键步骤：监督微调、训练奖励模型、RL微调

五、 使用利用LLM解决下游任务

 为解决各种任务设计适当的提示策略。

5.1上下文学习

5.1.1 上下文学习的一般形式： ICL

5.1.2样例设计

    1、样例选择

        - 启发式的方法
        - 基于LLM的方法

    2、样例格式
    3、样例顺序

5.1.3底层机制

    - 预训练如何影响ICL？
    - LLM如何实现ICL？ 

5.2 思维链提示

5.2.1 用CoT进行上下文学习

    （1）少样本CoT

        - CoT提示设计
        - 增强的CoT策略

    （2）零样本CoT

5.2.2 关于CoT

    - CoT合适适用于LLM？
    - LLM为什么能够进行CoT推理？

        - CoT能力的来源
        - 各个组件的作用

六、如何评估LLM的能力

为检验LLM模型的有效性和优越性，设计了大量的任务和基准数据来进行实证评估和分析。

6.1基础评测任务

6.1.1语言生成

    - 语言建模
    - 条件文本生成
    - 代码合成
    - 主要问题

        - 可控生成
        - 专业化生成

6.1.2 知识利用

    - 闭卷问答
    - 开卷问答
    - 知识补全
    - 主要问题

        - 幻觉
        - 知识实时性

6.1.3 复杂推理

    - 知识推理
    - 符号推理
    - 数学推理
    - 主要问题

        - 不一致性
        - 数值计算

6.2 高级能力评估

- 人类对齐
- 与外部环境的互动
- 工具操作

6.3 公开基准和经验性分析

6.3.1评测基准

    - MMMLU
    - BIG-bench
    - HELM

6.3.2 LLM的综合分析

    - 通才

        - 熟练度
        - 稳定度

    - 专才

        - 医疗、教育、法律等

原文地址：https://blog.csdn.net/eylier/article/details/143751309

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！