自学内容网 自学内容网
自学内容网 > 正文

第四节笔记：XTuner 大模型单卡低成本微调实战

🕗 发布于 2024-02-18 17:13 笔记  

视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?spm_id_from=333.788&vd_source=3bbd0d74033e31cbca9ee35e111ed3d1

课程笔记：
1.Finetune简介
在这里插入图片描述
指令微调：
开始的大模型可能不知道问的是问题
在这里插入图片描述
在这里插入图片描述
这三种角色的划分只有在微调训练阶段有，在预测阶段其实只有用户一个角色，系统角色是模版默认写好的(也可以修改)
在这里插入图片描述
在这里插入图片描述
指令跟随微调是一问一答的数据，输入是一问一答，只对答案进行损失计算，而增量预训练微调的训练数据只需要答案。
在这里插入图片描述
在这里插入图片描述
二、 Xtuner
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
三、8GB显存玩转LLM
在这里插入图片描述
动手实践


原文地址：https://blog.csdn.net/mds637/article/details/136139087

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

  • VS Code 图形化合并工具

    在出现合并冲突时，插件会自动激活，并在编辑器中提供额外的按钮和选项，帮助你快速解决冲突。在处理合并冲突时，你会发现更多的上下文信息和操作选项，帮助你更高效地解决冲突。VS Code 自带的 Git 支

    阅读更多2024-10-03
  • JZ2440开发板——代码重定位

    讲解重定位相关的内容，包括重定位的原因、链接脚本的语法、拷贝代码的C语言实现。

    阅读更多2024-10-03
  • 基于元神操作系统实现NTFS文件操作（四）

    本文介绍了NTFS文件操作的第三步，即定位并读取$Root元文件，下文将结合本文读取的内容对$Root元文件的内容进行解析。安装元神操作系统的工具“元神操作系统安装器”可去网站www.gnxxkj.c

    阅读更多2024-10-03
  • 深入理解Dubbo源码核心原理-Part2

    接下来看PROTOCOL.export 这个export是一个@Adaptive方法，走的自适应机制，通过SPI。当初始化所有的Bean之后，Dubbo就要进行一些服务暴露、Server启动的工作

    阅读更多2024-10-03
  • Java网络通信—TCP

    1.客户端2.服务端

    阅读更多2024-10-03
  • 推荐一个可以把PDF样本册转换为翻页电子书的网站

    网站拥有简洁的界面设计，操作简单易懂，用户只需注册账号，即可免费上传PDF样本册。4. 分享与推广：发布成功后，用户可获取一个专属链接，将其分享朋友圈、微信、微博等平台，让更多人了解自己的与服务。满意

    阅读更多2024-10-03
  • 影刀RPA实战：excel相关图片操作指令解

    影刀RPA是一款功能强大的机器人流程自动化软件，它能够帮助用户自动化执行各种重复性任务，从而提高工作效率和准确性，影刀RPA提供了直观的拖拽式流程设计器，即使没有编程背景的用户也能快速上手构建自动化流

    阅读更多2024-10-03
  • Solidity智能合约中的事件和日志

    日志（Log）是链上的一种轻量级记录方式，存储在交易的 receipt（收据）中。尽管日志不能在链上被智能合约访问，但它可以被链外的应用（如 DApps）使用，以便监听事件和获取状态变化。事件的定义非

    阅读更多2024-10-03
  • 【Windows】在任务管理器中隐藏进程

    本篇利用 hook NtQuerySystemInformation 并进行断链的方法实现进程隐身，实测支持 taskmgr.exe 的任意多进程隐身。可以删除 dllmain 里面的hook 函数

    阅读更多2024-10-03
  • qtimer动态更新GUI数据

    QTimer是一个事件驱动的定时器，它在 Qt 的事件循环中触发。它适用于需要周期性更新 UI 的场景，例如实时监控、动画等。QTimer可以在主线程中使用，也可以安全地用于跨线程更新 UI，因为它的

    阅读更多2024-10-03
自学内容网
Copyright © 2015-2024