agi入门-大模型开发基础

AGI(Artifical General Inteligence)的到来还有多久？

• 乐观预测：明年
• 主流预测：3-5年
• 悲观预测：10年

AGI时代，AI无处不在，相关从来者将如何分？

• AI使用者：使用别人开发的AI产品
• AI产品开发者:设计和开发AI产品
• 基础模型相关：训练基础大模型，或为大模型提供基础设施

什么是AI？

基于机器学习、神经网络的是AI，基于规则、搜索的不是AI

 AI发展历史？

大模型能干什么？

大模型，全称【大语言模型】，英文【Large Language Model]，缩写[LLM]

 什么是AGI？

• 大模型是就是一个函数，给输入，生成输出
• 任何可以用语言描述的问题，都可以输入给大模型，就能生成问题的结果
• 进而，任何二进制数据，都可以输入给大模型，生成二进制数据

大模型落地的有五个要素？

• 从最熟悉的领域入手
• 找【文本进、文本出】的场景
• 别求大而全。将任务分解，先解决小任务、小场景
• 让AI学最历害的员工的能力，再让它辅助其它的员工，实现降本增效

大模型是如何生结果的？

训练和推理是大模型工作的两个核心过程。

用人类比，训练就是学，推理就是用。学以致用，如是也。

用不严密但通俗的语言描述和推理的原理：

训练

         1、大模型阅读了人类说过的所有的话，这就是【机器学习】

         2、训练过程中会把不同的token同时出现的概率存入【神经网络】文件。保存的数据就是【参数】，也叫【权重】

推理

        1、我们推理程序很多个token，程序会加载大模型权重，算出概率最高的下一个token是什么

        2、用生成的token，再加上上文，就能继续生成下一个toke。以此类推，生成更多文字

什么是token?

        1、可能是一个英文单词，也可能是半个，三分之一个

        2、可能是一个中文词，或者一个汉字，也可能是半个汉字，甚至三分之一个汉字

        3、大模型在开训前，需要先训练一个tokenizer模型连续能把所有的文件，切成token

原文地址：https://blog.csdn.net/dzend/article/details/137605462

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！