大模型专栏--大模型开发生态
大模型开发生态
前面我们已经讨论过了什么是大模型以及使用场景有那些，这篇文章我们来讨论下大模型的开发生态？有哪些开发工具可以快速基于大模型构建出我们需要的应用。
发展趋势
任何事物的发展，都离不开生态的作用。人类生存的地球生态，有水，有氧气。才能生存。
同样的道理，任何一门技术或者是语言都不能完全脱离于其生态。生态的作用是帮助技术更好的被人们应用，降低使用难度，方便开发者们使用。例如 Java 的 Spring 框架，Go 的 gin，ruby 的 rails 一样。
大模型生态
我们不妨试着总结一下大模型生态的定义：围绕着 LLM 形成的一系列工具、平台、社区和技术标准的集合体，我们就可以称为大模型生态
随着大模型的迅速爆火，各家都有自己的大模型出现。围绕着这些大模型，出现了许多的应用框架，应用技术，前面提到的 智能体 RAG 知识库 等。本篇我们就仔细梳理一些，都有那些大模型生态（不讨论底层的神经网络模型，关注上层的生态）。
生态的出现往往是为了解决一系列的痛点问题。例如先是有了滴滴，还是先有了网络打车的需求？
我们可以从大模型当前的使用痛点入手进行展开。
数据安全
在第一篇文章中已经提到了，数据安全是当前大模型需要解决的一个主要问题。基于公司数据的知识库或者客服助手等应用场景都需要应对这个问题。
当前有效的解决途径之一是将大模型和隐私计算相结合，例如蚂蚁的隐语框架，是一个隐私保护数据分析和机器学习的统一框架。
隐语云大模型计算平台：基于蚂蚁密态计算技术，为客户提供安全可信的大模型微调、推理、检索增强生成等大模型工具链的密算服务，发挥行业数据在大模型训练中价值，助力行业模型质量提升和AI应用的快速落地。其内部通过多方安全计算、联邦学习等方式确保用户的数据安全。
构建面向用户的大模型平台
LLM 的最终使用者必然使用户，那么如何构建一个用户友好的 LLM 平台便是问题之一，在 github 中出现了一系列的关于大模型使用的开源项目，其中著名的有：
- 面向学术研究的 LLM 平台：https://github.com/binary-husky/gpt_academic
- 面向终端用户：https://github.com/open-webui/open-webui、
- 其他形式的 LLM 使用平台：https://github.com/jina-ai/reader
- …
这里就不一一列举。
这类工具的特点是通过友好的用户界面，使大模型可以开箱即用，降低用户使用难度和提升其在某方面的专业性。
Agent 构建
Agent 和 RAG 是当前大模型使用的两个主要方向。围绕其产生的框架更是不计其数。例如我们熟知的 LangChain，LangChain4j，dify Haystack 等。
- Langchain：使用 Python 语言编写，提供一系列的 LLM 增强组件，如文本生成、对话管理、数据检索和链式处理等。
- LangChain4j：LangChain 的 java 实现，为 Java 开发 LLM 应用提供便利。
- Dify：相比 LangChain，Dify 是一个更高级的脚手架工具，其提供了完善的 Agent 编排，Prompt 管理等功能。
- AutoGen：如果一个 Agent 是一个智能体，AutoGen 就是一个多智能体（multi-agent）框架，其通过智能体之间的自然语言交互来完成一个复杂的任务。
- Spring AI：正如官网介绍的一样，一个面向 Spring 的 AI 开发框架。Spring AI 是一个面向 AI 工程的应用框架，其目标是将 Spring 生态系统的可移植性和模块化设计等设计原则应用到 AI 领域，并推动将 POJO 作为应用的构建块应用于 AI 领域。
- Spring AI Alibaba：Alibaba 推出的基于 Spring AI 的国内 AI 应用开发解决方案。Spring AI Alibaba 基于 Spring AI 构建，是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践，提供高层次的 AI API 抽象与云原生基础设施集成方案，帮助开发者快速构建 AI 应用。
LLM 应用开发周边生态
放一张 Spring AI Alibaba 官网的 AI 生态图：
其中：
- Nacos：作为模型的 apikey 管理和 prompt 管理中心
- Higress 作为 AI 网关，承接边缘到 AI 模型的流量
- Spring AI Alibaba：作为底层框架，提供对高层次的抽象 API
总结
以上就是本篇文章的全部内容，当然文章中涉及的并不全面，还有例如 AI 网关，RAG 引擎等。但是这些在文中都略有提到，就不在过多叙述了。
原文地址：https://blog.csdn.net/qq_52397471/article/details/144042462
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！