自学内容网 自学内容网
自学内容网 > 正文

mac下安装Ollama + Open WebUI + Llama3.1

🕗 发布于 2024-11-28 13:39 llama  ai  gpt  

本文介绍mac下安装Ollama + Open WebUI + Llama3.1 8b具体步骤。

目录

推荐配置

m1以上芯片，16g内存，20g以上硬盘空间

Ollama Open WebUI Llama3.1简介

  • Ollama: 下载，管理和本地调用大模型的软件，支持常见大语言模型如llama, qwen等，官网https://ollama.com/。支持的模型列表：https://ollama.com/search
    在这里插入图片描述
  • Llama3.1: meta开源的大模型: https://github.com/meta-llama/llama-models/tree/main。有8B, 70B and 405B三种规格。8b代表的是模型参数量和模型大小，即llama3.1模型拥有大约800亿(8 billion)个参数。
    参数越大(如: 70B, 405B…)，代表模型越大也越复杂，跑起来所需要的硬件成本也越高。因此，对于个人使用/测试，一般都首选8b
  • openweb ui: 有丰富功能的可扩展本地AIweb界面，用户在openweb ui界面上输入问题，和模型交互，也可以自定义prompt，下载其他工具增强模型功能等。
    在这里插入图片描述

安装Ollama

  1. mac下载ollama: https://ollama.com/,下载下来是个zip包，里面就有app程序直接打开。
    在这里插入图片描述2. 使用ollama下载运行llama3.1:8b到本地mac机器：ollama run llama3.1:8b

安装Open WebUI

  1. 最好使用Python 3.11.9，pip对应版本也装好
  2. pip安装Open WebUI: pip3.11 install open-webui
    在这里插入图片描述
  3. mac下起open-webui：/Library/Frameworks/Python.framework/Versions/3.11/bin/open-webui serve，会自动打印日志出来
    在这里插入图片描述
  4. ollama默认在11434起了端口，Open WebUI通过11434端口和Llama交互
    在这里插入图片描述在这里插入图片描述
  5. 打开127.0.0.1:8080 openwebui页面，注册新账号，左上角选择llama3.18b模型并设为默认，开始提问
    在这里插入图片描述6. 也可通过ollama直接和llama 3.1模型交互，提问获得回答
    在这里插入图片描述

原文地址：https://blog.csdn.net/w1590191166/article/details/144088086

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

  • 基于QT实现贪吃蛇

    完成了贪吃蛇的主逻辑：上下左右，吃食物，增加分数，以及查看历史界面的逻辑

    阅读更多2024-11-29
  • 利用Python爬虫获取商品评论：技术与实践

    通过上述步骤，你可以构建一个基本的商品评论爬虫。然而，实际应用中可能需要面对更复杂的网页结构和反爬虫策略。因此，不断学习和实践，掌握更高级的爬虫技巧，如使用Selenium模拟浏览器行为，使用Scra

    阅读更多2024-11-29
  • 【leetcode100】合并区间

    以数组 intervals 表示若干个区间的集合，其中单个区间为 intervals[i] = [starti, endi]。请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中

    阅读更多2024-11-29
  • java中链表的数据结构的理解

    Java 中链表通常由一个节点类 (ListNode) 和可能的链表操作类构成。节点类 (ListNode)这是链表的基本组成部分，每个节点包含数据域和指向下一个节点的引用。int val;// 数据

    阅读更多2024-11-29
  • SpringBoot集成ESAPI

    如果我们对配置文件路径没有自定义配置，那么ESAPI会从默认路径中读取配置文件。，选项卡 无论您使用什么构建工具。如果您需要 Jakarta 版本，请确保 加。解压缩您刚刚下载的配置文件并找到 2 个

    阅读更多2024-11-29
  • PAT-1010 一元多项式求导（java实现）

    官方题目：这题目看的我很费劲，读了好几遍，理解题目之后还是很简单的。官方题目：设计函数求一元多项式的导数。（注：xn（n为整数）的一阶导数为nxn−1。

    阅读更多2024-11-29
  • DNS域名解析服务器

    DNS（Domain Name System）是互联网上的一项服务，它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网。DNS系统使用的是网络的查询，那么自然需要有监听的po

    阅读更多2024-11-29
  • 零基础学安全--蓝队基础知识学习

    传统存储形式中，共享驱动器是一种常见的资源共享方式，它允许用户通过网络协议 (如SMB/CIFS) 访问远程服务器上的文件和文件夹。学习视频来自B站up主 **泷羽sec** 有兴趣的师傅可以关注一下

    阅读更多2024-11-29
  • 如何通过PHP爬虫模拟表单提交，抓取隐藏数据

    为了满足这种需求，网络爬虫技术中的模拟表单提交显得尤为关键，尤其是在需要动态请求才能获取隐藏数据的场景中。在本文中，我们将详细讲解如何使用PHP实现表单提交并抓取隐藏数据，同时结合代理IP技术，优化爬

    阅读更多2024-11-29
  • 【算法】欧拉函数、快速幂、容斥原理

    一个数可以被质因子表示，而除了质因子及其倍数，剩下的个数都是与n互质。注：如果能够整除的话是不可能会mod == 1的。​1-N总共有N个数，首先将质因子。思路：将k分解成2的指数幂相加，例如。的5

    阅读更多2024-11-29
自学内容网
Copyright © 2015-2024