在线教程|零门槛部署 Llama 3,70B 版本只占 1.07G 存储空间,新用户免费体验 8B 版本

news/2024/5/17 1:41:44

4 月 18 日,Meta 宣布开源 Llama 3,这个号称「迄今为止最好的开源大模型」一经发布,立刻引爆科技圈!

图片

发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日,作为 AI 开源倡导者,他激动地发文表示:这是我收到过最好的生日礼物,谢谢 Meta。
图片

Meta 首席科学家、图灵奖获得者 Yann LeCun也在自己的账号上硬核推荐了自己的最新开源模型——支持 8k 长文本,在 24k GPU 集群上使用超过 15T tokens 进行训练,在多项评测基准中表现优异, 部分任务中,Llama 3-8B 的表现优于 Llama 2-70B。更多版本将在数月后发布。
据其官网显示,Llama 3 采用了包括监督微调 (SFT)、近端策略优化 (PPO) 和直接策略优化 (DPO) 在内的先进指令调优技术,与 Llama 2 相比有质的飞跃。在安全性上,采用 Llama Guard 2、Code Shield、CyberSec Eval 2 的新版信任和安全工具,比 Llama 2 有更好的「错误拒绝表现」。
值得一提的是,Llama 3 发布时,Meta 还在官方博客上表示,其正在训练一款超过 400B 参数的新版本模型。英伟达高级科学家 Jim Fan 认为,未来可能推出的 Llama 3-400B 标志着开源社区或能用上 GPT-4 级别模型,这会改变许多研究工作和基层初创公司的计算方式。
图片

为了评估 Llama 3 在真实世界场景中的性能, Meta 特意开发了一个全新的高质量人类评估数据集,覆盖的实际用例包括但不限于:征求建议、集体讨论、分类、封闭式问答、编程、创意写作、信息抽取、角色扮演、开放式问答、逻辑推理、文本重写以及总结等。
结果表明,在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的比较中,Meta Llama 70B 占据优势地位。
图片

性能超越  GPT-3.5、直逼 GPT-4,相信大家现在都迫不及待地想要上手体验 Llama 3 了。为了帮助大家减少漫长的下载等待时间,节省计算资源,降低模型部署难度,HyperAI超神经在教程页面上线了「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」和「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程。

Ollama 和 Open WebUI 分别提供了强大的后端模型管理和前端界面交互功能,结合使用这两个工具,可以轻松完成大模型的部署和管理。
Llama3-70B 只占用 1.07GB 的存储空间, 一键克隆即可启动!
HyperAI超神经教程地址:

8B:https://hyper.ai/tutorials/31129

70B:https://hyper.ai/tutorials/31155

小编已经根据教程部署了 Llama 3 模型,帮大家浅试了一下实际效果。
小编故意引导了一下 Llama 3,结果它没被骗到。但是同样的问题却骗过了 GPT-3.5!看它一本正经地回答问题,小编忍不住快要相信了。
图片

图片

  • 五一快要来了,假期去哪里玩,这么多地方选哪个呢?

图片

  • 数学问题它也能解决哦,再也不用头疼给家里的小朋友辅导功课了!
    图片

  • 还可以翻译,解决我大麻烦了!
    图片

  • 睡前小故事,又一个技巧 get 到了。
    图片

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」或「用 Ollama 和 Open WebUI 部署 Llama3 70B」。
    接下来小编将以「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程为例介绍。
    图片

  2. 点击「在线运行此教程」,页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
    图片

图片

  1. 点击右下角「下一步:选择算力」。
    图片

  2. 跳转后,选择「NVIDIA RTX A6000 48GB 」、选择镜像「PyTorch」,点击「下一步:审核」。新用户使用下方邀请链接注册,还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开即可注册):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

注意:如果运行的是「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」教程,选择「NVIDIA GeForce RTX 4090」运行即可。

图片

  1. 点击「继续执行」,等待分配资源,当状态变为「运行中」后,点击「打开工作空间」。
    图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下内容,启动 Ollama。
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

图片

图片

  1. 再新建一个终端页面,然后在命令行里输入以下内容,启动 Open WebUI。
bash /openbayes/input/input1/open-webui/backend/start.sh

图片

  1. 稍等片刻,当命令行出现「INFO:Uvicorn running on http://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可打开 Open WebUI 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
    图片

效果展示

  1. 打开 Open WebUI 界面后,登录账号。账号:admin@example.com密码:adminadmin
    图片

2.选择 Llama 3-70B 模型。
图片

3.输入问题,即可使用啦。图片

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是小编本次分享的全部内容了,希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程,欢迎留言或私信告诉我们项目地址,小编将会为你量身打造课程,教你如何玩转 AI。
参考资料:

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA 2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg 3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w


http://www.mrgr.cn/p/11405746

相关文章

APP上架APP Store因为苹果登录被拒,该如何解决

之前有一段时间 ,我们的APP因为苹果登录被拒了几次。分享出来,希望对大家有所帮助。 主要有两种被拒理由: 没有登录/苹果登录。登录按钮设计不符合标准。 这其实是很小的一件事情。但是就是这么小的事情,我们在这上面栽了几次跟…

Odoo:世界排名第一的免费开源设备资产(EAM)管理系统介绍

本文节选自Odoo亚太金牌服务机构【开源智造】所编写的《Odoo行业应用解决方案白皮书》如需获取完整的知识内容,请至开源智造官网免费获取。感谢网友一键三连:点赞、转发、收藏,您的支持是我们最大的前进动力! 概述 实施全面的维护…

.net8系列-05图文并茂手把手教你配置日志组件log4net

log4net是什么? log4net是Apache软件基金会为.NET平台开发的一个日志记录库。它是Apache log4j框架的.NET移植版本,属于Apache Logging Services项目的一部分。 为什么使用log4net? log4net设计用于帮助.NET应用程序的开发者控制日志信息的生成过程,使得日志信息可以根据配…

(MSFT.O)微软2024财年Q3营收619亿美元

在科技的浩渺宇宙中,一颗璀璨星辰再度闪耀其光芒——(MSFT.O)微软公司于2024财政年度第三季展现出惊人的财务表现,实现总营业收入达到令人咋舌的6190亿美元。这一辉煌成就不仅突显了微软作为全球技术领导者之一的地位,更引发了业界内外对这家…

您可知道如何通过`HTTP2`实现TCP的内网穿透???

可能有人很疑惑应用层 转发传输层?,为什么会有这样的需求啊???哈哈技术无所不用其极,由于一些场景下,对于一个服务器存在某一个内部网站中,但是对于这个服务器它没有访问外网的权限,虽然也可以申请端口访问外部指定的ip+端口,但是对于访问服务内部的TCP的时候我们就会…

【链表】Leetcode K个一组翻转链表

题目讲解 25. K 个一组翻转链表 算法讲解 虽然这道题是一道困难题,但是从代码层面很简单,只是一道简单的模拟:我们要先求出总共需要翻转的链表有多少组(链表的长度 / k),接下来就是翻转k的链表最链接的问…

react 学习笔记二:ref、状态、继承

基础知识 1、ref 创建变量时,需要运用到username React.createRef(),并将其绑定到对应的节点。在使用时需要获取当前的节点; 注意:vue直接使用里面的值,不需要再用this。 2、状态 组件描述某种显示情况的数据&#…

Oracle中rman使用记录

最近在项目中,遇到使用RMAN的操作来恢复数据库中某个时间归档日志,RMAN的原理和理解,网友们百度了解一下。我重点将实操部分了。直接上实验环节,让网友更懂。(特别提醒:我是1:1用VMware克隆数据库进行RMAN还…

数据结构_顺序表_顺序表的初始化、插入、删除、修改、查询打印(基于C语言实现)

通过C语言实现顺序表的相关功能, 并通过了Linux平台测试, 注释完整.版本:2024年4月29日 V1.0 发布于博客园/*** @file name : SequenceList.c* @brief : 实现顺序表元素的增删查改* @author : RISE_AND_GRIND@163.com* @date : 2024/04/29* @version : 1.0* @not…

吴恩达2022机器学习专项课程(一)7.2 逻辑回归的简化成本函数

问题预览/关键词 本节课内容逻辑回归的损失函数简化之后的形式是?为什么可以简化?成本函数的通用形式是?逻辑回归成本函数的最终形式是?逻辑回归为什么用对数损失函数计算成本函数?为什么不直接给出逻辑回归损失函数的…

【leetcode】数组和相关题目总结

1. 两数之和 直接利用hashmap存储值和对于索引&#xff0c;利用target-nums[i]去哈希表里找对应数值。返回下标。 class Solution { public:vector<int> twoSum(vector<int>& nums, int target) {unordered_map<int, int> mp;vector<int> res;fo…

如何在CentOS本地搭建DataEase数据分析服务并实现远程查看数据分析

文章目录 前言1. 安装DataEase2. 本地访问测试3. 安装 cpolar内网穿透软件4. 配置DataEase公网访问地址5. 公网远程访问Data Ease6. 固定Data Ease公网地址 前言 DataEase 是开源的数据可视化分析工具&#xff0c;帮助用户快速分析数据并洞察业务趋势&#xff0c;从而实现业务…

qt学习篇---C++基础学习

本学习笔记学习下面视频总结&#xff0c;感兴趣可以去学习。讲的很详细 【北京迅为】嵌入式学习之QT学习篇_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1tp4y1i7EJ/?spm_id_from333.337.search-card.all.click&vd_source8827cc0da16223b9f2ad8ae7111de9e2 目录 C…

大数据开发详解

点击下载《大数据开发详解》 1. 前言 随着信息化时代的快速发展&#xff0c;大数据已经成为了企业和组织不可或缺的重要资源。大数据开发则是指通过一系列技术手段&#xff0c;对海量数据进行收集、存储、处理、分析和挖掘&#xff0c;以实现数据的价值化利用。大数据开发涉及…

如何进行制造设备数据汇集,发挥数据的价值?

数字化转型正深刻推动制造企业实现远程监控、提高生产效率、降低生产成本、优化产品质量及明晰精细化方向。并且工业互联网的发展离不开工业数据的应用&#xff0c;而制造设备数据汇集正是应用的基础。但制造设备数据汇集存在以下难点及痛点&#xff1a; 1、安全把控难 关键的…

闲话 Asp.Net Core 数据校验(三)EF Core 集成 FluentValidation 校验数据例子

前言 一个在实际应用中 EF Core 集成 FluentValidation 进行数据校验的例子。 Step By Step 步骤 创建一个 Asp.Net Core WebApi 项目 引用以下 Nuget 包 FluentValidation.AspNetCore Microsoft.AspNetCore.Identity.EntityFrameworkCore Microsoft.EntityFrameworkCore.Re…

C++实战演练---负载均衡在线oj项目预热

顾得泉&#xff1a;个人主页 个人专栏&#xff1a;《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂&#xff0c;年薪百万&#xff01; 前言 学习准备了快一年时间&#xff0c;心心念念的实战演练终于可以开始了&#xff0c;话不多说&#xff0c;直接进入主题…

verilog分析task的接口设计,证明这种写法:assign {a,b,c,d} = links;

verilog分析task的接口设计&#xff0c;证明这种写法&#xff1a;assign {a,b,c,d} links; 1&#xff0c;task在状态机中的使用好处&#xff1a;2&#xff0c;RTL设计3&#xff0c;测试testbench4&#xff0c;波形分析&#xff0c;正确&#xff01; 参考文献&#xff1a; 1&am…

Phi-3-mini-4k-instruct 的功能测试

Model card 介绍 Phi-3-Mini-4K-Instruct 是一个 3.8B 参数、轻量级、最先进的开放模型&#xff0c;使用 Phi-3 数据集进行训练&#xff0c;其中包括合成数据和经过过滤的公开可用网站数据&#xff0c;重点是 高品质和推理密集的属性。 该型号属于 Phi-3 系列&#xff0c;Mini…

01 第一次学Docker

刚开始学,还只是一知半解,但是今天只学了这一点,容我水一点。其中肯定有不少错误或者不恰当的地方,求原谅。希望我以后能定期回顾自己的博客吧,hhh,估计有些难,但是给自己定下一个研究目标总是好的。 一、什么是Docker 搜索发现,docker是一个开源的应用容器引擎。 emm,…