llama.cpp制作GGUF文件及使用

news/2024/5/20 16:24:53

llama.cpp的介绍

llama.cpp是一个开源项目，由Georgi Gerganov开发，旨在提供一个高性能的推理工具，专为在各种硬件平台上运行大型语言模型（LLMs）而设计。这个项目的重点在于优化推理过程中的性能问题，特别是针对CPU环境。以下是关于llama.cpp的几个关键特性：

  1. 高性能推理引擎：llama.cpp使用C语言编写的机器学习张量库ggml，这使得它能够高效地处理大规模的张量运算，从而加速模型推理。

  2. 模型量化工具：项目包含模型量化的功能，允许用户将原本的32位浮点数模型参数量化为16位浮点数，甚至是更低精度的8位或4位整数，从而减少模型大小并显著提高推理速度，这对于在资源受限的设备上运行大模型尤其重要。

  3. 跨平台兼容性：除了支持CPU推理外，llama.cpp还支持CUDA和OpenCL，这意味着它能够在包括桌面计算机、服务器乃至某些移动设备上的GPU上运行，提供了广泛的硬件兼容性。

  4. 易于部署：由于其优化的C++实现，llama.cpp使得在本地CPU上部署大型语言模型变得更加容易，即便是配置较低的设备也能运行这类模型，降低了部署大型AI应用的门槛。

  5. 代码可读性和教育价值：尽管功能强大，llama.cpp的代码结构相对直观且可读性强，适合开发者通过阅读源码来学习大型语言模型的推理技术和底层实现细节。项目文件数量不多，但每个都是精心设计的，便于理解和修改。

  6. 社区支持和活跃度：在GitHub上，该项目拥有大量的stars，表明了其在开发者社区中的高关注度和活跃度。这通常意味着更好的文档、示例以及持续的维护更新。

综上所述，llama.cpp是一个专为性能优化和广泛兼容性设计的工具，它不仅能够帮助研究人员和开发者在不同类型的硬件上高效运行大型语言模型，同时也是学习现代语言模型推理技术的一个优秀资源。

GGUF文件的制作

设备环境如下：Ubuntu20.04、NVIDIA-A800、CUDA Version: 12.0、python 3.10

#代码准备
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp#编译
make# 获取官方模型权重并将其放入./models中
ls ./models
llama-2-7b tokenizer_checklist.chk tokenizer.model
# [可选] 对于使用 BPE 分词器的模型
ls ./models
<folder containing weights and tokenizer json> vocab.json
# [可选] 适用于 Mistral-7B 等 PyTorch.bin 模型
ls ./models
<folder containing weights and tokenizer json># 安装Python依赖项
python3 -m pip install -r requirements.txt# 将模型转换为ggml FP16格式
python3 convert.py models/mymodel/# [可选] 对于使用 BPE 分词器的模型
python convert.py models/mymodel/ --vocab-type bpe# 将模型量化为 4 位（使用 Q4_K_M 方法）
./quantize ./models/mymodel/ggml-model-f16.gguf ./models/mymodel/ggml-model-Q4_K_M.gguf Q4_K_M# 如果现在不支持旧版本，请将 gguf 文件类型更新为当前版本
./quantize ./models/mymodel/ggml-model-Q4_K_M.gguf ./models/mymodel/ggml-model-Q4_K_M-v2.gguf COPY

运行量化模型

# 开始推理 gguf 模型
./main -m ./models/mymodel/ggml-model-Q4_K_M.gguf -p "你好" -n 128

begin
end

# 交互式使用模型
./main -m models/openbuddy-llama3-8b-v21.1-8k/openbuddy-llama3-8b-Q4_K_M.gguf -n 999 -cml

交互式

# 启动兼容openai api 的HTTP server
./server -m models/openbuddy-llama3-8b-v21.1-8k/openbuddy-llama3-8b-Q4_K_M.gguf -c 4096 --host 0.0.0.0 --port 7861

命令行选项可见官方文档

模型量化的精度

根据自己的硬件配置来选择合适的精度

(llamacpp) root@9pp562fqj4j6n-0:/1_11_test/hhh/llama.cpp# ./quantize
usage: ./quantize [--help] [--allow-requantize] [--leave-output-tensor] [--pure] [--imatrix] [--include-weights] [--exclude-weights] [--output-tensor-type] [--token-embedding-type] [--override-kv] model-f32.gguf [model-quant.gguf] type [nthreads]--allow-requantize: Allows requantizing tensors that have already been quantized. Warning: This can severely reduce quality compared to quantizing from 16bit or 32bit--leave-output-tensor: Will leave output.weight un(re)quantized. Increases model size but may also increase quality, especially when requantizing--pure: Disable k-quant mixtures and quantize all tensors to the same type--imatrix file_name: use data in file_name as importance matrix for quant optimizations--include-weights tensor_name: use importance matrix for this/these tensor(s)--exclude-weights tensor_name: use importance matrix for this/these tensor(s)--output-tensor-type ggml_type: use this ggml_type for the output.weight tensor--token-embedding-type ggml_type: use this ggml_type for the token embeddings tensor--keep-split: will generate quatized model in the same shards as input  --override-kv KEY=TYPE:VALUEAdvanced option to override model metadata by key in the quantized model. May be specified multiple times.
Note: --include-weights and --exclude-weights cannot be used togetherAllowed quantization types:2  or  Q4_0    :  3.56G, +0.2166 ppl @ LLaMA-v1-7B3  or  Q4_1    :  3.90G, +0.1585 ppl @ LLaMA-v1-7B8  or  Q5_0    :  4.33G, +0.0683 ppl @ LLaMA-v1-7B9  or  Q5_1    :  4.70G, +0.0349 ppl @ LLaMA-v1-7B19  or  IQ2_XXS :  2.06 bpw quantization20  or  IQ2_XS  :  2.31 bpw quantization28  or  IQ2_S   :  2.5  bpw quantization29  or  IQ2_M   :  2.7  bpw quantization24  or  IQ1_S   :  1.56 bpw quantization31  or  IQ1_M   :  1.75 bpw quantization10  or  Q2_K    :  2.63G, +0.6717 ppl @ LLaMA-v1-7B21  or  Q2_K_S  :  2.16G, +9.0634 ppl @ LLaMA-v1-7B23  or  IQ3_XXS :  3.06 bpw quantization26  or  IQ3_S   :  3.44 bpw quantization27  or  IQ3_M   :  3.66 bpw quantization mix12  or  Q3_K    : alias for Q3_K_M22  or  IQ3_XS  :  3.3 bpw quantization11  or  Q3_K_S  :  2.75G, +0.5551 ppl @ LLaMA-v1-7B12  or  Q3_K_M  :  3.07G, +0.2496 ppl @ LLaMA-v1-7B13  or  Q3_K_L  :  3.35G, +0.1764 ppl @ LLaMA-v1-7B25  or  IQ4_NL  :  4.50 bpw non-linear quantization30  or  IQ4_XS  :  4.25 bpw non-linear quantization15  or  Q4_K    : alias for Q4_K_M14  or  Q4_K_S  :  3.59G, +0.0992 ppl @ LLaMA-v1-7B15  or  Q4_K_M  :  3.80G, +0.0532 ppl @ LLaMA-v1-7B17  or  Q5_K    : alias for Q5_K_M16  or  Q5_K_S  :  4.33G, +0.0400 ppl @ LLaMA-v1-7B17  or  Q5_K_M  :  4.45G, +0.0122 ppl @ LLaMA-v1-7B18  or  Q6_K    :  5.15G, +0.0008 ppl @ LLaMA-v1-7B7  or  Q8_0    :  6.70G, +0.0004 ppl @ LLaMA-v1-7B1  or  F16     : 13.00G              @ 7B0  or  F32     : 26.00G              @ 7BCOPY    : only copy tensors, no quantizing

安卓上运行GGUF

手机配置

  • 型号 Mi 9T
  • Android11
  • 运行内存 6GB

  1. 工具准备
    手机端安装termux，官网
    电脑端准备好Android NDK，将其解压至某个文件夹
    ndk
    ndk路径

  2. 使用Android NDK构建llama.cpp项目

    # 代码准备，我担心影响上边编译好的，重新拉了一份代码，其实是不影响的
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp#开始构建
mkdir build-android
cd build-android# 查看你的ndk文件夹路径
export NDK=<your_ndk_directory>cmake -DCMAKE_TOOLCHAIN_FILE=$NDK/build/cmake/android.toolchain.cmake -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-23 -DCMAKE_C_FLAGS=-march=armv8.4a+dotprod ..make

    上面代码执行完以后，目录下会生成bin文件夹，如下图所示
    构建完成

  3. 将构建后的文件和模型文件移动到手机端
    我这边采用的usb文件传输，直接复制过去了
    文件传输
    模型文件记得也要传输过去

  4. 手机端工作准备
    手机打开termux
    运行以下命令开启SD卡访问权限

    termux-setup-storage

    sd权限

    执行完这个命令后，手机会弹出是否允许访问权限的，一定要点允许。
    移动bin文件夹和模型文件到termux的根目录下
    文件移动

  5. 文件启动
    文件移动完成后，进入到bin文件夹，执行以下命令给所有的文件添加可执行权限

    chmod +x ./*

    添加可执行权限
    使用以下命令启动模型

    ./main -m ../openbuddy-llama3-8b-Q2_K.gguf -n 128 -cml

    在这里插入图片描述


http://www.mrgr.cn/p/67022343

相关文章

我们的小程序每天早上都白屏，真相是。。。

我们的小程序每天早上都白屏，真相是。。。

大家好&#xff0c;我是程序员鱼皮。最近我们在内测一款面试刷题小程序&#xff0c;没错&#xff0c;就是之前倒下的 “面试鸭”&#xff01; 在我们的内测交流群中&#xff0c;每天早上都会有同学反馈&#xff1a;打开小程序空白&#xff0c;没任何内容且登录不上。 然后过了…
阅读更多...
开源离线AI笔记应用

开源离线AI笔记应用

前言 Reor 是一款人工智能驱动的桌面笔记应用程序&#xff0c;它能自动链接相关笔记、回答笔记中的问题并提供语义搜索。所有内容都存储在本地&#xff0c;支持 Windows、Linux 和 MacOS。Reor 站在 Ollama、Transformers.js 和 LanceDB 等巨头的肩膀上&#xff0c;使 LLM 和嵌…
阅读更多...
iceoryx源码阅读（二）——共享内存管理

iceoryx源码阅读（二）——共享内存管理

目录1 共享内存模型2 获取共享内存2.1 MemoryManager::getChunk2.2 MemPool::getChunk3 释放共享内存3.1 SharedChunk::freeChunk3.2 MemPool::freeChunk4 总结 基于共享内存通信的核心在于共享内存的管理，包括共享内存的分配、释放。 1 共享内存模型 iceoryx先将整块共享内存…
阅读更多...
iceoryx源码阅读（一）——全局概览

iceoryx源码阅读（一）——全局概览

一、什么是iceoryx iceoryx是一套基于共享内存实现的进程间通信组件。 二、源码结构 iceoryx源码包括若干工程，整理如下表所示：下图展示了主要项目之间的依赖（FROM：iceoryx(冰羚)-Architecture）：三、iceoryx应用程序结构 iceoryx应用程序有三类进程，分别为Publisher、Su…
阅读更多...
Linux字符设备驱动(一) - 框架

Linux字符设备驱动(一) - 框架

字符设备是Linux三大设备之一(另外两种是块设备&#xff0c;网络设备)&#xff0c;字符设备就是字节流形式通讯的I/O设备,绝大部分设备都是字符设备&#xff0c;常见的字符设备包括鼠标、键盘、显示器、串口等等&#xff0c;当我们执行ls -l /dev的时候&#xff0c;就能看到大量…
阅读更多...
1.4 初探JdbcTemplate操作

1.4 初探JdbcTemplate操作

实战目的 掌握Spring框架中JdbcTemplate的使用&#xff0c;实现对数据库的基本操作。理解数据库连接池的工作原理及其在实际开发中的重要性。通过实际操作&#xff0c;加深对Spring框架中ORM&#xff08;对象关系映射&#xff09;的理解。 关键技术点 JdbcTemplate操作&…
阅读更多...
重发布和路由策略

重发布和路由策略

重发布 在同一个网络拓扑结构中&#xff0c;如果存在多种不同的路由协议&#xff0c;由于不同路由协议的机理各有不同&#xff0c;对路由的处理也不相同&#xff0c;这就在网络中造成了路由信息的隔离&#xff0c;在路由协议的边界设备上&#xff0c;将某种路由协议的路由信息引…
阅读更多...
Java中的线程

Java中的线程

一、创建线程的几种方式&#xff1f; ① 通过继承Thread类并重写run方法 &#xff0c;实现简单但不可以继承其他类 Thread底层也是实现了Runnable接口&#xff0c;重写的是run而不是start方法 ②实现Runnable接口并重写run方法&#xff0c; 避免了单继承的局限性&#xff…
阅读更多...
PVE安装Windows 95报错 while initializing device IOS

PVE安装Windows 95报错 while initializing device IOS

安装Win95重启后报错信息如下图，重启一直报错 while initializing device IOS，查了下报错原因说是 CPU频率太高导致，需要安装AMDK6UPD.EXE补丁包 下载地址 https://zhangka.lanzouw.com/igW0S1y8p5pe 打补丁操作流程： 1）将下载的iso文件加载到新光盘中 2）重启到dos环境…
阅读更多...
迅饶科技 X2Modbus 网关 AddUser 任意用户添加漏洞复现

迅饶科技 X2Modbus 网关 AddUser 任意用户添加漏洞复现

0x01 产品简介 X2Modbus是上海迅饶自动化科技有限公司Q开发的一款功能很强大的协议转换网关， 这里的X代表各家不同的通信协议， 2是T0的谐音表示转换， Modbus就是最终支持的标准协议是Modbus协议。用户可以根据现场设备的通信协议进行配置，转成标准的Modbus协议。在PC端仿真…
阅读更多...
# IDEA 复制项目 Module 出现 不同模块下的 Product 类报错

# IDEA 复制项目 Module 出现 不同模块下的 Product 类报错

IDEA 复制项目 Module 出现 不同模块下的 Product 类报错 我们 用 IDEA 复制项目 Module 出现 不同模块下的 Product 类报错&#xff0c;发现复制的 module 名称没有改变或者 java 文件夹后面还有原项目 source root 字样&#xff0c;maven 父子项目没有标识等问题。 解决方法…
阅读更多...
【前端】实现表格简单操作

【前端】实现表格简单操作

简言 表格合并基础篇 本篇是在上一章的基础上实现&#xff0c;实现了的功能有添加行、删除行、逆向选区、取消合并功能。 功能实现 添加行 添加行分为在上面添加和在下面追加行。 利用 insertAdjacentElement 方法实现&#xff0c;该方法可以实现从前插入元素和从后插入元…
阅读更多...
12 华三的二层链路聚合

12 华三的二层链路聚合

12 华三的二层链路聚合 配置思路 1. 配置二层静态聚合组 (1) 进入系统视图。 system-view (2) 创建二层聚合接口&#xff0c;并进入二层聚合接口视图。 interface bridge-aggregation interface-number [ lite ] 创建二层聚合接口后&#xff0c;系统将自动生成…
阅读更多...
苍穹外卖Day06笔记

苍穹外卖Day06笔记

疯玩了一个月&#xff0c;效率好低&#xff0c;今天开始捡起来苍穹外卖~ 1. 为什么不需要单独引入HttpClient的dependency&#xff1f; 因为我们在sky-common的pom.xml中已经引入了aliyun-sdk-oss的依赖&#xff0c;而这个依赖低层就引入了httpclinet的依赖&#xff0c;根据依…
阅读更多...
Linux 文件

Linux 文件

文章目录 文件操作回顾(C/C)系统调用接口 管理文件认识一切皆文件C/C的文件操作函数与系统调用接口的关系……重定向与缓冲区 -- 认识重定向与缓冲区 -- 理解使用重定向缓冲区实现一个简单的Shell(加上重定向)标准输出和标准错误(在重定向下的意义) 磁盘文件磁盘存储文件操作系…
阅读更多...
docker-compose安装es+kibana 8.12.2

docker-compose安装es+kibana 8.12.2

小伙伴们&#xff0c;你们好&#xff0c;我是老寇&#xff0c;我又回来辣&#xff0c;几个月不见甚是想念啊&#xff01;&#xff01;&#xff01; 因云平台需要改造&#xff0c;es7升级为es8&#xff0c;所以记录一下&#xff0c;es8需要开启ssl认证&#xff0c;需要配置证书…
阅读更多...
第147天：免杀对抗-C2远控篇CC++ShellCode定性分析生成提取Loader加载模式编译执行

第147天：免杀对抗-C2远控篇CC++ShellCode定性分析生成提取Loader加载模式编译执行

https://blog.csdn.net/qq_29948489/article/details/136180966 #C2远控-ShellCode-认知&环境 1.创建工程时关闭SDL检查 2.属性->C/C++->代码生成->运行库->多线程 (/MT)如果是debug则设置成MTD 3.属性->C/C++->代码生成->禁用安全检查GS 4.关闭生成清…
阅读更多...
再探URLDNS链(手搓exp)

再探URLDNS链(手搓exp)

夜深了，想着还需要沉淀自己的基础能力，于是乎没有继续往CC链里爬，通过研究了一下ysoserial里的URLDNS链，决定自己尝试写一个类似却有些不同的exp，使自己的基础更加牢固一些，故有了今天这篇文章。 ysoserial里的URLDNS链我就不再多说，有兴趣的话自己可以去看下面这篇文章…
阅读更多...
zabbix动作执行命令失效不起作用？

zabbix动作执行命令失效不起作用？

1. zabbix在web界面设置完主机组&#xff0c;主机&#xff0c;监控项&#xff0c;触发器&#xff0c;动作之后 监控项监控到了&#xff0c;触发器触发动作&#xff0c;但是执行的指令不起作用 流程 在zabbix-agent端将nginx服务down掉&#xff0c;zabbix会自动监控并执行重启的…
阅读更多...
长安车机安装三方APP

长安车机安装三方APP

前言 长安车机目前为基于安卓自研的系统。 目前 默认这个车机系统，不允许安装三方软件，具体表现为：插入u盘识别不出里边的apk文件。 自带的软件版本都特别低，且不支持升级，只能等待整个车机系统连带升级。 重点是，他们通常好几年不推送升级车机系统！ 重点来了：没有攻破…
阅读更多...
推荐文章

Copyright @ 2022~2023