当前位置: 首页 > news >正文

LLM | 迁移 ollama 模型文件到新机器(支持离线运行)

1. 详细步骤

qwen2.5:0.5b-instruct-fp16为例

1.1 迁移 manifests 文件

# 本地机器
# 查看 manifests 下的配置文件
more ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5/0.5b-instruct-fp16
# 输出类似如下
{"schemaVersion": 2,"mediaType": "application/vnd.docker.distribution.manifest.v2+json","config": {"mediaType": "application/vnd.docker.container.image.v1+json","digest": "sha256:ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e","size": 487},"layers": [{"mediaType": "application/vnd.ollama.image.model","digest": "sha256:6f96e01a3f550ca08aea1e5725bb8d5a7eccc6f281c30417e9d380b8c46467bd","size": 994156864,"from": "/path/.ollama/models/blobs/sha256-6f96e01a3f550ca08aea1e5725bb8d5a7eccc6f281c30417e9d380b8c46467bd"},{"mediaType": "application/vnd.ollama.image.system","digest": "sha256:66b9ea09bd5b7099cbb4fc820f31b575c0366fa439b08245566692c6784e281e","size": 68},{"mediaType": "application/vnd.ollama.image.template","digest": "sha256:24782485900349ceac7d482c996674daca27a067e15e0902a6e864ca34b51180","size": 1441},{"mediaType": "application/vnd.ollama.image.license","digest": "sha256:832dd9e00a68dd83b3c3fb9f5588dad7dcf337a0db50f7d9483f310cd292e92e","size": 11343}]
}# 本地机器
# 拷贝相关文件(scp或者手动拷贝文件都可以)
cd ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5
scp 0.5b-instruct-fp16 username@ip:~/# 新机器
mv ~/0.5b-instruct-fp16 ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5/0.5b-instruct-fp16

1.2 迁移 blobs 文件

# 本地机器
cd .ollama/models/blobs
# 下面一行命令可跳过
ls -lah | grep sha256-ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e
# 拷贝 0.5b-instruct-fp16 的 config 和 layers 里面的 digest 记录的文件(":" 换成 "-")(其他 4 个文件同理)(手动拷贝文件也可以)
scp sha256-ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e username@ip:~/# 新机器
mv username@ip:~/sha256-ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e ~/.ollama/models/blobs注:步骤 1.10.5b-instruct-fp16 里面的 digest 记录的所有文件都要拷贝到新机器

1.3 验证

# 新机器
# 下面一行命令可跳过
ollama list | grep qwen2.5:0.5b-instruct-fp16
ollama run qwen2.5:0.5b-instruct-fp16

http://www.mrgr.cn/news/37947.html

相关文章:

  • Android Button “No speakable text present” 问题解决
  • 鳕鱼检测系统源码分享
  • 周销量超BBA,稳居新势力榜首,理想汽车企稳发展新阶段
  • Android中的页面跳转机制
  • C#中NModbus4中常用的方法
  • Modbus通信协议详解-超级小白必懂
  • 计算机复习9.27
  • Web 服务器与动态脚本语言通信的接口协议有哪些
  • Meta号称替代程序员的LlamaCoder效果被CodeFlying秒杀,来看实测!
  • 羽毛类型检测系统源码分享
  • [java][gps]高德,百度,火星GPS坐标转换的静态方法
  • TypeScript 设计模式之【状态模式】
  • 图论(dfs系列) 9/27
  • 短剧向左,体育向右,快手前途未卜?
  • 产销皆下行,造势口碑遭“反噬”,魏建军能否重振长城汽车?
  • C语言-IO
  • C#自定义工具类-数组工具类
  • 征程6 上基于 DEB 工具实现包管理
  • 【前端】ES13:ES13新特性
  • 前海石公园的停车点探寻