我要提问
ARTICLE DETAIL

资讯详情

前沿编程新知与开发实战干货的深度解读。

ModelScope 命令行完整指南:下载模型、管理仓库、清理缓存一步到位

ModelScope 命令行完整指南:下载模型、管理仓库、清理缓存一步到位 ModelScope 命令行完整指南下载模型、管理仓库、清理缓存一步到位【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscopeModelScope 是阿里巴巴开源的模型即服务Model-as-a-Service框架modelscope命令行是它与平台交互的官方入口一条命令下载模型权重、一条命令上传模型仓库、一条命令生成自定义 pipeline 模板。这篇文章带你走完「装好 → 登录 → 下载模型 → 建库上传 → 清理缓存」的完整闭环全程只需要 5 条核心命令。2 分钟装好 ModelScope 命令行并验证可用完成安装后你可以直接在终端敲modelscope看到全部可用子命令后续所有操作都从这里开始。确认 Python 版本满足要求项目要求 Python 3.10见 pyproject.toml 的requires-python配置python --version # 需要 3.10 及以上旧版本会直接装失败安装命令行核心包pip install modelscope核心包只带下载、登录、模型仓库管理等基础能力体积小装完就能用。按需追加领域依赖避免一次装爆pip install modelscope[nlp] # 用文本模型时 pip install modelscope[cv] # 用视觉模型时依赖清单都放在 requirements/ 目录下每个领域一份pip list里不会混进不相关的重型库。验证安装看到版本号即成功modelscope --version⚠️ 避免直接pip install modelscope[all]它会把 CV、NLP、多模态全家桶一次拉下来磁盘和时间成本都很高。用 SDK 令牌登录让命令拥有你的账户权限完成登录后创建模型仓库、上传文件这类「写操作」不再需要重复认证一条命令长期有效。到 ModelScope 平台的「我的页面 - 访问令牌」中生成一个SDK 令牌Access Token复制下来。执行登录令牌会保存到本地凭证中modelscope login --token 你的SDK令牌好处令牌只写入本地配置后续所有命令自动携带身份不用再输密码。验证登录态能返回你的用户名即成功modelscope whoami⚠️令牌不要提交进代码仓库或发给他人它等价于你的账户钥匙泄露后随时可以在平台侧重新生成。一条命令下载模型还能精确到单个文件完成这一步后你可以只拉取需要的权重或配置文件而不是整个仓库几个 GB 的文件。最简用法下载整个模型仓库的默认版本modelscope download --model AI-ModelScope/gpt2文件默认落进~/.cache/modelscope/hub/缓存目录带断点续传和重试机制见 modelscope/hub/file_download.py 中的重试与分块下载实现。指定仓库内的具体文件只下你要的那几个modelscope download --model AI-ModelScope/gpt2 64.tflite config.json参数是文件相对路径传几个就下几个省流量也省磁盘。用 glob 模式批量筛选包含与排除可以叠加modelscope download --model AI-ModelScope/gpt2 \ --include *.tflite onnx/* \ --exclude *.bin--include圈定范围--exclude再剔除适合「要所有轻量格式、不要 PyTorch 大权重」这类场景。指定本地目录绕开缓存直接落盘modelscope download --model AI-ModelScope/gpt2 \ --local_dir ./models/gpt2--local_dir优先级高于--cache_dir目录结构按你给的路径原样展开方便直接喂给推理代码。锁定版本保证可复现modelscope download --model AI-ModelScope/gpt2 --revision master不写--revision时取的是最新快照生产环境建议显式指定避免「同样的代码、不同的模型」这种隐蔽问题。⚠️--include/--exclude传的是多个独立参数空格分隔不是逗号分隔的字符串写错会被当成文件名字面量。顺路把数据集也拉下来完成这一步后你的模型和数据集共用同一个下载入口脚本里不用切换工具。modelscope download --dataset 你的组织/数据集ID \ --include *.jsonl \ --local_dir ./data/my_dataset--dataset与--model参数结构完全一致--include、--local_dir同样生效一套心智模型覆盖两类资源。创建模型仓库并上传你的训练产物完成上传后你的模型就挂在 ModelScope 平台上任何人按可见性都能一条命令下载团队协作和版本追溯就打通了。创建模型仓库modelscope model -act create \ -gid YOUR_GROUP_ID \ -mid my-medical-ner \ -vis 3 \ -lic Apache-2.0 \ -ch 医疗命名实体识别-vis控制可见性1私有、3内部可见、5公开-lic从 Apache-2.0、MIT、GPL-3.0 等许可证中选一个参数全集见 docs/source/command.md 的 model 小节。上传本地模型目录带上版本标签和说明modelscope model -act upload \ -gid YOUR_GROUP_ID \ -mid my-medical-ner \ -md ./final_model_files/ \ -vt v0.0.1 \ -vi 首次上传基于 RoBERTa 微调的 NER 模型-vt是版本 tag、-vi是版本说明写清楚改了什么、指标如何三个月后的你和同事都会感谢你。也可以用命令反向下载平台上的模型到本地modelscope model -act download -gid YOUR_GROUP_ID -mid my-medical-ner -md ./downloaded⚠️ 上传前确认-md目录里没有混入.git、checkpoint-*中间权重这类不该发布的文件-vi里可以补一句「仅含最终权重」。生成自定义 Pipeline 模板把模型接进自己的任务完成脚手架生成后你拿到一个填好类名、任务名的可运行 Python 文件照着填 forward 逻辑就能把自己的模型注册进 ModelScope。执行脚手架命令指定任务名和类名modelscope pipeline -act create \ -t my_text_classification \ -m MyTextModel \ -p MyTextPreprocessor \ -pp MyTextPipeline \ -f ms_wrapper.py \ -s ./模板来自 modelscope/cli/template/ 目录命令把类名、任务名批量替换进模板后写出ms_wrapper.py见 modelscope/cli/pipeline.py 的create_template实现。打开生成的ms_wrapper.py补全forward与前处理逻辑再按文件内注释运行注册流程。好处手写注册模板、配置 JSON 容易漏字段模板生成的骨架保证字段与注册机制对得上省掉踩空转的时间。把缓存搬到大盘并定期清理完成缓存治理后你可以随时看到缓存里有哪些模型、各占多少空间并安全地删掉长期不用的部分。把缓存指到大容量磁盘写进 shell 配置长期生效export MODELSCOPE_CACHE/data/modelscope_cache所有download默认落点跟随这个变量小盘 SSD 就不用遭殃了。查看缓存占用明细modelscope scancache --details会列出每个缓存仓库/文件的大小和最近访问时间清理前先看看再动手。清理缓存modelscope clearcache缓存管理逻辑在 modelscope/hub/cache_manager.py底层按 blob 去重删掉的只是引用不完整的文件重复版本不会浪费双倍空间。⚠️ 清理前确认没有训练任务正在跑——被删除的权重下次用会触发全量重新下载GB 级模型一次往返就是几十分钟。速记卡片场景命令安装验证pip install modelscope→modelscope --version身份登录modelscope login --token SDK令牌下载整仓modelscope download --model org/model下载指定文件modelscope download --model org/model config.json pytorch_model.bin模式筛选--include *.json --exclude **/training/*指定落盘目录--local_dir ./models/x优先于--cache_dir指定版本--revision tag下载数据集modelscope download --dataset org/ds --include *.jsonl建仓库modelscope model -act create -gid 组 -mid 模型 -vis 5 -lic Apache-2.0传模型modelscope model -act upload -gid 组 -mid 模型 -md ./files -vt v0.0.1 -vi 说明生成模板modelscope pipeline -act create -t 任务 -m 类名 -f ms_wrapper.py看缓存modelscope scancache --details清缓存modelscope clearcache缓存换盘export MODELSCOPE_CACHE/data/cache下一步行动清单现在装好核心包并跑一次modelscope --version3 分钟内拿到可用环境。生成一个 SDK 令牌并modelscope login把登录态验证掉whoami出名字才算数。挑一个你最近要用的小模型用--include只下config.json 一个权重文件体验按需下载。把MODELSCOPE_CACHE指到磁盘空间最大的分区写进 shell 配置。把你手头的某个模型目录整理干净删中间 checkpoint用-vt/-vi上传一版给团队留一个可下载的入口。【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表