人工智能大模型具身智能机器人【免费下载链接】EasyWAM-Hidden-Wan22项目地址https://ai.gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22点击查看免费下载世界动作模型World Action Model简称 WAM是一类既能脑内推演未来画面、又能直接输出机器人动作的新兴模型架构。EasyWAM-Hidden-Wan22 正是一组基于视频扩散模型 Wan2.2-TI2V-5B 训练的 WAM 检查点模型权重在 LIBERO 机器人操作基准上全参数平均成功率高达 98.8%。这篇新手教程会用通俗的语言讲清楚 WAM 是什么、Hidden 架构如何运作以及如何下载检查点并运行评测。一、什么是世界动作模型WAM先从一个类比说起人类在伸手拿杯子之前大脑会先想象杯子被抓起后的样子而传统机器人策略模型往往只做一件事——看到图像直接输出动作中间没有想象环节。世界动作模型则把这两步合二为一世界模型部分根据当前画面预测未来会发生什么即想象接下来的视频动作输出部分在想象的过程中同步输出机器人该做的动作序列这样模型就有了 foresight预知能力动作规划更稳健。而实现预测未来画面的最佳底座正是视频扩散模型——像 Sora、Wan 系列这类能生成逼真视频的技术。EasyWAM-Hidden-Wan22 选用的底座是Wan2.2-TI2V-5B50 亿参数的文生视频/图生视频扩散模型让机器人模型看懂物理世界如何演化再据此驱动机械臂。二、EasyWAM-Hidden-Wan22 是什么这个仓库是一个检查点发布仓库存放训练好的模型权重由 EasyWAM 代码库训练产出主要面向 LIBERO 机器人基准场景。文件说明libero_hidden_wan22.pt全参数检查点约 12 GBLIBERO 四个套件通用libero_hidden_wan22_lora_128.ptLoRA 检查点rank 128、alpha 128约 2.7 GB体积小、易上手libero_dataset_stats.jsonLIBERO 数据集归一化统计state 8 维、action 7 维、动作块 32 步README.md完整评测表格、下载与评测命令两个版本怎么选追求极限性能选全参数版显卡预算有限或想快速复现选 LoRA 版——它只在视频主干上训练了低秩适配层体积缩小到约 1/4.5。三、核心原理视频扩散模型如何控制机器人Hidden 是这个架构的精髓一句话概括动作网络不看原始像素只读取视频网络内部的隐藏特征。整个推理流程如下机器人状态8 维以 sequence 方式插入 当前图像 │ ▼ Video DiTWan2.2 视频扩散主干 ── 预测未来视频帧 ──▶ 隐藏视觉条件hidden visual conditioning │ 中间特征单向传递不反向影响视频网络 ▼ Action DiT独立动作网络 │ ▼ 输出 32 步动作序列每步 7 维6 维末端位移 1 维夹爪开合理解这张图只需要记住三点视频预测是副产品也是发动机推理时模型保留对未来视频的预测这份想象中的画面反过来成为动作决策的视觉条件——这就是 hidden隐藏条件单向条件Action DiT 只读取 Video DiT 的中间特征不会干扰视频生成两部分各司其职动作块action chunk机制模型一次输出未来 32 步动作7 维/步对应 6 自由度末端增量 夹爪执行一段后再重新规划兼顾流畅性与纠错能力这种设计的好处视频扩散模型天然具备强大的物理世界先验物体运动、遮挡、接触动作网络搭便车获得这些先验而不需要从零学习。四、LIBERO 基准成绩一览LIBERO 是机器人操作领域的常用模拟基准包含 Spatial空间关系、Object物体操作、Goal目标导向、LIBERO-10 四个套件。默认评测协议下每个任务运行 50 次试验成功率%越高越好全参数检查点Full-Parameter模型SpatialObjectGoalLIBERO-10平均EasyWAM-Unified98.498.899.298.098.6EasyWAM-MoT97.099.296.694.096.7EasyWAM-MoT-Joint98.298.097.696.897.7EasyWAM-MoT-IDM99.099.298.897.498.6 EasyWAM-Hidden99.2100.097.898.298.8LoRA 检查点Rank 128模型SpatialObjectGoalLIBERO-10平均EasyWAM-Unified91.298.891.866.287.0EasyWAM-MoT96.899.697.490.095.9 EasyWAM-Hidden98.099.889.486.693.5另外更严格的LIBERO-Plus基准会引入背景、相机位姿、语言指令、布局、光照、噪声、机器人外观等 8 类扰动来测试泛化能力。EasyWAM-Hidden 在其中平均 77.6%且在 Camera57.0、Layout84.3、Robot83.7三个维度上排名同组第一。完整数据见 README.md。五、新手上手下载检查点并运行评测⚠️前置条件本仓库只含权重训练与推理代码在 EasyWAM 代码库中需先安装 EasyWAM 并准备好 Wan2.2-TI2V-5B 骨干权重。特别注意LoRA 检查点不包含完整 Wan2.2 骨干使用前必须先下载骨干权重并配置路径且需使用对应的_lora任务配方加载。第 1 步下载检查点hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints第 2 步运行 LIBERO 评测# 全参数检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22 \ ckpt./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22_lora \ ckpt./checkpoints/libero_hidden_wan22_lora_128.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json默认协议会对四个 LIBERO 套件各任务跑 50 次试验。多卡环境可追加MULTIRUN.num_gpusgpu-count参数将评测分配到多张 GPU 上并行运行。六、常见问题 FAQ ❓Q1世界动作模型和普通看图出动作的策略模型有什么区别策略模型是输入→输出的直连映射WAM 在输出动作前会先预测未来视频让动作决策建立在对世界演化的想象之上这正是 WAM 在长时序任务和泛化性上占优的原因。Q2为什么叫 Hidden因为 Action DiT 的条件输入是 Video DiT 内部中间层特征隐藏表示而不是原始像素或最终生成的视频帧两者之间是单向条件关系。Q3state_position: sequence是什么意思指机器人状态 token 的放置方式——状态向量8 维以序列 token 的形式插入模型输入序列中供动作网络感知本体状态。Q4这个仓库能直接训练吗不能本仓库是纯权重仓库.pt格式的 EasyWAM PyTorch 检查点。训练、加载骨干等完整流程请遵循 EasyWAM 代码库的官方指南。Q5许可协议是什么EasyWAM 代码为 MIT 许可本仓库发布的检查点为CC BY-NC 4.0非商用并受其基础模型与训练数据条款约束。研究引用请参考 README.md 中的 BibTeX 条目。写在最后EasyWAM-Hidden-Wan22 展示了视频扩散模型进军机器人控制的一条清晰路径用想象未来来指导当下动作。如果你正在入门世界动作模型方向从 LoRA 检查点开始复现是成本最低、收益最快的第一步。赞分享人工智能大模型具身智能机器人【免费下载链接】EasyWAM-Hidden-Wan22项目地址https://ai.gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22点击查看免费下载相关推荐什么是世界动作模型?如何从 EasyWAM-Hidden-Wan22-LoRA-128 看懂视频扩散模型驱动机器人什么是世界动作模型?如何从 EasyWAM Hidden Wan22 LoRA 128 看懂视频扩散模型驱动机器人 EasyWAM Hidden Wan22 LRefly CLI Workflow 命令详解从自然语言生成到节点级调试的 Agent 工作流操作指南Refly CLI Workflow 命令详解从自然语言生成到节点级调试的 Agent 工作流操作指南 本文以 Refly 仓库中 packages/cli/什么是机器人世界动作模型EasyWAM-Hidden-Cosmos25 项目入门完全指南什么是机器人世界动作模型EasyWAM Hidden Cosmos25 项目入门完全指南 EasyWAM Hidden Cosmos25 是一个面向机器人领域上一篇轻量化秘诀Breeze-TTS-2-mlx-8bit如何在苹果芯片上实现8bit量化mxfp8原理完整指南下一篇Ghostel Shell集成深度指南bash/zsh/fish/nushell零配置目录跟踪与提示符导航创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 新手教程：什么是世界动作模型（WAM）？EasyWAM-Hidden-Wan22如何用视频扩散模型控制机器人
人工智能大模型具身智能机器人【免费下载链接】EasyWAM-Hidden-Wan22项目地址https://ai.gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22点击查看免费下载世界动作模型World Action Model简称 WAM是一类既能脑内推演未来画面、又能直接输出机器人动作的新兴模型架构。EasyWAM-Hidden-Wan22 正是一组基于视频扩散模型 Wan2.2-TI2V-5B 训练的 WAM 检查点模型权重在 LIBERO 机器人操作基准上全参数平均成功率高达 98.8%。这篇新手教程会用通俗的语言讲清楚 WAM 是什么、Hidden 架构如何运作以及如何下载检查点并运行评测。一、什么是世界动作模型WAM先从一个类比说起人类在伸手拿杯子之前大脑会先想象杯子被抓起后的样子而传统机器人策略模型往往只做一件事——看到图像直接输出动作中间没有想象环节。世界动作模型则把这两步合二为一世界模型部分根据当前画面预测未来会发生什么即想象接下来的视频动作输出部分在想象的过程中同步输出机器人该做的动作序列这样模型就有了 foresight预知能力动作规划更稳健。而实现预测未来画面的最佳底座正是视频扩散模型——像 Sora、Wan 系列这类能生成逼真视频的技术。EasyWAM-Hidden-Wan22 选用的底座是Wan2.2-TI2V-5B50 亿参数的文生视频/图生视频扩散模型让机器人模型看懂物理世界如何演化再据此驱动机械臂。二、EasyWAM-Hidden-Wan22 是什么这个仓库是一个检查点发布仓库存放训练好的模型权重由 EasyWAM 代码库训练产出主要面向 LIBERO 机器人基准场景。文件说明libero_hidden_wan22.pt全参数检查点约 12 GBLIBERO 四个套件通用libero_hidden_wan22_lora_128.ptLoRA 检查点rank 128、alpha 128约 2.7 GB体积小、易上手libero_dataset_stats.jsonLIBERO 数据集归一化统计state 8 维、action 7 维、动作块 32 步README.md完整评测表格、下载与评测命令两个版本怎么选追求极限性能选全参数版显卡预算有限或想快速复现选 LoRA 版——它只在视频主干上训练了低秩适配层体积缩小到约 1/4.5。三、核心原理视频扩散模型如何控制机器人Hidden 是这个架构的精髓一句话概括动作网络不看原始像素只读取视频网络内部的隐藏特征。整个推理流程如下机器人状态8 维以 sequence 方式插入 当前图像 │ ▼ Video DiTWan2.2 视频扩散主干 ── 预测未来视频帧 ──▶ 隐藏视觉条件hidden visual conditioning │ 中间特征单向传递不反向影响视频网络 ▼ Action DiT独立动作网络 │ ▼ 输出 32 步动作序列每步 7 维6 维末端位移 1 维夹爪开合理解这张图只需要记住三点视频预测是副产品也是发动机推理时模型保留对未来视频的预测这份想象中的画面反过来成为动作决策的视觉条件——这就是 hidden隐藏条件单向条件Action DiT 只读取 Video DiT 的中间特征不会干扰视频生成两部分各司其职动作块action chunk机制模型一次输出未来 32 步动作7 维/步对应 6 自由度末端增量 夹爪执行一段后再重新规划兼顾流畅性与纠错能力这种设计的好处视频扩散模型天然具备强大的物理世界先验物体运动、遮挡、接触动作网络搭便车获得这些先验而不需要从零学习。四、LIBERO 基准成绩一览LIBERO 是机器人操作领域的常用模拟基准包含 Spatial空间关系、Object物体操作、Goal目标导向、LIBERO-10 四个套件。默认评测协议下每个任务运行 50 次试验成功率%越高越好全参数检查点Full-Parameter模型SpatialObjectGoalLIBERO-10平均EasyWAM-Unified98.498.899.298.098.6EasyWAM-MoT97.099.296.694.096.7EasyWAM-MoT-Joint98.298.097.696.897.7EasyWAM-MoT-IDM99.099.298.897.498.6 EasyWAM-Hidden99.2100.097.898.298.8LoRA 检查点Rank 128模型SpatialObjectGoalLIBERO-10平均EasyWAM-Unified91.298.891.866.287.0EasyWAM-MoT96.899.697.490.095.9 EasyWAM-Hidden98.099.889.486.693.5另外更严格的LIBERO-Plus基准会引入背景、相机位姿、语言指令、布局、光照、噪声、机器人外观等 8 类扰动来测试泛化能力。EasyWAM-Hidden 在其中平均 77.6%且在 Camera57.0、Layout84.3、Robot83.7三个维度上排名同组第一。完整数据见 README.md。五、新手上手下载检查点并运行评测⚠️前置条件本仓库只含权重训练与推理代码在 EasyWAM 代码库中需先安装 EasyWAM 并准备好 Wan2.2-TI2V-5B 骨干权重。特别注意LoRA 检查点不包含完整 Wan2.2 骨干使用前必须先下载骨干权重并配置路径且需使用对应的_lora任务配方加载。第 1 步下载检查点hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints第 2 步运行 LIBERO 评测# 全参数检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22 \ ckpt./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22_lora \ ckpt./checkpoints/libero_hidden_wan22_lora_128.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json默认协议会对四个 LIBERO 套件各任务跑 50 次试验。多卡环境可追加MULTIRUN.num_gpusgpu-count参数将评测分配到多张 GPU 上并行运行。六、常见问题 FAQ ❓Q1世界动作模型和普通看图出动作的策略模型有什么区别策略模型是输入→输出的直连映射WAM 在输出动作前会先预测未来视频让动作决策建立在对世界演化的想象之上这正是 WAM 在长时序任务和泛化性上占优的原因。Q2为什么叫 Hidden因为 Action DiT 的条件输入是 Video DiT 内部中间层特征隐藏表示而不是原始像素或最终生成的视频帧两者之间是单向条件关系。Q3state_position: sequence是什么意思指机器人状态 token 的放置方式——状态向量8 维以序列 token 的形式插入模型输入序列中供动作网络感知本体状态。Q4这个仓库能直接训练吗不能本仓库是纯权重仓库.pt格式的 EasyWAM PyTorch 检查点。训练、加载骨干等完整流程请遵循 EasyWAM 代码库的官方指南。Q5许可协议是什么EasyWAM 代码为 MIT 许可本仓库发布的检查点为CC BY-NC 4.0非商用并受其基础模型与训练数据条款约束。研究引用请参考 README.md 中的 BibTeX 条目。写在最后EasyWAM-Hidden-Wan22 展示了视频扩散模型进军机器人控制的一条清晰路径用想象未来来指导当下动作。如果你正在入门世界动作模型方向从 LoRA 检查点开始复现是成本最低、收益最快的第一步。赞分享人工智能大模型具身智能机器人【免费下载链接】EasyWAM-Hidden-Wan22项目地址https://ai.gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22点击查看免费下载相关推荐什么是世界动作模型?如何从 EasyWAM-Hidden-Wan22-LoRA-128 看懂视频扩散模型驱动机器人什么是世界动作模型?如何从 EasyWAM Hidden Wan22 LoRA 128 看懂视频扩散模型驱动机器人 EasyWAM Hidden Wan22 LRefly CLI Workflow 命令详解从自然语言生成到节点级调试的 Agent 工作流操作指南Refly CLI Workflow 命令详解从自然语言生成到节点级调试的 Agent 工作流操作指南 本文以 Refly 仓库中 packages/cli/什么是机器人世界动作模型EasyWAM-Hidden-Cosmos25 项目入门完全指南什么是机器人世界动作模型EasyWAM Hidden Cosmos25 项目入门完全指南 EasyWAM Hidden Cosmos25 是一个面向机器人领域上一篇轻量化秘诀Breeze-TTS-2-mlx-8bit如何在苹果芯片上实现8bit量化mxfp8原理完整指南下一篇Ghostel Shell集成深度指南bash/zsh/fish/nushell零配置目录跟踪与提示符导航创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考