MAX 扩散模型流水线完全指南max.pipelines.diffusion 的 Pipeline、去噪缓存与调度器架构解析【免费下载链接】mojoThe Modular Platform (includes MAX Mojo)项目地址: https://gitcode.com/GitHub_Trending/mo/mojo导读本文围绕 MAX Python SDK 的 max.pipelines.diffusion 模块展开系统讲解 Modular 平台MAX Mojo中扩散模型Diffusion Model像素生成流水线的组成PixelGenerationPipeline与DiffusionPipeline抽象、CompileWrapper/max_compile编译机制、First-Block CacheFBCache首块缓存、TaylorSeer 泰勒级数去噪缓存以及 Flow Matching / UniPC 调度器工厂。读完本文你将掌握该模块的公开 API 全貌、两大去噪加速缓存的原理与配置参数--first-block-caching/--taylorseer对应的字段语义并能结合仓库源码定位每个类与函数的具体实现位置。模块总览一个专门承载扩散模型加速组件的子包max.pipelines.diffusion是 MAX 推理流水线体系中专用于扩散模型图像/视频像素生成的子包其公开 API 由 max/python/docs/pipelines.diffusion.rst 文档骨架枚举并在 max/python/max/pipelines/diffusion/init.py 中统一导出。整个子包按职责划分为以下几组分组公开符号源码文件Pipeline 抽象DiffusionPipeline、DiffusionPipelineOutput、CompileWrapper、PixelGenerationPipelineinterface.py、pipeline.py首块缓存 FBCacheFirstBlockCache、FirstBlockCacheState、fbcache_conditional_executionfirst_block_cache.py、cache.py去噪缓存TaylorSeerTaylorSeer、TaylorSeerState、TaylorSeerCache、TaylorSeerBufferState、DenoisingCacheState、run_denoising_steptaylorseer.py、cache.py缓存配置DenoisingCacheConfig、DenoisingCacheSettings、TaylorSeerDefaults、DEFAULT_DENOISING_CACHE_CONFIG、GENERIC_TAYLORSEER_DEFAULTS、resolve_denoising_cacheconfig.py编译工具max_compileinterface.py调度器SchedulerFactory、FlowMatchEulerDiscreteScheduler、UniPCMultistepSchedulerschedulers/模块文档pipelines.diffusion.schedulers.rst将调度器单列为 Submodules实际上所有扩散组件文本编码器、VAE、transformer 主干、调度器在具体架构实现中按components映射装配下文将逐一拆解。像素生成流水线PixelGenerationPipeline 与 DiffusionPipeline顶层入口PixelGenerationPipelinePixelGenerationPipeline 是模块面向请求-响应层的顶层执行入口泛型参数为PixelGenerationInputs[PixelGenerationContextType]输入、GenerationOutput输出。其max_batch_size恒为 1源码注释明确说明像素生成流水线一次只处理一个请求见 pipeline.pyprepare_batch对超过 1 个请求直接抛出ValueError(Batching of different requests is not supported yet.)pipeline.py。构造时PixelGenerationPipeline依据传入的pipeline_model类型走三条不同执行路径pipeline.pyModuleV3 路径pipeline_model是Module子类在F.lazy()惰性图上下文中构造模块通过adapt_module_loader组合权值加载器按模块声明的参数惰性物化权值再module_base.compile(...)编译前向图得到CompiledModel。一条请求的完整处理文本编码 → VAE 图像编码 → 去噪循环 → VAE 解码被整体编译进一张图对应的prepare_inputs/from_outputs协议由 PixelGenerationModule Protocol 定义。Executor 路径pipeline_model是PipelineExecutor子类直接实例化 executor权重路径与运行时配置由pipeline_config提供。经典路径DiffusionPipeline子类将pipeline_config、session、devices、weight_paths、cache_config传给DiffusionPipeline子类构造。execute()方法会针对三种路径分别调用self._compiled(...)、self._executor.execute(...)或self._pipeline_model.execute(...)并把结果统一整理为GenerationOutput字典。值得注意的两个输出细节视频输出当模型返回 5 维数组[B, C, T, H, W]时被转置为[T, H, W, C]帧序列包装成OutputVideoContentpipeline.py图像输出按num_images_per_prompt切分像素数据用ImageGenerationDetails.from_images(...)统计计费元数据尺寸、百万像素、步数token 数恒为 0再以OutputImageContent.from_numpy(img, formatoutput_format)编码输出pipeline.py。基类抽象DiffusionPipelineDiffusionPipeline 是经典路径下所有扩散流水线的抽象基类子类必须定义components类属性一个把组件名映射到ComponentModel类型的字典。基类还暴露了几个可覆写的默认值类属性默认值含义default_num_inference_steps50用户未指定去噪步数时的默认步数default_residual_threshold0.05FBCache 首块残差相对差阈值见下文请求未指定时使用unprefixed_weight_componentNone无component/前缀的权值文件归属的组件支持多仓库权值布局其构造流程interface.py为先通过_load_sub_models(weight_paths)按components逐个加载ComponentModel子组件使用ModelManifest中各组件自己的MAXModelConfig解析编码与权值路径默认编码bfloat16见 interface.py把子模型setattr到实例上再调用抽象的init_remaining_components()初始化非ComponentModel组件如图像处理器。两个关键抽象方法prepare_inputs(context: PixelContext) - Any把单个请求上下文翻译为模型输入execute(model_inputs, **kwargs) - DiffusionPipelineOutput执行流水线并返回图像。DiffusionPipelineOutput 是一个数据类只有一个字段images: npt.NDArray[np.uint8]约定为NHWC 布局、取值 [0, 255] 的 uint8 NumPy 数组形状(B, H, W, C)。编译工具CompileWrapper 与 max_compileCompileWrapper 包装一个可编译目标普通函数或Module与输入TensorType列表。对函数目标它在Graph上下文中以graph.inputs调用目标并graph.output(...)记录输出然后根据输入是否在 GPU 上选择Accelerator()或CPU()设备、创建InferenceSession并session.load(compiled_graph)对Module目标则直接调用其.compile(*input_types)。调用时会把Tensor参数解包为driver_tensor传给会话再把结果包回Tensor。max_compile 是它的双形态入口直接传入目标则立即编译返回CompileWrapper不传目标则返回一个装饰器max_compile(input_types...)风格典型用法是把某个 DiT 组件/函数用显式输入类型编译进图。源码中input_types缺失会抛出ValueError提醒调用方必须为编译提供输入类型。去噪加速一First-Block Cache首块缓存原理与状态分配FBCache 的核心思想见 first_block_cache.py 模块 docstring去噪过程中相邻步的首块残差高度相似时跳过剩余的 transformer 块直接复用上一步的完整输出。它把对比与跳过做成图内条件执行因此收益发生在推理图的编译与执行层。FirstBlockCacheState 是每请求可变状态包含两个张量prev_residual上一步首块输出残差形状(batch_size, seq_len, residual_dim)prev_output上一步完整 transformer 输出形状(batch_size, seq_len, output_dim)。FirstBlockCache 只负责按(batch_size, seq_len, residual_dim, output_dim)分配全零状态张量Buffer.zeros落到指定设备。残差维度与输出维度由 transformer 配置推导在 interface.py 的 create_cache_state 中residual_dim num_attention_heads * attention_head_dimoutput_dim patch_size² × (out_channels or in_channels)并校验 transformer 配置必须具备这五个属性。条件执行fbcache_conditional_executionfbcache_conditional_execution 是跨 DiT 模型共享的 FBCacheF.cond分支模板。调用方提供两个原子回调run_remaining_blocks(**kwargs)运行第 1..N 块加单流块返回 pre-tail 隐藏状态run_postamble(hidden_states, temb)施加最后的 norm 投影产出完整输出。residual_threshold是shape[] 的 float32 标量张量作为图输入传入因此可以在运行期调节阈值而无需重新编译——这是 MAX 图执行模型的一个典型设计。分支逻辑若判定可用缓存_can_use_fbcachethen_fn原样返回(first_block_residual, prev_output)否则else_fn真正运行剩余块与收尾层返回(first_block_residual, new_output)。判定函数_can_use_fbcachecache.py实现的是相对差阈值Relative Difference Threshold, RDT检查计算当前与上一步残差逐元素绝对差的均值除以上一步残差绝对值的均值加1e-9防除零得到相对差relative_diff当relative_diff residual_threshold时判定复用缓存。该公式与 denoise_compute_fbcache.py 中相对差公式与diffusion/cache.py保持一致的注释相互印证。在具体架构中FLUX2 等模型的 transformer_forward_fbcache方法即通过该模板接入residual_threshold作为运行时可调标量传入见 denoise_compute_fbcache.py。去噪加速二TaylorSeer 泰勒级数缓存原理用泰勒展开跳过完整 transformer 前向TaylorSeer见 taylorseer.py 模块 docstring用Taylor 级数近似跳过去噪循环中的完整 transformer 前向在跳过步用缓存的 Taylor 因子函数值与导数近似预测输出在执行步用均差divided differences更新因子。两步法保证了预测与更新都只是廉价的小图。TaylorSeer.should_skip(step, warmup_steps, cache_interval)taylorseer.py给出调度规则step warmup_steps时不跳过此后(step - warmup_steps - 1) % cache_interval ! 0时跳过。预测公式为f(tdt) ≈ f(t) f(t)·dt f(t)·dt²/2taylorseer.py二阶项是否启用取决于max_order 2。更新侧用均差递推f₁ (new − old₀)/Δ、f₂ (f₁ − old₁)/Δ并对二阶因子在max_order1时置零taylorseer.py。两种运行形态Tensor 版与 Buffer 版Tensor 形态TaylorSeer 面向经典路径构造时在独立的InferenceSession中编译taylor_predict与taylor_update两张图create_state(batch_size, seq_len, output_dim)分配factor_0/1/2三个全零张量与last_compute_step记录compiled_predict/compiled_update通过driver_tensor执行并包回Tensor。Buffer 形态TaylorSeerCache 面向 executor 风格流水线构造时接收 executor 共享的InferenceSession与已解析的DenoisingCacheConfig通过复用会话加载预测/更新图TaylorSeerBufferState 的因子字段直接是Bufferpredict/update方法以 driver 级 Buffer API 交互update 会原地替换factor_0/1/2并刷新last_compute_step。两种形态都预分配max_order的 int32 标量缓冲并计算delta step − last_compute_step首次为 1.0作为步距输入保证预测/更新图可以跨任意步距复用。统一去噪步骤调度run_denoising_steprun_denoising_step 是不依赖继承的独立版单步调度器调用方传入compute_fn回调运行 transformer 并返回(noise_pred,)或 FBCache 模式的(new_residual, noise_pred)。其五步流程即整个缓存体系的最小运行范式若启用 TaylorSeer用should_skip决定是否跳过计算泰勒步距delta跳过路径compiled_predict用缓存因子输出预测的noise_pred全量路径调用compute_fn()若启用 FBCache 则把new_residual/noise_pred写入prev_residual/prev_output若启用 TaylorSeer用compiled_update均差更新三个因子并记录last_compute_step。DiffusionPipeline.run_denoising_stepinterface.py正是把它包装为基类方法run_transformer由子类按模型参数覆写缓存逻辑全部收敛在这一个函数里。executor 路径如 FLUX2、WAN则在各自 executor 内直接调用同一调度规则见 flux2_executor.py 与 wan_executor.py。缓存配置体系DenoisingCacheSettings 与 DenoisingCacheConfig双层配置模型缓存配置采用用户设置 → 架构默认 → 解析结果三段式config.py 模块 docstringDenoisingCacheSettings用户层设置继承ConfigFileModelpydantic所有字段可选对应 CLI 参数如--first-block-caching、--taylorseer、--taylorseer-cache-interval等TaylorSeerDefaults架构声明的 TaylorSeer 调优默认值cache_interval、warmup_steps、max_orderDenoisingCacheConfig解析后的不可变、全必填配置挂在PipelineRuntimeConfig.denoising_cache上供运行期使用。字段语义与校验规则字段Settings 类型语义解析默认first_block_cachingbool \| None启用 FBCache首块残差相似时跳过剩余 transformer 块Falsetaylorseerbool \| None启用 TaylorSeer用泰勒预测跳过部分步的完整前向Falsetaylorseer_cache_intervalint \| None两次完整计算之间间隔的步数架构典型默认 55DEFAULT_DENOISING_CACHE_CONFIGtaylorseer_warmup_stepsint \| None开始预测前的预热步数架构典型默认 49GENERIC_TAYLORSEER_DEFAULTStaylorseer_max_orderint \| None泰勒展开阶数1或22 使用二阶导数1DenoisingCacheSettings._validate_cache_modeconfig.py在 pydantic 模型校验阶段强制三条规则TaylorSeer 与 FBCache 互斥同时开启直接报错提示--taylorseer OR --first-block-caching二选一cache_interval 1warmup_steps 1max_order ∈ {1, 2}。解析函数resolve_denoising_cacheresolve_denoising_cache(settings, defaults, arch_nameNone) 负责把用户设置与架构默认合并用户显式设置的字段优先未设置的布尔字段落为False未设置的调优字段先取架构TaylorSeerDefaults再取DEFAULT_DENOISING_CACHE_CONFIG。边界行为值得注意若用户启用 TaylorSeer 但interval/warmup/max_order均未设置、且架构没有声明默认值则抛出ValueError提示显式设置字段避免带病运行。DEFAULT_DENOISING_CACHE_CONFIGconfig.py是良性全默认缓存全部关闭TaylorSeer 调优取通用值interval5, warmup9, max_order1GENERIC_TAYLORSEER_DEFAULTSconfig.py即这些通用调优值供未声明模型特定数值的架构复用。调度器SchedulerFactory 与内置 Scheduler调度器子模块pipelines.diffusion.schedulers.rst导出三个符号SchedulerFactory按 diffusers 配置创建调度器的工厂。内部维护_SCHEDULER_REGISTRY注册表目前支持FlowMatchEulerDiscreteScheduler与UniPCMultistepScheduler两类遇到未支持类名时抛出ValueError并列出受支持集合。create(class_name, config_dictNone)直接把配置字典展开为调度器构造参数。FlowMatchEulerDiscreteSchedulerscheduling_flow_match_euler_discrete.py面向 Flow Matching 训练范式的离散欧拉步进调度器适用于 FLUX 系等流匹配模型。UniPCMultistepSchedulerscheduling_unipc_multistep.pyUniPC 多步调度器支持用更少的步数换取相近的图像质量。从源码结构看调度器是流水线execute阶段按步推进 latent 的数值引擎去噪缓存决定是否执行 transformer调度器决定每步如何更新 latent两者在run_denoising_step与各架构的 denoise 循环中配合使用。在架构中的落地FLUX2、WAN 与 z-image 的接入方式FLUX2flux2_executor.py按taylorseer/first_block_caching配置选择缓存模式flux2_executor.pyDiT 的 FBCache 条件执行路径实现在 denoise_compute_fbcache.py其中residual_threshold作为运行时可调标量 Buffer 传入该文件 L419-L441。WANwan_executor.py同样在 executor 内使用taylorseer_warmup_steps/taylorseer_cache_interval/taylorseer_max_order驱动调度wan_executor.py。z-imageModuleV3 路径示例pipeline_z_image.py在create_cache_state中按first_block_caching/taylorseer分别创建 FBCache 与 TaylorSeer 状态pipeline_z_image.py与DiffusionPipeline基类的缓存状态分配逻辑完全对应。这些架构共同印证了max.pipelines.diffusion的角色它不绑定某个具体模型而是为所有 MAX 扩散流水线提供统一的 Pipeline 抽象、可插拔的去噪缓存原语与配置解析模型差异被收敛在各架构的components、run_transformer覆写与调度器选择中。实践要点小结选择执行路径模型以Module形式接入时走 ModuleV3 整图编译路径性能最激进以PipelineExecutor或DiffusionPipeline子类接入时分别走 executor / 经典路径三者输出协议在 PixelGenerationPipeline.execute 中归一。缓存二选一FBCache--first-block-caching与 TaylorSeer--taylorseer互斥配置解析层会强制校验FBCache 的residual_threshold是运行期可调图输入TaylorSeer 的cache_interval/warmup_steps/max_order可由用户显式覆盖架构默认。状态生命周期DenoisingCacheState、FirstBlockCacheState、TaylorSeerState/TaylorSeerBufferState都是每请求新建的可变状态在create_cache_state中按 transformer 配置推导维度分配运行期在run_denoising_step中读写。输出契约所有流水线最终产出DiffusionPipelineOutput.images——NHWC、uint8、[0, 255] 的 NumPy 数组PixelGenerationPipeline负责按请求 ID 组装GenerationOutput图像或视频帧并提供计费元数据。深入阅读路径API 全貌见 max/python/docs/pipelines.diffusion.rst配置细节见 max/python/docs/pipelines.diffusion.config.rst核心实现集中在 diffusion/ 目录架构消费方示例见 flux2/、wan/、z_image_modulev3/。【免费下载链接】mojoThe Modular Platform (includes MAX Mojo)项目地址: https://gitcode.com/GitHub_Trending/mo/mojo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MAX 扩散模型流水线完全指南：max.pipelines.diffusion 的 Pipeline、去噪缓存与调度器架构解析
MAX 扩散模型流水线完全指南max.pipelines.diffusion 的 Pipeline、去噪缓存与调度器架构解析【免费下载链接】mojoThe Modular Platform (includes MAX Mojo)项目地址: https://gitcode.com/GitHub_Trending/mo/mojo导读本文围绕 MAX Python SDK 的 max.pipelines.diffusion 模块展开系统讲解 Modular 平台MAX Mojo中扩散模型Diffusion Model像素生成流水线的组成PixelGenerationPipeline与DiffusionPipeline抽象、CompileWrapper/max_compile编译机制、First-Block CacheFBCache首块缓存、TaylorSeer 泰勒级数去噪缓存以及 Flow Matching / UniPC 调度器工厂。读完本文你将掌握该模块的公开 API 全貌、两大去噪加速缓存的原理与配置参数--first-block-caching/--taylorseer对应的字段语义并能结合仓库源码定位每个类与函数的具体实现位置。模块总览一个专门承载扩散模型加速组件的子包max.pipelines.diffusion是 MAX 推理流水线体系中专用于扩散模型图像/视频像素生成的子包其公开 API 由 max/python/docs/pipelines.diffusion.rst 文档骨架枚举并在 max/python/max/pipelines/diffusion/init.py 中统一导出。整个子包按职责划分为以下几组分组公开符号源码文件Pipeline 抽象DiffusionPipeline、DiffusionPipelineOutput、CompileWrapper、PixelGenerationPipelineinterface.py、pipeline.py首块缓存 FBCacheFirstBlockCache、FirstBlockCacheState、fbcache_conditional_executionfirst_block_cache.py、cache.py去噪缓存TaylorSeerTaylorSeer、TaylorSeerState、TaylorSeerCache、TaylorSeerBufferState、DenoisingCacheState、run_denoising_steptaylorseer.py、cache.py缓存配置DenoisingCacheConfig、DenoisingCacheSettings、TaylorSeerDefaults、DEFAULT_DENOISING_CACHE_CONFIG、GENERIC_TAYLORSEER_DEFAULTS、resolve_denoising_cacheconfig.py编译工具max_compileinterface.py调度器SchedulerFactory、FlowMatchEulerDiscreteScheduler、UniPCMultistepSchedulerschedulers/模块文档pipelines.diffusion.schedulers.rst将调度器单列为 Submodules实际上所有扩散组件文本编码器、VAE、transformer 主干、调度器在具体架构实现中按components映射装配下文将逐一拆解。像素生成流水线PixelGenerationPipeline 与 DiffusionPipeline顶层入口PixelGenerationPipelinePixelGenerationPipeline 是模块面向请求-响应层的顶层执行入口泛型参数为PixelGenerationInputs[PixelGenerationContextType]输入、GenerationOutput输出。其max_batch_size恒为 1源码注释明确说明像素生成流水线一次只处理一个请求见 pipeline.pyprepare_batch对超过 1 个请求直接抛出ValueError(Batching of different requests is not supported yet.)pipeline.py。构造时PixelGenerationPipeline依据传入的pipeline_model类型走三条不同执行路径pipeline.pyModuleV3 路径pipeline_model是Module子类在F.lazy()惰性图上下文中构造模块通过adapt_module_loader组合权值加载器按模块声明的参数惰性物化权值再module_base.compile(...)编译前向图得到CompiledModel。一条请求的完整处理文本编码 → VAE 图像编码 → 去噪循环 → VAE 解码被整体编译进一张图对应的prepare_inputs/from_outputs协议由 PixelGenerationModule Protocol 定义。Executor 路径pipeline_model是PipelineExecutor子类直接实例化 executor权重路径与运行时配置由pipeline_config提供。经典路径DiffusionPipeline子类将pipeline_config、session、devices、weight_paths、cache_config传给DiffusionPipeline子类构造。execute()方法会针对三种路径分别调用self._compiled(...)、self._executor.execute(...)或self._pipeline_model.execute(...)并把结果统一整理为GenerationOutput字典。值得注意的两个输出细节视频输出当模型返回 5 维数组[B, C, T, H, W]时被转置为[T, H, W, C]帧序列包装成OutputVideoContentpipeline.py图像输出按num_images_per_prompt切分像素数据用ImageGenerationDetails.from_images(...)统计计费元数据尺寸、百万像素、步数token 数恒为 0再以OutputImageContent.from_numpy(img, formatoutput_format)编码输出pipeline.py。基类抽象DiffusionPipelineDiffusionPipeline 是经典路径下所有扩散流水线的抽象基类子类必须定义components类属性一个把组件名映射到ComponentModel类型的字典。基类还暴露了几个可覆写的默认值类属性默认值含义default_num_inference_steps50用户未指定去噪步数时的默认步数default_residual_threshold0.05FBCache 首块残差相对差阈值见下文请求未指定时使用unprefixed_weight_componentNone无component/前缀的权值文件归属的组件支持多仓库权值布局其构造流程interface.py为先通过_load_sub_models(weight_paths)按components逐个加载ComponentModel子组件使用ModelManifest中各组件自己的MAXModelConfig解析编码与权值路径默认编码bfloat16见 interface.py把子模型setattr到实例上再调用抽象的init_remaining_components()初始化非ComponentModel组件如图像处理器。两个关键抽象方法prepare_inputs(context: PixelContext) - Any把单个请求上下文翻译为模型输入execute(model_inputs, **kwargs) - DiffusionPipelineOutput执行流水线并返回图像。DiffusionPipelineOutput 是一个数据类只有一个字段images: npt.NDArray[np.uint8]约定为NHWC 布局、取值 [0, 255] 的 uint8 NumPy 数组形状(B, H, W, C)。编译工具CompileWrapper 与 max_compileCompileWrapper 包装一个可编译目标普通函数或Module与输入TensorType列表。对函数目标它在Graph上下文中以graph.inputs调用目标并graph.output(...)记录输出然后根据输入是否在 GPU 上选择Accelerator()或CPU()设备、创建InferenceSession并session.load(compiled_graph)对Module目标则直接调用其.compile(*input_types)。调用时会把Tensor参数解包为driver_tensor传给会话再把结果包回Tensor。max_compile 是它的双形态入口直接传入目标则立即编译返回CompileWrapper不传目标则返回一个装饰器max_compile(input_types...)风格典型用法是把某个 DiT 组件/函数用显式输入类型编译进图。源码中input_types缺失会抛出ValueError提醒调用方必须为编译提供输入类型。去噪加速一First-Block Cache首块缓存原理与状态分配FBCache 的核心思想见 first_block_cache.py 模块 docstring去噪过程中相邻步的首块残差高度相似时跳过剩余的 transformer 块直接复用上一步的完整输出。它把对比与跳过做成图内条件执行因此收益发生在推理图的编译与执行层。FirstBlockCacheState 是每请求可变状态包含两个张量prev_residual上一步首块输出残差形状(batch_size, seq_len, residual_dim)prev_output上一步完整 transformer 输出形状(batch_size, seq_len, output_dim)。FirstBlockCache 只负责按(batch_size, seq_len, residual_dim, output_dim)分配全零状态张量Buffer.zeros落到指定设备。残差维度与输出维度由 transformer 配置推导在 interface.py 的 create_cache_state 中residual_dim num_attention_heads * attention_head_dimoutput_dim patch_size² × (out_channels or in_channels)并校验 transformer 配置必须具备这五个属性。条件执行fbcache_conditional_executionfbcache_conditional_execution 是跨 DiT 模型共享的 FBCacheF.cond分支模板。调用方提供两个原子回调run_remaining_blocks(**kwargs)运行第 1..N 块加单流块返回 pre-tail 隐藏状态run_postamble(hidden_states, temb)施加最后的 norm 投影产出完整输出。residual_threshold是shape[] 的 float32 标量张量作为图输入传入因此可以在运行期调节阈值而无需重新编译——这是 MAX 图执行模型的一个典型设计。分支逻辑若判定可用缓存_can_use_fbcachethen_fn原样返回(first_block_residual, prev_output)否则else_fn真正运行剩余块与收尾层返回(first_block_residual, new_output)。判定函数_can_use_fbcachecache.py实现的是相对差阈值Relative Difference Threshold, RDT检查计算当前与上一步残差逐元素绝对差的均值除以上一步残差绝对值的均值加1e-9防除零得到相对差relative_diff当relative_diff residual_threshold时判定复用缓存。该公式与 denoise_compute_fbcache.py 中相对差公式与diffusion/cache.py保持一致的注释相互印证。在具体架构中FLUX2 等模型的 transformer_forward_fbcache方法即通过该模板接入residual_threshold作为运行时可调标量传入见 denoise_compute_fbcache.py。去噪加速二TaylorSeer 泰勒级数缓存原理用泰勒展开跳过完整 transformer 前向TaylorSeer见 taylorseer.py 模块 docstring用Taylor 级数近似跳过去噪循环中的完整 transformer 前向在跳过步用缓存的 Taylor 因子函数值与导数近似预测输出在执行步用均差divided differences更新因子。两步法保证了预测与更新都只是廉价的小图。TaylorSeer.should_skip(step, warmup_steps, cache_interval)taylorseer.py给出调度规则step warmup_steps时不跳过此后(step - warmup_steps - 1) % cache_interval ! 0时跳过。预测公式为f(tdt) ≈ f(t) f(t)·dt f(t)·dt²/2taylorseer.py二阶项是否启用取决于max_order 2。更新侧用均差递推f₁ (new − old₀)/Δ、f₂ (f₁ − old₁)/Δ并对二阶因子在max_order1时置零taylorseer.py。两种运行形态Tensor 版与 Buffer 版Tensor 形态TaylorSeer 面向经典路径构造时在独立的InferenceSession中编译taylor_predict与taylor_update两张图create_state(batch_size, seq_len, output_dim)分配factor_0/1/2三个全零张量与last_compute_step记录compiled_predict/compiled_update通过driver_tensor执行并包回Tensor。Buffer 形态TaylorSeerCache 面向 executor 风格流水线构造时接收 executor 共享的InferenceSession与已解析的DenoisingCacheConfig通过复用会话加载预测/更新图TaylorSeerBufferState 的因子字段直接是Bufferpredict/update方法以 driver 级 Buffer API 交互update 会原地替换factor_0/1/2并刷新last_compute_step。两种形态都预分配max_order的 int32 标量缓冲并计算delta step − last_compute_step首次为 1.0作为步距输入保证预测/更新图可以跨任意步距复用。统一去噪步骤调度run_denoising_steprun_denoising_step 是不依赖继承的独立版单步调度器调用方传入compute_fn回调运行 transformer 并返回(noise_pred,)或 FBCache 模式的(new_residual, noise_pred)。其五步流程即整个缓存体系的最小运行范式若启用 TaylorSeer用should_skip决定是否跳过计算泰勒步距delta跳过路径compiled_predict用缓存因子输出预测的noise_pred全量路径调用compute_fn()若启用 FBCache 则把new_residual/noise_pred写入prev_residual/prev_output若启用 TaylorSeer用compiled_update均差更新三个因子并记录last_compute_step。DiffusionPipeline.run_denoising_stepinterface.py正是把它包装为基类方法run_transformer由子类按模型参数覆写缓存逻辑全部收敛在这一个函数里。executor 路径如 FLUX2、WAN则在各自 executor 内直接调用同一调度规则见 flux2_executor.py 与 wan_executor.py。缓存配置体系DenoisingCacheSettings 与 DenoisingCacheConfig双层配置模型缓存配置采用用户设置 → 架构默认 → 解析结果三段式config.py 模块 docstringDenoisingCacheSettings用户层设置继承ConfigFileModelpydantic所有字段可选对应 CLI 参数如--first-block-caching、--taylorseer、--taylorseer-cache-interval等TaylorSeerDefaults架构声明的 TaylorSeer 调优默认值cache_interval、warmup_steps、max_orderDenoisingCacheConfig解析后的不可变、全必填配置挂在PipelineRuntimeConfig.denoising_cache上供运行期使用。字段语义与校验规则字段Settings 类型语义解析默认first_block_cachingbool \| None启用 FBCache首块残差相似时跳过剩余 transformer 块Falsetaylorseerbool \| None启用 TaylorSeer用泰勒预测跳过部分步的完整前向Falsetaylorseer_cache_intervalint \| None两次完整计算之间间隔的步数架构典型默认 55DEFAULT_DENOISING_CACHE_CONFIGtaylorseer_warmup_stepsint \| None开始预测前的预热步数架构典型默认 49GENERIC_TAYLORSEER_DEFAULTStaylorseer_max_orderint \| None泰勒展开阶数1或22 使用二阶导数1DenoisingCacheSettings._validate_cache_modeconfig.py在 pydantic 模型校验阶段强制三条规则TaylorSeer 与 FBCache 互斥同时开启直接报错提示--taylorseer OR --first-block-caching二选一cache_interval 1warmup_steps 1max_order ∈ {1, 2}。解析函数resolve_denoising_cacheresolve_denoising_cache(settings, defaults, arch_nameNone) 负责把用户设置与架构默认合并用户显式设置的字段优先未设置的布尔字段落为False未设置的调优字段先取架构TaylorSeerDefaults再取DEFAULT_DENOISING_CACHE_CONFIG。边界行为值得注意若用户启用 TaylorSeer 但interval/warmup/max_order均未设置、且架构没有声明默认值则抛出ValueError提示显式设置字段避免带病运行。DEFAULT_DENOISING_CACHE_CONFIGconfig.py是良性全默认缓存全部关闭TaylorSeer 调优取通用值interval5, warmup9, max_order1GENERIC_TAYLORSEER_DEFAULTSconfig.py即这些通用调优值供未声明模型特定数值的架构复用。调度器SchedulerFactory 与内置 Scheduler调度器子模块pipelines.diffusion.schedulers.rst导出三个符号SchedulerFactory按 diffusers 配置创建调度器的工厂。内部维护_SCHEDULER_REGISTRY注册表目前支持FlowMatchEulerDiscreteScheduler与UniPCMultistepScheduler两类遇到未支持类名时抛出ValueError并列出受支持集合。create(class_name, config_dictNone)直接把配置字典展开为调度器构造参数。FlowMatchEulerDiscreteSchedulerscheduling_flow_match_euler_discrete.py面向 Flow Matching 训练范式的离散欧拉步进调度器适用于 FLUX 系等流匹配模型。UniPCMultistepSchedulerscheduling_unipc_multistep.pyUniPC 多步调度器支持用更少的步数换取相近的图像质量。从源码结构看调度器是流水线execute阶段按步推进 latent 的数值引擎去噪缓存决定是否执行 transformer调度器决定每步如何更新 latent两者在run_denoising_step与各架构的 denoise 循环中配合使用。在架构中的落地FLUX2、WAN 与 z-image 的接入方式FLUX2flux2_executor.py按taylorseer/first_block_caching配置选择缓存模式flux2_executor.pyDiT 的 FBCache 条件执行路径实现在 denoise_compute_fbcache.py其中residual_threshold作为运行时可调标量 Buffer 传入该文件 L419-L441。WANwan_executor.py同样在 executor 内使用taylorseer_warmup_steps/taylorseer_cache_interval/taylorseer_max_order驱动调度wan_executor.py。z-imageModuleV3 路径示例pipeline_z_image.py在create_cache_state中按first_block_caching/taylorseer分别创建 FBCache 与 TaylorSeer 状态pipeline_z_image.py与DiffusionPipeline基类的缓存状态分配逻辑完全对应。这些架构共同印证了max.pipelines.diffusion的角色它不绑定某个具体模型而是为所有 MAX 扩散流水线提供统一的 Pipeline 抽象、可插拔的去噪缓存原语与配置解析模型差异被收敛在各架构的components、run_transformer覆写与调度器选择中。实践要点小结选择执行路径模型以Module形式接入时走 ModuleV3 整图编译路径性能最激进以PipelineExecutor或DiffusionPipeline子类接入时分别走 executor / 经典路径三者输出协议在 PixelGenerationPipeline.execute 中归一。缓存二选一FBCache--first-block-caching与 TaylorSeer--taylorseer互斥配置解析层会强制校验FBCache 的residual_threshold是运行期可调图输入TaylorSeer 的cache_interval/warmup_steps/max_order可由用户显式覆盖架构默认。状态生命周期DenoisingCacheState、FirstBlockCacheState、TaylorSeerState/TaylorSeerBufferState都是每请求新建的可变状态在create_cache_state中按 transformer 配置推导维度分配运行期在run_denoising_step中读写。输出契约所有流水线最终产出DiffusionPipelineOutput.images——NHWC、uint8、[0, 255] 的 NumPy 数组PixelGenerationPipeline负责按请求 ID 组装GenerationOutput图像或视频帧并提供计费元数据。深入阅读路径API 全貌见 max/python/docs/pipelines.diffusion.rst配置细节见 max/python/docs/pipelines.diffusion.config.rst核心实现集中在 diffusion/ 目录架构消费方示例见 flux2/、wan/、z_image_modulev3/。【免费下载链接】mojoThe Modular Platform (includes MAX Mojo)项目地址: https://gitcode.com/GitHub_Trending/mo/mojo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考