GTC 2026刚刚落幕朋友圈里讨论最密集的关键词毫无悬念地落在“端到端”上。作为长期泡在自动驾驶算法一线的人我看完今年大会的最大感受是端到端不再是某几家公司的技术口号而已经成了整个行业默认的演进主线。与其说大会给出了一个标准答案不如说它把大家一直在摸索的几条技术路径做了非常清晰的收敛。这篇内容我想以一个算法工程师的视角聊聊端到端时代自动驾驶的主线到底是什么以及我们在实际落地中真正需要解决的问题。先说个背景。过去十几年自动驾驶技术栈的主流形态是分模块的感知、预测、规划、控制各自成一套系统模块之间用明确的接口衔接。这套架构的好处是分工清晰、易于调试每个模块都可以独立优化出了问题也能快速定位到环节。但它的天花板也很明显信息在模块间传递时不断压缩和丢失感知输出的目标列表、障碍物轨迹预测结果本质上都是对人类驾驶场景的高维信息做了极度的抽象。真实道路上那些灰度地带、模糊意图、非标准交互很难用离散的接口完整表达。端到端路线的崛起本质上是想绕开这条信息损耗链路让模型直接从传感器原始输入学习驾驶策略用一个大规模神经网络承担从感知到决策的完整映射。1. 端到端为什么成了主线中的主线1.1 规则方案的天花板复杂场景下的“排列组合爆炸”我最早接触自动驾驶的时候业内对L4的主流理解是“规则为王”。逻辑学、控制论出身的人占了绝大多数大家相信只要把交通规则、驾驶常识、道路结构抽象成足够多的规则和场景库车辆就能像个老司机一样游刃有余。研发早期确实是这样高速巡航、停车场泊车这些限定场景规则方案能做得非常漂亮。但开放道路跑起来以后问题开始失控。真实路况里没有两个完全一样的corner case。一个骑电动车的外卖小哥可能在机动车道与斑马线之间反复横跳一辆故障车可能以极其别扭的角度斜停在弯道出口暴雨天气下车道线被积水覆盖、反光一片。每遇到一个新场景规则引擎就需要打补丁补丁多了以后又会产生规则之间的冲突和互斥。到最后你会发现与其说是在写自动驾驶系统不如说是在维护一套永远补不完的优先级策略表。这个阶段的本质瓶颈不是“规则不够用”而是“规则组合的爆炸”已经超出了人工设计的边界。任何一个敢在城区复杂路况谈无人驾驶的方案最终都会被这种组合爆炸吞没。1.2 端到端的技术本质用数据压过规则端到端方案换了个思路我不再试图把所有驾驶知识手工编码成规则而是准备足够大规模、覆盖面足够广的真实驾驶数据让神经网络自己从数据中归纳出驾驶策略。说白了就是用数据压过规则用统计规律取代人工设计。这里的关键不是模型本身的架构有多玄乎而是训练范式的转变。在端到端框架里模型输入的是多路传感器原始数据输出的是车辆控制指令或轨迹规划结果中间不再显式拆解出“检测到了什么”“预测它会怎么走”“我该怎么避让”这样的中间语义。整个系统变成一个超大参数规模的映射函数训练目标直接对齐最终驾驶效果。早期很多人质疑它是个黑盒觉得不靠谱但过去几年行业用实际路测结果证明了一点端到端模型在绝大多数场景下的表现上限已经明显超过了精心调参的模块化系统尤其是在那些规则难以枚举的交互场景里。1.3 今年GTC的信号算力、数据、模型三位一体今年的GTC把端到端作为主线来讲并不是单纯的技术布道而是把支撑这套能力的三块底座同时推进了一是面向车端的大算力计算平台模型越来越大车端的推理能力必须跟得上二是面向云端训练的超大规模集群端到端模型的训练吞吐与数据规模远比传统检测模型高出几个数量级三是面向数据闭环的仿真与生成式工具链不解决真实数据覆盖度的问题端到端模型的天花板会被无限托高。这三个方向的组合拳其实是在告诉整个行业端到端不是某一种单一模型的竞赛而是一场系统工程能力的博弈。你光有一个好的网络结构不够还得有高质量的数据回传机制、足够的训练算力、完善的车端部署方案这套全链路的能力才是真正的护城河。这也正好解释了为什么今年大会前后业内讨论的重心不是“端到端行不行”而是“端到端怎么规模化落地”。2. 端到端技术拆解从传感器到方向盘的完整链路2.1 感知-预测-规划真的消失了吗很多文章在讲端到端的时候喜欢说“感知、预测、规划模块全部消失”。作为实操过这些系统的人我的观点是消失的只是显式的手工接口而不是功能本身。在新的架构下感知、预测、规划的知识以特征的形式隐含在神经网络内部。模型在中间层里仍然会建模动态障碍物的运动趋势、道路拓扑的先验知识、自车与环境的交互关系只不过这些表征是全体参数在数据驱动下自动涌现出来的不再以人工定义的目标框、语义分割图、轨迹预测簇来呈现。换句话说端到端模型是以“隐式空间”替代了“显式接口”整个决策链条更连续信息损耗也真正降了下来。2.2 主流方案从“直接输出方向盘”到“带约束的端到端”会场上讨论最多、工程上落地最快的方案并不是极端的“传感器直连方向盘”的纯端到端。真正被大多数量产团队采纳的是一种带约束的端到端范式。具体来说模型仍然以多模态感知数据作为输入但输出不再是方向盘转角和油门踏板这种最底层的执行指令而是“未来的自车轨迹序列”或者“目标点序列”。下游再由一个轻量级、可验证的轨迹跟踪控制器来执行跟踪。这在实际工程里有巨大的优势输出的轨迹可以被规则约束比如不压车道线、不碰路沿减掉了纯黑盒的失控风险轨迹空间的评估维度很清晰可以结合安全边界做驾驶员接管判断控制器部分依旧透明可控出现问题可以追责到具体环节。我个人的判断是在未来的很长一段时间里这种“端到端决策规划规则/控制兜底”的混合架构会是量产车的主流形态。纯粹让大模型直接控制转向在可解释性和安全认证上仍然阻力太大。2.3 多模态输入摄像头不再孤单另一个明显的趋势是输入模态的扩展。过去很多端到端方案起家于纯视觉因为视觉信息最丰富、成本最低但纯视觉在恶劣天气、光照突变和强逆光下存在天然短板。今年的GTC上多传感器融合的端到端成为一个重点方向激光雷达、毫米波雷达、摄像头联合输入各自发挥所长经过统一的编码器进入主干网络。多模态端到端的挑战在于时间同步、空间对齐和模态缺失问题。传感器之间数据频率不同、坐标系不同要在统一特征空间里对齐并不容易。尤其是当某一个模态发生故障或降级时模型需要具备稳健的降级策略不能因为某一路信号异常就导致整体驾驶能力崩溃。这些工程细节远比网络结构本身更考验团队的综合实力。3. 世界模型端到端背后的“先验知识”基础设施3.1 为什么端到端需要世界模型端到端模型的训练和运行本质上是在学习“如果我现在这样驾驶未来会发生什么”。为了让这个预测更准确系统需要具备一种对世界动态演化的理解能力——这就是世界模型登场的核心原因。世界模型的思路是让网络不再只是感知当前这一帧而是对场景中的物理动态、物体交互、道路走向做前瞻性的建模。你可以把它理解成在自动驾驶系统内部装了一个“物理直觉引擎”它会根据历史帧序列和当前控制意图预测未来短时间内的场景演化。这个预测能力在端到端框架里有几个直接价值一是为决策规划提供更充足的时间余量二是在仿真训练里替代部分真实数据三是帮助模型在罕见场景中做出更符合人类预期的反应。3.2 世界模型在端到端里的三个应用我在这里把世界模型的实际用途整理为三类对应研发中的不同阶段。第一是生成式数据增强。利用世界模型可以合成连续、动态、物理一致的新数据样本弥补真实长尾场景采集不足的问题。第二是作为模型内部的隐式预测模块。自动驾驶系统在运行时会利用世界模型不断推演周围环境的下一步变化给决策网络提供更充分的输入特征。第三是离线评测中的重要虚拟环境。在封闭测试场地里部署一套高保真世界模型可以低成本复现大量真实路测中偶发的危险场景用来回归和验证模型能力。世界模型最让我个人兴奋的点在于它把“合成数据”的质量上限推高了一大截。过去我们用游戏引擎和人工建模做仿真场景再丰富也总是带着一股“假味道”。世界模型基于真实数据分布生成连续场景在动态一致性上实现了跨越式提升。这直接缓解了端到端训练里“真实数据永远不够用”的痛点。3.3 多模态大模型在这里扮演什么角色今年GTC上还有一个非常显著的趋势就是大语言模型、视觉语言模型开始进入到自动驾驶系统中来。它们的角色通常不是直接做轨迹规划而是承担“高层语义理解”与“逻辑推理”的职责。举一个实际例子。当车辆行驶到一个因为前方事故而临时封闭的车道前传统的感知模块只能识别出路障和锥桶但并没有办法理解“前方车道被封我应该提前向左侧变道绕行”这样的场景语义。而视觉语言模型凭借对海量图文数据的理解可以补上这层常识推理。它和端到端决策网络不是竞争关系而是各司其职大模型负责高层场景理解和意图推断端到端网络负责高频的、精细的轨迹决策。4. 数据闭环端到端时代真正的护城河4.1 数据回传与难例挖掘不是所有数据都值得学很多团队在搭建端到端系统的时候第一个踩的坑就是数据拿来就用回传什么学什么结果是模型的状态分布被高频场景主导那些真正需要提升的长尾场景占比被稀释得很低。正确的做法是建立完善的数据回传策略。车端应当实时判断当前场景的“信息价值”和“驾驶难度”只把高价值片段传回云端。这个筛选可以由轻量级模型在车端完成标记依据包括自车是否出现了激烈接管、障碍物交互是否复杂、道路结构是否异常、天气光照是否有突变等等。我的经验是一次有效的数据回传策略改造对最终模型效果的提升往往比一味加网络参数量更明显。因为喂给模型的数据质量直接决定拟合效果的上限。4.2 自动标注与真值生成从人工到模型生成的质变端到端模型的训练不依赖目标框这种离散标注但仍然需要足够精细的“驾驶真值”。这里的驾驶真值不止是方向盘的转角还包括未来的轨迹序列、语义区域的精细划分、动态障碍物在未来几秒的状态演化等。生成这些真值的成本极高。如果完全依赖人工标注不仅效率低而且一致性难以保证。目前行业里的主流做法是用一套“教师模型”自动生成标签。教师模型基于离线的高精度感知和历史轨迹可以给出比在线模型更精准的真值输出然后再用来训练轻量级的量产模型。这里有个工程范式上的戏剧性反转我们用模型来训练模型。教师模型本身也是持续迭代的它越强蒸馏出来的学生模型也就越强。这种模式在端到端时代已经不再是可选项而是必经之路。4.3 仿真与闭环评测让模型在虚拟空间里先跑十万公里数据闭环里除了真实数据仿真同样扮演着不可替代的角色。在每一次模型迭代之后先丢进大规模仿真场景里做回归确认没有引入严重的新问题才允许进入有限的真实路测环节。这个流程能极大压缩研发成本。但仿真也有它的局限。很多在仿真里表现完美的策略放到真实道路上一跑就出问题核心原因在于仿真的传感器模型、物理引擎和真值系统存在偏差。用行话说就是sim-to-real gap。现在的趋势是把仿真引擎做得越来越接近物理真实同时把真实路测中采集到的高价值片段注入到仿真场景里复现让虚拟场景和真实场景的边界越来越模糊。这样闭环优化出来的模型才更经得起实际路况的考验。5. 算力是底座端到端模型的训练与部署5.1 车端算力不是堆算力就能解决战斗端到端模型上车面临的第一道坎就是车端算力的约束。模型参数量大、计算图复杂而车载计算平台的功耗、散热和成本都有严格限制。单纯堆算力并不可取更务实的方向有三条一是模型结构搜索和剪枝用更小的代价逼近大模型的效果二是量化部署与低精度推理在可控精度损失范围内换取更高的吞吐三是计算图优化针对目标硬件做算子融合和内存复用。这里面最容易被低估的是算子的访存瓶颈。很多端到端网络在车载芯片上跑不快不是算力不够而是数据搬运和内存带宽成了瓶颈。实际操作中我会优先对网络结构做带宽友好型设计比如降低特征图的分辨率冗余、减少频繁的通道变换这些优化往往比单纯堆高级算子更有效。5.2 云端的训练集群效率优先显存银子同样优先端到端模型的训练规模比传统感知模型大得多经常是上百个GPU卡起步的多机多卡任务。云端训练集群真正考验人的不是如何把模型训练起来而是如何解决分布式训练的效率问题。训练效率的瓶颈通常集中在通信上。每轮梯度同步的通信量巨大如果网络拓扑和通信库配置不合理GPU的利用率会惨不忍睹。我自己踩过最深的坑之一就是大规模训练时只盯着GPU利用率忽略了通信占比结果单机算得快集群整体的训练吞吐却始终上不去。解决方式包括梯度压缩、通信计算重叠、混合并行策略等。这一步的收益在训练成本上的体现是非常直观的。5.3 模型压缩与知识蒸馏把云端大模型塞进车里再强的云端模型最终也要部署到车载计算平台上。形态上通常是云端训练一个参数量巨大的教师模型以它为目标蒸馏出一个参数量小得多的学生模型给车端使用。蒸馏时最关键的一点是不能只对齐最终轨迹输出的表层监督信号还要让中间层特征尽量对齐这样学生模型才能真正学会教师模型的驾驶逻辑。蒸馏完之后往往还要再做一轮量化、剪枝与算子适配。整个流程走下来对一个执行能力很强的团队来说模型从云端到上车往往需要压缩到原来的三分之一以下。不去做这个工程优化端到端模型在车端落地基本无从谈起。6. 端到端时代的系统工程安全、验证与标准6.1 模型的安全冗余绝不能指望单模型解决一切业界对端到端模型最大的担心始终是安全隐患。不管一个模型在测试集上表现得多么惊艳都没法保证它在所有长尾场景里不出错。所以工程上必须配上多层级安全冗余。较常见的做法是“主模型安全监控模型规则兜底”三层结构。主模型负责正常场景下的拟人化决策安全监控模型独立运行从更保守的角度检测自车是否会进入危险状态一旦监控层判定风险超标立即触发降级策略要么限制车辆速度要么强制切换到规则兜底的保守策略。这套冗余体系保证了即使主模型出现判断失误系统整体仍然不会直接突破安全底线。6.2 端到端模型的验证回归测试与开放世界的矛盾传统模块化系统可以针对每个模块做单元测试端到端模型却很难做到这一点。你不能因为模型在一个弯道上处理得好就断定它在所有弯道都没问题。这导致端到端的验证体系必须转向“大规模测试集上的统计有效性”和“闭环仿真中的分布对比”。实际研发过程中我会维护一套核心场景库里面既包含安全关键场景也包含高频场景、覆盖式长尾场景。每次模型更新后都要在这套库上做全量回归同时与上一版模型做对比测试。指标上既要看平均值提升也要重点观察尾部最差表现是否有恶化。单看平均指标是很容易被“优化”欺骗的最差的那些样本往往才能反映真实风险。6.3 评估指标体系的重构端到端模型的评估不能只跑“每百公里接管次数”这种终极指标因为它太滞后了。日常研发中需要一套更细粒度的过程指标驾驶平顺性包括加加速度、横向波动频率、转向盘变化幅度这些直接反映乘客体验。场景覆盖度模型暴露过多少种场景类型关键类型是否分布均匀。安全距维持量与障碍物之间的间距在时间序列上的连续变化情况。决策一致性针对同一场景多次行驶输出轨迹的方差是否在一个可接受范围内。这一套指标加起来才能帮团队在迭代过程中尽早发现问题而不是等到路测时驾驶员被甩了一脚才回过神。7. 写在最后回到端到端的主线上来从今年GTC释放的信号往回看端到端自动驾驶的主线其实已经非常清晰数据喂养模型模型改变驾驶算力支撑这一切规模化滚动。端到端不是某个单一模型的胜利而是一整套围绕数据、算力、模型、验证的系统工程升级。我个人在实际操作中的体会是端到端模型的迭代路径和传统模块化方案有着本质的不同。传统方案靠的是工程师对每个环节的精细调优而端到端更考验团队搭建高效数据飞轮的能力。谁的采集回传链路更顺畅谁的自动标注体系更可靠谁的仿真评测闭环跑得更快谁的分布式训练效率更高谁就更可能在下一轮的竞争里站稳脚跟。最后再分享一个小技巧。如果你也在做端到端自动驾驶的落地一定不要急着盲目堆数据和加模型参数。先把数据闭环的每一环量化清楚车端每天能回传多少高价值数据云端的自动标注流水线能处理多少量与多高一致率训练集群的有效利用率是多少仿真回归跑一轮要多长时间。把这些数字摸准你才算真正摸到了端到端自动驾驶的工程主线后面任何技术上的投入才会有回报。