世界模型 102：三条技术路线与大一统趋势的架构解读
在上一篇《世界模型 101》中，我们回答了三个问题：世界模型是什么、有哪些种类、能干什么。当时借用了李飞飞的功能三分法——渲染器、模拟器、规划器——但也指出了它的局限：它只规定了输出，没有回答世界模型内部是如何表征世界、如何运作的。
这一篇我们就来补上这块拼图，换一个更本质的视角——以表征为中心：根据系统如何表征和传播"世界状态"，对现有世界模型进行分类。沿着这条轴，当前主流的技术架构有三条路线：
观测级模型：直接在像素、体素或视频标记（token）上做预测；
潜在空间模型：学习紧凑的预测性状态；
3D 增强与以对象为中心的模型：引入显式的空间、几何或实体级结构。
三条路线各有取舍。而在它们之上，一个更大的趋势正在发生：生成、理解、交互和多模态基础能力，正被整合进共享的统一架构。下面逐一展开。
观测级模型：直接预测像素，规模就是力量
观测级生成世界模型把"建模世界"理解为高维观测的合成——直接预测未来的像素、体素或视频 token。这主要指当前数字世界的视频生成类模型：OpenAI 的 Sora、字节跳动的 Seedance、谷歌的 Genie、自动驾驶公司 Wayve 的 GAIA 等。严格来说，它们并非以决策为中心的世界模型，但代表了一种从大规模视频中学习物理先验的"观察层面"路径。
核心优势在于规模。互联网视频提供了一个庞大的弱监督语料库，可以学习外观、运动、物体交互和场景动态——这正是 101 中讲过的"数据决定上限"逻辑的直接兑现。因此这类模型通常有很高的视觉保真度，对现实世界现象的覆盖也最广。
但它有两个硬伤：
视觉上的合理 ≠ 物理上的正确，像素空间模型可能产生"局部可信、全局不一致"的推演结果——尤其在较长时间尺度上，物体恒存性、接触动态、因果关系、场景一致性的误差会不断累积。
计算昂贵，预测发生在高维观测空间，每一帧都要"画"出来，成本居高不下。
这两个硬伤，恰好引出了第二条路线的动机。
潜在空间模型：不画像素，只建模"与决策相关"的状态
潜在空间世界模型的核心转向是：从建模视觉外观，转向建模任务相关状态的演化——不再像像素空间那样对所有像素做还原式建模。
早期代表是 PlaNet 与 Dreamer 系列：用潜在动力学模型（如循环状态空间模型 RSSM）把高维观测编码成紧凑的状态表征，在此之上做"基于想象的规划"。由于推演对象是紧凑的潜在状态而非全分辨率像素，这类方法能更自然地扩展到长期预测、更好地应对部分可观测性，并让智能体在固定计算预算内评估更多假设性的未来。
除了效率，潜在建模还改变了优化目标本身。模型不再把算力花在重建每一个 RGB 细节上，而是专注于那些变化缓慢、且与决策密切相关的因素——正是这些因素决定了"未来的可控性"：几何形状、物体关系、可供性、接触动力学、时间演化。这条思路上有一系列递进的证据：
TD-MPC / TD-MPC2 表明，规划可以直接在面向任务的潜在空间中进行，无需完整的像素解码器；
对比式与免重建的世界模型（C-SWM 等）表明，绕开像素重建能减少对纹理、光照等高频外观干扰的过拟合，提升鲁棒性；
JEPA 式的预测性表征学习（I-JEPA、V-JEPA）更进一步，直接质疑"完全视觉重建"的必要性——这正是 101 中 LeCun 学派立场的技术落地；
LDA-1B、Motus 等具身学习系统则证明，无需逼真重建整个视觉场景，从紧凑的任务导向潜在表征中就能学到有效策略。
一句话总结这条路线的优势：保留低频的、与因果相关的结构，抑制表层视觉细节，因此更快、也更契合控制逻辑。
但它同样有代价——过度抽象的风险：模型可能忽略视觉上细微、却对决策至关重要的信息，比如机械臂与物体的接触、细小障碍物、物体姿态的微小变化或形变。所以核心挑战不是"压缩得多狠"，而是学到一种剔除外观噪声、同时保留可控性因素的潜在模型。这也改变了评估方式：评判潜在世界模型，不应只看重建误差或预测误差，而要看它的推演结果是否保留了后续规划与控制所必需的信息。
3D 增强与对象中心模型：给世界装上几何和实体
第三条路线针对的是前两条共同的盲区：内部状态难以解释，且可能与场景的真实三维布局不符。对具身 AI 来说这是明显短板——模型需要支持对自由空间、物体位置、遮挡、视角变化、物体恒存性和物理合理性的推理。为此，近期研究引入了三类结构化的状态空间：
其一，占用（Occupancy）与鸟瞰图（BEV）表示。相比像素，它们更直接地刻画场景的空间结构，可用于推理自由空间、障碍物、语义区域与未来场景演化。自动驾驶领域的 OccWorld、OccSora、Drive-OccWorld、BEVWorld，以及把这一思路拓展到室内具身预测的 RoboOccWorld 都属此类。关键优势是：预测结果不仅视觉上合理，还支持空间查询。
其二，连续三维场景表示。NeRF 与 3D 高斯散射提供了具备几何感知的状态表征，支持新视角渲染和更强的视角一致性；Marble、RenderWorld、GaussianWorld、GWM 等系统将其拓展至持久性三维世界生成、驾驶建模和机器人操作。相比纯视频生成，它们能更好地保持跨视角、跨时间的空间结构一致性——尽管动态场景与长时程交互仍是难题。
其三，以对象为中心的表示。它解决一个互补问题：即便有了稠密的 3D 状态，也未必能分离出关键实体。OP3、C-SWM、Slot Attention、SAVi、SlotFormer 等方法学习对象级/槽级的表示与动态，支持组合式的预测与推理；FOCUS 等机器人系统进一步把对象级抽象与操作、指令条件预测连接起来。这类抽象的价值在于：许多具身任务本来就是围绕持久性实体及其关系定义的，而非围绕全局图像模式。
最有前景的方向是组合，而非站队：占用表示管自由空间和碰撞推理，NeRF/3D 高斯管视角一致的渲染，物体槽管组合式推理。EnerVerse、EnerVerse-AC 等混合式具身系统已在朝这个方向走——把多视角预测、记忆、4D 场景表示、动作条件化和具身未来生成衔接起来。
不过要泼一盆冷水：引入 3D 结构本身并不自动解决世界建模问题。模型可能精确重建了空间，却仍抓不住可供性、因果关系和任务语义；对象中心模型简洁易解释，但在杂乱和遮挡场景下可靠的物体发现仍是难题；NeRF/3D 高斯能渲染精细视图，但动态场景、长时程预测和闭环交互依然充满挑战。关键问题从来不是"看起来是否更 3D"，而是状态能否对物理世界做出有效而连贯的表征——几何一致、时间稳定、有物体感知、符合物理规律，且可被下游的推理、规划、控制模块访问。
大一统趋势之一：生成与理解一体化
看完三条路线，再看它们头顶正在发生的融合。研究领域日益形成一项共识：未来的世界模型不应只是生成器，而应是生成与理解一体化的模型——既能合成未来的观测，又能理解物体、空间关系、时间动态、因果与物理合理性。
这一方向体现在 LWM、WorldGPT、HERMES 系列、GaussianDWM、UniDrive-WM 等系统中：它们都试图在统一框架内，把场景/视频理解与未来状态生成衔接起来。相邻的多模态基础模型——Chameleon、Janus/Janus-Pro、Emu 系列——也印证了同一趋势：理解与生成可以在共享 token 或自回归架构中统一处理。世界建模正在超越"视觉上引人入胜的合成"，走向能够协同表征、推理并生成动态世界的架构。
大一统趋势之二：世界-动作模型，把"想象"接上"行动"
但物理世界不仅被观察，还被作用于。从部分可观测决策的视角看，具身智能体只能获得底层世界状态的部分观测，而它的行动会干预状态转移、塑造未来的观测。因此，生成与理解的统一还不够——世界模型还必须把设想中的未来与可执行的动作联系起来。
这催生了世界-动作模型（World-Action Model, WAM）：把世界建模与动作/策略建模整合进同一个生成框架，不再把动态预测与策略学习当作独立模块，而是直接从"视频-动作"数据中学习二者的耦合关系。例如：
DreamZero 表明，对视频与动作联合建模，可以把世界模型直接转化为零样本策略；
LingBot-VA 把视觉动力学预测与动作推断统一在一个自回归的视频-动作框架内；
τ0-WM 集成了动作生成、视频预测与未来状态评估，用于机器人操作；
UWM、Cosmos-Policy、GigaWorld-Policy、Fast-WAM、Flash-WAM 等则探索了联合扩散、以动作为中心的预测、以及测试时无需显式视频想象的快速推理等多种结合方式。
这些工作共同标志着一个转变：从被动的世界模拟，转向既能想象物理未来、又能基于该未来生成动作的模型。这也呼应了 101 中的判断——WAM 同时是模拟器和规划器，因为未来状态预测本身就是动作生成的组成部分。
大一统趋势之三：全模态，迈向物理 AI 的通用后端
第三重统一发生在模态维度：世界模型正从单一或少数模态，扩展至全模态物理建模——把语言、图像、视频、音频、动作、三维结构与传感器数据，整合进对物理世界的共享表征。还记得 101 中给出的世界模型三特性吗？"全模态"排在第一位，这里就是它的落地进程。
NVIDIA Cosmos 3 与 Seedance 2.0 是这一宏大尝试的典型范例：明确致力于将语言、图像、视频、音频与动作统一到一个混合 Transformer 架构中，超越以视觉为中心的生成，迈向通用的物理 AI 后端。另有一批系统虽未构成完整的全模态世界模型，但提供了重要的组成模块：Seedance 2.0 探索从文本、图像、音频、视频输入生成统一的多模态音视频内容；Wan/Wan2.1 提供可扩展的开放视频生成骨干；腾讯 HunyuanVideo 与 HunyuanWorld 把视频生成拓展至可探索、可交互的三维世界构建；Kling-Omni 集成多模态指令跟随、生成、编辑与推理；Qwen-Omni 则展示了语言、视觉、音频、视频如何在统一的全模态基础模型中协同处理。
结语：三条路线，一个终点
把这一篇压缩成三句话：
三条技术路线，本质是三种表征选择——观测级模型赌"规模出物理"，潜在空间模型赌"压缩出控制"，3D/对象中心模型赌"结构出理解"；它们各自的短板恰好是彼此的长处，未来更可能是拼图组合，而非单选题。
评判标准正在改变——不是画得像不像、重建误差多低，而是模型的状态和推演，是否保留了下游推理、规划与控制所必需的信息。
大一统是共同的终点——生成与理解一体化、世界与动作耦合（WAM）、全模态整合，三股趋势的根本动力是同一个：物理 AI 需要一个模型，能够理解现状、想象可能的未来、与世界交互，并整合多模态的物理信号。
*未经准许严禁转载和摘录-
原文标题 : 世界模型 102：三条技术路线与大一统趋势的架构解读
（来源：维科网）
相关推荐
-
国产存储巨头，拟投资349亿元扩产
9月28日晚间，长鑫科技发了一则重要公告，大体内容是在当天董事会上通过一项议案，打算把180亿元超募资金，投到两个新项目上。 公司拟使用130 亿元超募资金投建技术研发项目；同时以增资 + 借款的形式
-
企业级AI智能体怎么落地？金秋10月，深圳有答案！
企业级AI智能体怎么落地？金秋10月，深圳有答案！ 近期，AI 进千行百业在一路铺开，从办公到制造，好像哪里都能塞进去一个AI智能体。热度涨得快，退得也快。等这一波热闹过去，问题集中暴露出来，工具调用
-
保利物业携手海康威视 以AI大模型打造智慧小区管理新模式
传统小区管理长期依赖人工巡检、被动响应的运营模式，园区安防排查、设备运维、业主服务等各项工作，高度依靠人力值守跟进。人工巡查存在覆盖盲区、排查效率有限等痛点，不仅增加运维压力，也难以全方位保障社区居住
-
AI时代，独立思考和原创知识更有力量
人工智能时代，跨界人才怎么培养？知识还是不是力量？9月19日，《知识就是力量》创刊70周年活动圆桌对话现场，主持人抛出了这些直接的问题。对此，植物病理学藻类学家、中国科学院院士赵进东，化学工程专家、中
-
阿里巴巴，最新AI芯片亮相
维科网9月22日消息，9月22日上午，杭州国际博览中心，2026云栖大会上，阿里巴巴CEO吴泳铭上台，抛出了一个机器智能的新说法。他把AI模型、AI芯片、AI云说成机器智能时代的三大基石，表态阿里会坚
-
AI系统可快速精准匹配X光与三维扫描图像
手术中的二维X光图像与术前三维CT或磁共振成像（MRI）如何快速“对上”？美国麻省理工学院等机构科学家开发的人工智能（AI）系统“xvr”给出了新方案。该系统可针对患者进行个性化适配，在数秒内将术中X
-
AI为珍稀鸟儿“上户口”
初秋的南京绿水湾国家城市湿地公园万木葱茏，植被茂密的林间，一台AI声纹监测设备挂在树上，静静“聆听”树林的“密语”。“这台设备集成了高灵敏度音频采集与抗干扰处理技术，能在复杂野外环境中自动剔除风雨声、
-
我国首款藏语多语言全模态AI输入法发布
9月20日，在青海师范大学教师教育高质量发展暨建校70周年大会科研成果展示环节，我国首款藏语多语言全模态AI输入法——智达AI输入法及配套藏文字体集正式发布。据悉，近年来，青海师范大学藏语智能全国重点
-
约五分之一英国成年人使用AI获取新闻
英国通信管理局9月15日发布的一项调查显示，约五分之一的英国成年人过去一个月曾使用人工智能（AI）应用或服务获取新闻，其中ChatGPT是使用最广泛的相关AI工具。英国通信管理局当天发布的《2026年
-
AI系统可让3D打印实现同步质检
美国劳伦斯利弗莫尔国家实验室研究人员开发出一种利用摄像头和人工智能（AI）检测3D打印质量的系统，在打印过程中，3D打印机可逐层“检查”自己制造的零部件，并及时发现断丝、尺寸异常等细微缺陷。研究人员表
