世界模型和大语言模型（LLM）到底有什么区别？ / How do world models differ from large language models (LLMs)?

预测对象不同：LLM 预测语言序列的下一个词，世界模型预测世界状态的下一步变化（位置、速度、因果、物理约束）。LLM 学到的是关于世界的“说法”，世界模型学到的是世界的运转规律。两者互补：未来的具身智能大概率是“LLM 做规划、世界模型做物理直觉”的组合。 / The prediction target differs: LLMs predict the next word of a language sequence, while world models predict the next change of world state (position, velocity, causality, physical constraints). LLMs learn what is said about the world; world models learn how the world runs. They complement each other: future embodied AI will likely combine LLM planning with world-model physical intuition.

JEPA 和 Genie，哪条路线更可能赢？ / JEPA or Genie — which route will win?

短期看是分工不是输赢：JEPA 路线（表征预测）训练高效、规划快，适合机器人实时控制；生成式路线（Genie、Marble）直观、可做仿真与内容。长期看，两条路线正在互相借鉴。押注“路线”不如押注“场景”：看谁先在真实场景里跑通闭环。 / In the short term it is division of labor, not a winner-takes-all race: the JEPA route trains efficiently and plans fast, fitting real-time robot control; the generative route (Genie, Marble) is intuitive and fits simulation and content. Long term, the two routes are borrowing from each other. Bet on the scenario, not the route: watch who closes the loop in a real use case first.

sim2real 最大的瓶颈是什么？ / What is the biggest bottleneck of sim2real?

域差距：仿真与现实在光照、摩擦、材质、传感器噪声上的系统性偏差。缓解手段有三类：域随机化、物理精确建模，以及用真实数据微调——V-JEPA 2-AC 只用 62 小时真实机器人交互数据，就大幅提升了从视频预训练到真实抓取的迁移效果。 / The domain gap: systematic deviations between simulation and reality in lighting, friction, materials and sensor noise. Three mitigations work: domain randomization, precise physics modeling, and fine-tuning on real data — V-JEPA 2-AC used just 62 hours of real robot interaction data to greatly improve transfer from video pretraining to real grasping.

世界模型对普通人意味着什么？ / What do world models mean for ordinary people?

三件可感知的变化：更聪明的机器人（家务、仓储、护理场景先落地）、更安全的自动驾驶（长尾路况在仿真里先撞一万次再上路）、新的内容形态（可进入、可交互的生成世界）。它不会明天就改变你的生活，但未来几年“物理 AI”的每一次突破，背后都有它。 / Three tangible changes: smarter robots (household, warehouse and care scenarios first), safer self-driving cars (long-tail road cases crashed ten thousand times in simulation before hitting the road), and new content forms (enterable, interactive generated worlds). It will not change your life tomorrow, but behind every physical-AI breakthrough in the coming years, there will be a world model.

AI 观察 · 深度解读

世界模型 2026：AI 从“聊天”走向“理解物理世界”的关键一跃

作者：玄尘子 发布于：2026-10-23 更新于：2026-10-23 玄尘子 · 中国吧内容编辑

（本文为中文深度解读。点击右上角中 / EN 按钮可切换查看英文概要）

从“预测下一个词”到“预测世界状态”：世界模型是什么

大语言模型吃的是文字：它的世界是一个巨大的词表，任务是预测下一个词。世界模型吃的则是感官经验：视频、动作、触感、物理反馈。它的任务不是把话说圆，而是预测“如果我这么做，世界会变成什么样”——球松手会掉下去，车踩刹车会减速，门推开会露出房间。LLM 学到的是关于世界的“说法”，世界模型学到的是世界的“运转规律”。

一个直观的对比：问 LLM“如何把杯子从桌上拿走”，它能给出五种优雅的方案；但把它装进机械臂，让它在真实的桌子上抓一只从没见过的杯子，它不知道杯壁有多滑、手指要用多大力、杯子倾倒前有什么征兆。这些“身体性知识”只靠文本学不会，必须来自对物理世界的建模与预测。这就是世界模型要补上的那块拼图。

预测对象不同：LLM 预测语言序列的下一个 token；世界模型预测世界状态的下一步变化（位置、速度、形状、因果关系）。
输出形式不同：LLM 输出文本；世界模型输出对未来的预测——可以是抽象表征（JEPA 路线），也可以是可进入、可交互的视频世界（生成式路线）。
失败代价不同：LLM 说错话最多尴尬；世界模型用在机器人和自动驾驶上，预测错了会撞墙——所以物理一致性是它的生命线。

两条路线之争：表征预测 vs 生成式

整个世界模型领域，围绕一个分歧站成两队：一队说“别算像素，算概念”；另一队说“直接生成一个可交互的世界”。两队目标一致——让机器理解物理世界，赌法完全不同。

路线	代表	核心思想	优势	短板
表征预测	Meta V-JEPA（Yann LeCun）	不逐像素重建未来，只在抽象表征空间预测“接下来会发生什么”	训练高效、抓住可预测的结构、规划更快	不生成可观看的画面，难做开放世界内容
生成式	DeepMind Genie、World Labs	直接生成可交互的 3D 或视频世界，人可进入、Agent 可在其中训练	直观、可做仿真与内容、是天然的训练场	像素级生成昂贵，长时物理一致性难保证

JEPA 路线：LeCun 的“不生成”主义

Yann LeCun 在 2022 年论文《A Path Towards Autonomous Machine Intelligence》中提出 JEPA（联合嵌入预测架构）：与其让模型逐像素重建未来——把算力浪费在不可预测的细节（比如每片树叶的抖动）上，不如在抽象表征空间做预测，抓住真正重要的结构。2024 年 2 月 Meta 发布 V-JEPA（约 200 万条视频训练），2025 年 6 月 V-JEPA 2 登场：约 12 亿参数、在超过 100 万小时视频上训练；动作条件版本 V-JEPA 2-AC 仅用 62 小时真实机器人交互数据微调，就实现了对陌生环境的零样本规划——把没见过的物体拿起来放好。这是 JEPA 路线的高光时刻：小模型、抽象预测、直接指挥机器人。

2025 年 11 月，LeCun 离开供职 12 年的 Meta；2026 年 3 月，他创办的 AMI Labs（Advanced Machine Intelligence Labs）宣布完成约 10.3 亿美元种子轮融资、估值约 35 亿美元，继续押注 JEPA。这笔钱是 JEPA 路线最有力的背书：有人愿意为“不生成”赌上十亿美元。

生成式路线：Genie 与可进入的世界

另一队选择直接生成世界。DeepMind 的 Genie 系列一路迭代：2024 年 3 月的 Genie 1 只能生成 2D 场景、每秒 1 帧；2024 年 12 月的 Genie 2 进化到 3D、360p、15fps，维持 10 到 20 秒；2025 年 8 月的 Genie 3 达到 720p、24fps 实时交互，世界记忆约 1 分钟、整体连贯数分钟，还支持“promptable world events”——运行中随时改变天气、加入动物。2026 年 1 月 29 日，Google 通过 Project Genie 把 Genie 3 首次以交互形式开放给美国 Google AI Ultra 订阅用户。

生成式路线的魅力在于“所见即所得”：世界可以被观看、被进入、被用来训练 Agent。但代价是算力：逐帧生成一个物理自洽的世界，比在表征空间做预测贵得多。长时一致性（门关上再打开，房间还在不在）仍是它最难啃的骨头。

代表性工作巡礼：四张面孔

把视野拉开，世界模型已经不是某一家实验室的玩具，而是形成了产业格局。

Meta V-JEPA（表征路线）：从图像的 I-JEPA（2023 年）到视频 V-JEPA，再到 2025 年的 V-JEPA 2，路线清晰：越做越“不生成”，越做越能指挥机器人。
DeepMind Genie（生成路线）：从 Genie 1 到 Genie 3，把“可交互的生成世界”从 demo 做成了研究预览产品。Waymo 还基于 Genie 3 做了 Waymo World Model，专门模拟出租车队遇到的极端路况。
World Labs Marble（空间智能商业化）：李飞飞 2024 年创办 World Labs，同年 9 月以 2.3 亿美元融资走出隐身模式；2025 年 11 月发布首个商业产品 Marble——输入文字或图片，生成可编辑、可导出的持久 3D 世界，免费档起、最高 95 美元/月。2026 年 9 月 1 日发布 Atlas，仅凭几张照片重建可导航 3D 场景，瞄准机器人训练；9 月 28 日，AMD 宣布约 82 亿美元全股票收购 World Labs——“空间智能”第一次被芯片巨头用真金白银定价。
NVIDIA Cosmos（物理 AI 基座）：2025 年 CES 发布，定位“世界基础模型”平台，分 Predict（预测未来世界状态）、Transfer（从高精地图等结构化输入生成多样化驾驶视频）、Reason（理解物理场景的视觉语言模型）三大系列。2025 年 10 月发布 Predict 2.5 与 Transfer 2.5；2026 年 5 月 Cosmos 3 登场（含 Super、Nano、Edge），7 月发布的 Cosmos 3 Edge 仅 40 亿参数、可在单张消费级显卡上跑实时感知与预测，采用开放模型许可。Agility Robotics、小鹏、Uber 都已接入——世界模型正在变成物理 AI 的“操作系统”。

还有一个值得关注的支线：自动驾驶的世界模拟器。自动驾驶公司早就用 CARLA、NVIDIA Isaac Sim 这类仿真器生成长尾路况；Genie 3 衍生的 Waymo World Model 说明，生成式世界模型正在接管这块阵地——用 AI 生成 AI 训练用的世界。

sim2real：仿真里的经验，怎么搬到现实

世界模型最大的工程价值藏在 sim2real（仿真到现实迁移）里：机器人和自动驾驶最缺的不是算法，而是“撞了不心疼”的训练数据。现实世界收集一百万次跌倒太贵太慢，仿真世界里可以一秒跌一万次。

域差距是核心敌人：仿真里的光照、摩擦、材质和现实总有偏差，模型在仿真里练成的本事，到现实可能打折扣——缩小这个差距（域随机化、物理精确建模）是 sim2real 的主战场。
世界模型是“更好的仿真器”：传统仿真器靠人工写物理规则；世界模型从真实视频里学物理，能生成更丰富、更不可预测的长尾场景（暴雨夜的外卖员、突然冲出的球）。
闭环验证飞轮：NVIDIA Cosmos 的思路很典型——生成合成数据训练、放回仿真验证、再迭代，形成“搜索—生成—增强—自动标注”的飞轮，越转数据越好。

四个正在落地的应用场景

具身智能/机器人：V-JEPA 2-AC 展示的零样本抓取、Cosmos 训练的仓库机器人——机器人先在世界模型里“预习”一万次，再上真机。
自动驾驶：Waymo World Model 这类生成式模拟器专门补长尾路况；比路测便宜几个数量级，还不怕撞。
游戏与 NPC：Genie 3 的可交互世界、Decart 的 Oasis（可玩的生成式游戏雏形）——未来的游戏 NPC，可能先在世界模型里“生活”过。
科学仿真：从流体到分子，世界模型的思路正在向科学计算渗透——用学出来的模拟器替代部分昂贵的数值仿真。

四大挑战：别被 demo 骗了

物理一致性：生成式世界模型经常“穿帮”——物体凭空消失、重力时有时无。离真正可信的物理模拟还有距离。
长时序推理：Genie 3 的世界记忆约 1 分钟；现实任务（做一顿饭、开一小时车）需要小时级的连贯记忆。
评估基准缺失：文本有困惑度、代码有通过率，世界模型“理解物理”得好不好，至今没有公认的标尺——没有标尺，进步就难以度量。
算力成本：逐帧生成高清物理世界极其烧钱；JEPA 路线的效率优势，恰恰是对这个问题的回答。

展望与给普通人的结论

推理模型与 Agent 范式，世界模型是这条进化链上的下一环：从“会说话”，到“会做事”，再到“懂世界”。" data-en="In the coming years, world models will likely converge along two lines: the representation route handles thinking clearly (efficient planning, real-time robot control), the generative route handles being seen (simulation, content, training grounds), and the two merge in embodied AI. Ordinary people need not follow every paper — three sentences suffice. First, AI's next main battlefield is not the chat box but the physical world. Second, how fast robots and self-driving cars improve depends on how realistic world models make the training ground. Third, behind headlines like AI learned to grasp a cup or zero-intervention autonomous driving, there is probably a world model. We previously covered reasoning models and the agent paradigm on this site; world models are the next link in that chain: from speaking, to doing, to understanding the world.">未来几年，世界模型大概率沿着两条线收敛：表征路线负责“想清楚”（高效规划、机器人实时控制），生成路线负责“看得见”（仿真、内容、训练场），两者在具身智能里合流。普通人不需要追每一篇论文，记住三句话就够了：第一，AI 的下一个主战场不在聊天框，而在物理世界；第二，机器人和自动驾驶的进步速度，取决于世界模型把“训练场”造得有多真；第三，当你看到“AI 学会了抓杯子”“自动驾驶零接管”这类消息，背后大概率站着一个世界模型。本站之前解读过推理模型与 Agent 范式，世界模型是这条进化链上的下一环：从“会说话”，到“会做事”，再到“懂世界”。

核心判断：世界模型不是 LLM 的替代品，而是补全——LLM 给 AI 装上了“嘴”，世界模型在给 AI 装“身体直觉”。短期看，它先让机器人和自动驾驶更好训练；长期看，谁先做出可信的世界模拟器，谁就掌握了物理 AI 时代的“数据印钞机”。

常见问题 FAQ

世界模型和大语言模型（LLM）到底有什么区别？

预测对象不同：LLM 预测语言序列的下一个词，世界模型预测世界状态的下一步变化（位置、速度、因果、物理约束）。LLM 学到的是关于世界的“说法”，世界模型学到的是世界的运转规律。两者互补：未来的具身智能大概率是“LLM 做规划、世界模型做物理直觉”的组合。

JEPA 和 Genie，哪条路线更可能赢？

短期看是分工不是输赢：JEPA 路线（表征预测）训练高效、规划快，适合机器人实时控制；生成式路线（Genie、Marble）直观、可做仿真与内容。长期看，两条路线正在互相借鉴——生成模型也在学表征，表征模型也在接生成。押注“路线”不如押注“场景”：看谁先在真实场景里跑通闭环。

sim2real 最大的瓶颈是什么？

域差距：仿真与现实在光照、摩擦、材质、传感器噪声上的系统性偏差。缓解手段有三类：域随机化（仿真里故意加噪声）、物理精确建模，以及用真实数据微调——V-JEPA 2-AC 只用 62 小时真实机器人交互数据，就大幅提升了从视频预训练到真实抓取的迁移效果。

世界模型对普通人意味着什么？

三件可感知的变化：更聪明的机器人（家务、仓储、护理场景先落地）、更安全的自动驾驶（长尾路况在仿真里先撞一万次再上路）、新的内容形态（可进入、可交互的生成世界）。它不会明天就改变你的生活，但未来几年“物理 AI”的每一次突破，背后都有它。