OneVL 自动驾驶大模型

传统 VLA

	看到行人
	→ 分析行人速度
	→ 分析意图
	→ 判断风险
	→ 输出动作

问题：

	每一步都生成 token

OneVL：

	看到行人
	      ↓
	latent token
	      ↓
	输出轨迹

变成：

	“思考”在隐藏向量里完成

(base) xt@xt-2288H-V5:~/lixiaogang/xiaomi-research/onevl$ tree -L 2
.
├── assets
│   ├── comparison.pdf
│   ├── comparison.png
│   ├── framework.pdf
│   ├── framework.png
│   ├── main_framework.pdf
│   ├── main_framework.png
│   ├── navsim_example1.pdf
│   ├── navsim_example1.png
│   ├── nuScences_678_8198.pdf
│   ├── nuScences_678_8198.png
│   ├── onevl_logo_new.png
│   ├── onevl_logo.png
│   ├── roadwork_example1.pdf
│   ├── roadwork_example1.png
│   ├── teaser_bar.pdf
│   └── teaser_bar.png
├── eval_results.py
├── infer_onevl.py
├── output
│   └── navsim
├── README.md
├── requirements.txt
├── run_infer.sh
├── scripts
│   ├── infer_ar1_explain.sh
│   ├── infer_ar1.sh
│   ├── infer_impromptu.sh
│   ├── infer_navsim.sh
│   ├── infer_roadwork.sh
│   └── visualize_predict_image_tokens.py
├── test_data
│   ├── ar1_test.jsonl
│   ├── impromptu_test.jsonl
│   ├── navsim_test.json
│   └── roadwork_test.json
├── visual_tokenizer
│   ├── merges.txt
│   ├── special_tokens_map.json
│   ├── tokenization_qwen3vl_visual.py
│   ├── tokenizer_config.json
│   ├── tokenizer.json
│   └── vocab.json
└── vq_decoder
    ├── ibq.py
    ├── __init__.py
    ├── loader.py
    ├── modules
    └── __pycache__

传统的自动驾驶大模型（如传统的 VLA）通常采用 Explicit CoT（显性思维链）：模型必须先写下一段话（如“前方有行人，我应该减速”），然后再决定怎么开车。这种逐字生成的模式延迟极高，无法满足实时驾驶。

优化方案： OneVL 引入了 Latent CoT（潜空间思维链）。它将复杂的逻辑思考压缩成几个代表“语义”和“视觉”的潜 Token。

结果： 推理时不再需要逐个生成文字，而是“一跳完成”，速度提升至 0.24 秒/帧，几乎达到了“只给答案、不思考”的极速，但保留了深度的逻辑能力。

为了防止模型在潜空间里“胡思乱想”，小米设计了两个辅助解码器来监督训练。虽然推理时会把这些解码器扔掉，但它们在训练阶段至关重要：

语言辅助解码器： 强制潜 Token 必须能被还原成人类看得懂的逻辑文字。

视觉世界模型解码器： 强制潜 Token 必须能预测未来的交通画面（世界模型）。

优化逻辑： 这保证了模型的内部思考既符合交通逻辑，又符合物理规律。

OneVL 并不是一步练成的，而是通过精细的三个阶段来确保稳定性：

阶段 0：基础训练。 让模型学会看懂 6 视角图像并理解基础驾驶动作。

阶段 1：解码器预热。 专门训练那两个“辅助老师”，让它们学会怎么把潜 Token 翻译成文字和画面。

阶段 2：端到端联合训练。 将所有模块打通，让逻辑思考、画面预测和轨迹规划在同一个脉络下协同优化。

以往的技术路线中，VLA（动作规划） 和 World Model（环境预测） 是两条路。

优化方案： OneVL 第一次将两者统一。它通过预测未来画面来增强对“因果关系”的理解（例如：路人甲如果继续走，我现在的轨迹就会撞上他）。

结果： 这种优化显著降低了碰撞风险，在 NAVSIM 和 ROADWork 等评测中表现出了极强的泛化能力（即处理从没见过的路况的能力）。

优化手段： 为了极致的性能，小米设计了“可拆卸式推理”。在训练时用于指导模型的复杂解码器，在部署到车载芯片时会被完全移除。

结果： 车载端只需运行最核心的推理链条，大幅降低了对显存和算力的占用，使得 4B 规模的大模型在 A100 上能达到 4.16Hz 的高频刷新。

OneVL 的核心卖点是“推理快”，但这其实是把压力转移到了“训练端”。

训练复杂： 它采用三阶段对齐训练（视觉+语言+轨迹）。不仅需要庞大的 GPU 集群（如多节点 H100），还需要极长的时间来让模型在“潜空间”里对齐视觉预测和逻辑说明。

数据胃口： 为了让模型具备“常识”，它需要海量的标注数据（视频、文本理由、真实轨迹）。对于初创企业，获取并清理这些高质量的多模态数据本身就是一笔巨额开支。

虽然 4B 参数在 AI 界不算大，但在车载端依然是个“沉重的负担”：

显存吃紧： 16GB-24GB 的显存要求直接刷掉了目前市面上大部分的中低端智驾芯片。如果你的产品要面向大众化、低成本车型，OneVL 的硬件成本可能会让你的财务报表很难看。

精度折损： 在边缘侧设备（如 Orin NX）运行，必须进行量化（INT8/FP8）。而 OneVL 这种依赖“潜空间连续向量”的模型，对精度极度敏感。量化后的“智力倒退”可能需要海量的工程对齐工作来弥补。

推理时的“暗箱”： 为了达到 0.24s 的极速，OneVL 在推理时会扔掉辅助解码器（即不再实时输出文字理由和预测画面）。

后果： 虽然它依然“思考”了，但你只能得到一个最终的坐标点。如果车突然急刹，工程师在车端无法立刻看到“思考日志”，必须通过特定的离线工具重新解析潜 Token 才能知道原因。这增加了事故溯源和调试的难度。

幻觉风险： 潜空间推理（Latent CoT）相比显性文字推理，更容易产生“逻辑漂移”。

长尾场景： 如果训练数据中没有涵盖某种特殊的交通场景（比如路面上躺着一个穿奇装异服的人），模型在潜空间里可能无法生成有效的特征，从而给出离谱的轨迹，且这种错误很难通过简单的逻辑规则（if-else）来修正。

Tesla FSD： 它的逻辑是“模仿”。通过数百万特斯拉车主的驾驶数据，神经网络学会了在什么画面下该打多少度方向盘。它更像是一个直觉极强的司机，反应极快，但它无法告诉你“为什么”。

OneVL： 它的逻辑是“理解”。它引入了思维链 (CoT)，在转弯前，它内部会产生类似“左侧有盲区，需减速确认”的逻辑。虽然推理时它把这段话“隐藏”了以提速，但它的动作是基于逻辑推演出来的。

Tesla： 特斯拉也提“世界模型”，但更多用于在云端生成虚拟场景来训练 AI。

OneVL： 把世界模型直接塞进了车载端。OneVL 在开车时，大脑里会不断“脑补”未来 0.5 秒后的画面。如果实际画面和它预想的不一样，它能迅速意识到危险并修正

Tesla 的护城河是“量”： 拥有全球最庞大的真实路测车队，靠“见多识广”来处理长尾场景。

OneVL 的优势是“质”： 它不仅学习驾驶动作，还学习人类的驾驶常识（语言）。这让它在面对从未见过的新路况时，能靠“逻辑常识”推断出该怎么走，而不是盲目模仿。

测试开始时，NAVSIM 会给模型（比如 OneVL）提供一张当前瞬间的快照：

	输入： 6 个摄像头的画面、地图、自车速度、导航目标（比如：前方路口左转）。

	任务： 请告诉我，接下来的 4 秒钟内，你的行驶轨迹（一连串坐标点）是什么？

这是 NAVSIM 最核心的创新。它拿到模型给出的 4 秒轨迹后，会像放电影一样在后台“跑”一遍：

	自车： 严格按照模型给出的坐标点前进。

	环境： 此时，路上的其他车、行人、红灯都会按照真实历史记录里的动作继续动（就像在播放一段录像）。

	“非响应式”： 意思是即使你的车快撞上前面的路人了，路人也不会躲（因为这是录像），测试的就是看你的模型能不能提前预判并避开他们。

跑完这 4 秒后，系统会从三个维度给你打分，合成一个 PDM 分数：

安全性 (Safety) - “一票否决权”：

	有没有撞车？有没有冲出马路？

	如果撞了，这一项直接零分。

驾驶表现 (Progress) - “效率高不高”：

	你在这 4 秒内跑了多远？有没有龟速行驶导致交通堵塞？

	有没有按照导航目标走？（比如让你左转，你却直行了）。

舒适度 (Comfort) - “坐得稳不稳”：

	你的刹车是不是太猛了（加速度过大）？

	你的方向盘是不是甩得太急（横向加速度过大）？

来源： nuPlan (由 Motional 提供)。

特点： 数据量最庞大，涵盖了大量城市的日常驾驶。

为什么测它： 它是目前端到端自动驾驶公认的“金标准”。如果模型在 NAVSIM 上拿不到高分，基本就没法上路。

来源： 专门针对施工区域（Construction Zones）的开源数据集。

特点： 充满了不规范的雪糕筒、穿反光衣的工人、乱画的临时车道线。

为什么测它： 传统的“目标检测”在这些乱七八糟的场景下最容易出错。OneVL 测试它是为了证明其“思维链”能通过逻辑推理（比如：“工人在招手，我得绕行”）来弥补纯视觉识别的不足。

来源： 整合了 8 个主流数据集（如 Waymo, nuScenes）中的非结构化片段。

特点： 场景非常混乱，比如没有车道线的泥土路、临时改变方向的单行道。

为什么测它： 它是为了测试 VLA（视觉-语言-动作） 模型的融合能力。脚本会测试模型能不能准确回答“前面那个外卖车为什么要逆行”这种高难度问题。

来源： NVIDIA 在 2026 年初推出的 AR1 (Alpamayo-R1) 架构配套数据。

特点： 强调 Chain of Causation (CoC，因果链)。

为什么测它： 这是目前最前沿的测试。它不满足于你“开得对”，它要求你像 DeepSeek-R1 那样展示出完整的驾驶逻辑闭环。小米通过这个测试证明 OneVL 的逻辑推理能力可以对标 NVIDIA 最新的 R1 级别大模型。