中科院提出全新多视图世界模型和自动驾驶世界模型Drive-WM

要点:

由中科院自动化所研究团队提出的 Drive-WM 模型结合多视图世界模型，利用 Diffusion 模型生成逼真视频场景，为自动驾驶系统提供多视图预测和规划，极大提高安全性。

Drive-WM 模型首次将世界模型与端到端规划相结合，利用世界模型在每个时间步上预测未来情景，通过图像奖励函数全面评估，实现更安全、有效的规划。

Drive-WM 的生成能力提供新思路，特别是在面对 Out-of-Distribution（OOD）场景时，通过生成视频进行微调，使规划器在复杂场景中表现更佳，揭示了未来场景评估对规划的提升作用。

随着自动驾驶技术的迅猛发展，中科院自动化所的团队提出的 Drive-WM 模型成为自动驾驶领域的关键创新。这一模型通过多视图世界模型，利用生成式世界模型的强大生成能力，实现了多视图预测和规划，为自动驾驶系统的安全性提供了新的保障。在 CVPR2023自动驾驶研讨会上，Drive-WM 模型引起了广泛关注。

该模型不仅突破了世界模型与端到端规划的整合，还在面对 OOD 场景时表现出鲁棒性。通过对比实验，作者揭示了目前端到端规划器在面对 OOD 情况时的不足之处，而 Drive-WM 模型则通过生成视频进行学习，提高规划器在复杂场景中的性能。

论文地址:https://arxiv.org/pdf/2311.17918.pdf

此外，Drive-WM 还展示了其多视图视频生成的出色能力，通过引入时序层的编码和视图分解建模，实现了时空一致性。论文详细描述了模型的设计和控制选项，包括使用文本、场景布局、运动信息来控制多视图视频的生成，展示了其高质量和可控性。

Drive-WM 对于自动驾驶系统有着潜在影响，世界模型与端到端规划的结合将提高自动驾驶的安全、稳定和可靠性。这一技术突破有望推动自动驾驶领域迈向新的里程碑。