创新型生成模型CityDreamer：一键生成无边界的3D城市

站长之家(ChinaZ.com) 10月15日 消息:近年来，关于3D 自然场景生成的研究已经很多，但对于3D 城市生成的研究相对较少。这是因为在城市环境中，人们对结构扭曲更加敏感，而生成3D 城市比生成3D 自然场景更为复杂。最近 ，南洋理工大学S-Lab的研究人员近日提出了一种名为CityDreamer的框架，专注于生成无边界的3D城市，这标志着3D城市生成领域的一项重大突破。

据了解，CityDreamer通过创新性地分为城市背景和建筑两个模块来解决这一难题，采用了鸟瞰视图（Bird's Eye View， BEV）作为场景表示。这两个模块都通过对抗训练采用体积渲染器(Volumetric Renderer)生成高度逼真的图像。CityDreamer 采用了一种创新的生成模型，它将建筑物的生成与其他背景对象（如道路、绿地和水域）分开处理，使用不同的模块进行生成。

数据集方面，为了提高生成的3D 城市的真实感，研究团队构建了两个数据集，即 OSM 数据集和 Google Earth 数据集，其中包含大量现实世界城市图像数据。

一个关键的挑战是，在城市中，建筑的外观多种多样，但它们通常被分配相同的类别。这导致了建筑外观的质量下降。为了克服这一问题，CityDreamer引入了生成哈希网格和周期性位置编码。哈希网格用于保持自然性和维护3D一致性，而周期性位置编码则用于处理多样性的建筑立面，这是一种简单而有效的方法。

CityDreamer的生成过程分为四个步骤:无边界城市布局生成、城市背景生成、建筑实例生成和图像融合。在无边界城市布局生成中，CityDreamer采用了无边界布局生成器（ULG）来生成可扩展的语义地图和高度场。城市背景生成模块使用哈希网格来保持自然性和维护3D一致性，通过基于体积渲染的渲染网络将三维空间特征映射到二维图像。建筑实例生成则通过基于体积渲染的渲染网络完成，观察到建筑立面和屋顶有显著的差异，因此它们分配了不同的类别标签。

实验结果显示，CityDreamer的效果明显优于其他同类方法，包括PersistentNature、SceneDreamer和InfiniCity。此外，CityDreamer还展示了出色的鲁棒性，从不同角度观察生成结果都非常令人满意。

这一创新的成果标志着3D城市生成技术的显著进展，为未来的虚拟城市和元宇宙的发展提供了有力支持。这一技术的应用前景非常广阔，将在游戏、城市规划、虚拟现实等领域发挥关键作用。

论文地址:https://arxiv.org/abs/2009.00610

项目地址:https://haozhexie.com/project/city-dreamer