首页站长资讯创新型生成模型CityDreamer:一键生成无边界的3D城市
11197

创新型生成模型CityDreamer:一键生成无边界的3D城市

站长网2023-10-15 15:45:180

站长之家(ChinaZ.com) 10月15日 消息:近年来,关于3D 自然场景生成的研究已经很多,但对于3D 城市生成的研究相对较少。这是因为在城市环境中,人们对结构扭曲更加敏感,而生成3D 城市比生成3D 自然场景更为复杂。最近 ,南洋理工大学S-Lab的研究人员近日提出了一种名为CityDreamer的框架,专注于生成无边界的3D城市,这标志着3D城市生成领域的一项重大突破。

据了解,CityDreamer通过创新性地分为城市背景和建筑两个模块来解决这一难题,采用了鸟瞰视图(Bird's Eye View, BEV)作为场景表示。这两个模块都通过对抗训练采用体积渲染器(Volumetric Renderer)生成高度逼真的图像。CityDreamer 采用了一种创新的生成模型,它将建筑物的生成与其他背景对象(如道路、绿地和水域)分开处理,使用不同的模块进行生成。

数据集方面,为了提高生成的3D 城市的真实感,研究团队构建了两个数据集,即 OSM 数据集和 Google Earth 数据集,其中包含大量现实世界城市图像数据。

一个关键的挑战是,在城市中,建筑的外观多种多样,但它们通常被分配相同的类别。这导致了建筑外观的质量下降。为了克服这一问题,CityDreamer引入了生成哈希网格和周期性位置编码。哈希网格用于保持自然性和维护3D一致性,而周期性位置编码则用于处理多样性的建筑立面,这是一种简单而有效的方法。

CityDreamer的生成过程分为四个步骤:无边界城市布局生成、城市背景生成、建筑实例生成和图像融合。在无边界城市布局生成中,CityDreamer采用了无边界布局生成器(ULG)来生成可扩展的语义地图和高度场。城市背景生成模块使用哈希网格来保持自然性和维护3D一致性,通过基于体积渲染的渲染网络将三维空间特征映射到二维图像。建筑实例生成则通过基于体积渲染的渲染网络完成,观察到建筑立面和屋顶有显著的差异,因此它们分配了不同的类别标签。

实验结果显示,CityDreamer的效果明显优于其他同类方法,包括PersistentNature、SceneDreamer和InfiniCity。此外,CityDreamer还展示了出色的鲁棒性,从不同角度观察生成结果都非常令人满意。

这一创新的成果标志着3D城市生成技术的显著进展,为未来的虚拟城市和元宇宙的发展提供了有力支持。这一技术的应用前景非常广阔,将在游戏、城市规划、虚拟现实等领域发挥关键作用。

论文地址:https://arxiv.org/abs/2009.00610

项目地址:https://haozhexie.com/project/city-dreamer

0000
评论列表
共(0)条