AI生成系统CityDreamer：可创建无限的 3D 城市街景

文章概要:

1. CityDreamer 是一种生成式AI模型，可以创建无限的3D城市环境。

2. 通过将建筑实例生成与其他背景对象分离，可以更好地处理建筑多样性。

3. 使用真实城市数据集训练，可以增强生成结果的真实性。

相比生成自然场景，用AI创建城市更复杂，因为可以更容易察觉结构失真。CityDreamer是一种生成式AI系统，专门用于创建开放式的、无边界的3D城市环境。

自然场景生成的成功可归因于两个主要因素:（1）自然场景中的同类对象倾向于外观相似;(2)像SPADE这样的图像转换技术可以快速生成大量高质量训练数据。但这不适用于城市建筑生成。

它的关键创新在于将建筑实例的生成与其他背景对象如天空、地面等分离开来。这样可以更好地处理城市场景中建筑外观多样性的挑战，这也是与生成自然环境相比的一个重要区别。

CityDreamer系统使用了两个真实世界的城市数据集:开放街图（OSM）和Google Earth，这为模型提供了真实的城市布局和建筑样式。研究人员通过这些数据训练模型学习生成逼真的城市场景。CityDreamer包含四个模块:无界布局生成器、城市背景生成器、建筑实例生成器和合成器。

与此同时，建筑实例的生成使用变分自编码器获得更好的多样性。这样就可以创造出具有极高细节和逼真度的3D城市，并可以无限扩展生成范围。

可见，CityDreamer系统应用了多个生成模型的优点，解决了生成开放式城市场景的关键难题，为未来数字城市和元宇宙相关任务提供了有力支撑。这项研究工作展示了生成模型在复杂三维场景生成方面的巨大潜力。

项目网址:https://infinitescript.com/project/city-dreamer/

https://github.com/hzxie/city-dreamer