智慧城市是城市生活的未来。然而，对于城市规划者来说，它们可能面临各种挑战，尤其是在交通领域。要取得成功，城市的各个方面，包括环境、基础设施、商业和教育，必须实现功能集成。



这很困难，因为仅仅管理交通流量就是一个复杂的问题，充满了拥堵、对事故的紧急响应以及排放等挑战。

为了解决这些挑战，开发人员正在创建具有现场可编程性和灵活性的人工智能软件。这些软件定义的物联网解决方案可以为实时环境提供可扩展、即插即用的产品，如交通管理、车牌识别、智能停车和事故检测。

然而，构建有效的人工智能模型并不容易。训练数据中存在缺失值、重复示例、错误标签和错误特征值等常见问题可能导致模型不准确。对于自动驾驶汽车来说，不准确的结果可能是危险的，还可能导致交通系统效率低下或城市规划不佳。

实时城市交通的数字孪生

端到端人工智能工程公司SmartCow是NVIDIA Metropolis合作伙伴，他们在NVIDIA Omniverse上创建了交通场景的数字孪生。这些数字孪生生成合成数据集并验证人工智能模型的性能。

团队通过使用 NVIDIA Omniverse Replicator生成合成数据解决了由于缺乏足够数据来构建优化人工智能训练流程的常见挑战。

Omniverse扩展的基础是通用场景描述（USD），也被称为OpenUSD。USD是一种强大的交换格式，具有高度可扩展的属性，用于构建虚拟世界。智慧城市的数字孪生依赖于高度可扩展和互操作的USD功能，用于准确模拟真实世界的大型、高保真场景。

Omniverse Replicator是Omniverse平台的核心扩展，使开发人员能够以编程方式生成带注释的合成数据，对感知人工智能模型的训练进行启动。当真实数据集有限或难以获取时，合成数据特别有用。

通过使用数字孪生，SmartCow团队生成了准确代表真实交通场景和违规行为的合成数据集。这些合成数据集有助于验证人工智能模型并优化人工智能训练流程。

构建车牌识别扩展

智能交通管理系统最大的挑战之一是车牌识别。开发一个在不同国家、不同自治市和环境下都能工作的模型需要多样且强大的训练数据。为了为模型提供充足和多样化的训练数据，SmartCow在Omniverse中开发了一个扩展来生成合成数据。

Omniverse中的扩展是可重用的组件或工具，提供强大的功能来增强流程和工作流。在Omniverse Kit中构建扩展后，开发人员可以轻松地将其分发给客户，在Omniverse USD Composer、Omniverse USD Presenter和其他应用程序中使用。

SmartCow的扩展名为车牌合成生成器（License Plate Synthetic Generator，LP-SDG），它使用环境随机化器和物理随机化器使合成数据集更加多样化和逼真。

环境随机化器模拟数字孪生环境中的光照、天气和其他因素的变化，如雨、雪、雾或灰尘。物理随机化器模拟可能影响模型识别车牌号码能力的划痕、污垢、凹痕和变色。

使用 NVIDIA Omniverse Replicator 生成合成数据

数据生成过程从在 Omniverse 中创建 3D 环境开始。Omniverse 中的数字孪生可用于许多模拟场景，包括生成合成数据。最初的3D场景由SmartCow的内部技术美术师构建，确保数字孪生尽可能与现实相匹配。



在生成场景后，使用域随机化来改变光源、纹理、相机位置和材质。整个过程使用内置的Omniverse Replicator APIs以编程方式完成。

生成的数据被导出时附带了边界框标注和用于训练的附加输出变量。

模型训练

初始模型在3000张真实图像上进行了训练。目标是了解基线模型的性能，并验证正确的边界框尺寸和光照变化等方面。

接下来，团队进行了一系列实验，比较了在生成的合成数据集上进行的基准测试，包括3000个样本、30000个样本和300000个样本。



“通过Omniverse获得的逼真度，使用合成数据训练的模型有时会表现优于使用真实数据训练的模型” SmartCow的软件工程师Natalia Mallia说道。"使用合成数据实际上消除了在真实图像训练数据集中自然存在的偏差。"

为了提供准确的基准和比较结果，团队在三种尺寸的合成数据集上训练时，对数据进行了随机化处理，包括时间、划痕和观察角度等一致参数。为了保持比较的准确性，真实世界的数据没有与合成数据混合使用进行训练。每个模型都与约1000张真实图像的数据集进行了验证。

SmartCow团队将来自Omniverse LP-SDG扩展的训练数据与NVIDIA TAO集成在一起，TAO是一款低代码的AI模型训练工具包，利用迁移学习的强大能力对模型进行微调。

团队使用NGC目录中提供的预训练车牌检测模型，并使用TAO和NVIDIA DGX A100系统进行了微调。

使用NVIDIA DeepStream部署模型

然后，AI模型被部署到使用NVIDIA DeepStream SDK的定制边缘设备上。

然后，他们实施了一个连续学习循环，其中涉及从边缘设备收集漂移数据，将数据反馈到Omniverse Replicator中，合成可重新训练的数据集，该数据集通过自动标注工具进行标注，并反馈到TAO进行训练。

这个闭环管道有助于为自动检测每条车道的交通方向以及任何停放时间异常长的车辆创建准确有效的AI模型。

从合成数据、数字孪生和AI智能的智慧城市交通管理入手

为了在智慧城市交通领域构建更有效的AI模型，使用数字孪生工作流生成合成数据集和验证AI模型性能是一个重要步骤。使用合成数据集可以克服数据集有限的挑战，并提供准确有效的AI模型，从而实现高效的交通系统和更好的城市规划。

 

来源：https://developer.nvidia.com/blog/developing-smart-city-traffic-management-systems-with-openusd-and-synthetic-data/