2024-11-20， 由武汉大学、中国科学院自动化研究所、悉尼科技大学、牛津大学等合创建了DriveMLLM数据集，该数据集是自动驾驶领域首个专为评估多模态大型语言模型（MLLMs）空间理解能力而设计的基准，对于推动自动驾驶技术的发展具有重要意义。
数据集地址：DriveMLLM|自动驾驶数据集|空间理解数据集
一、研究背景：
自动驾驶技术的发展需要对3D环境有全面的理解，以支持运动预测、规划和地图构建等高级任务。尽管在对象中心识别任务上取得了巨大进展，但在自动驾驶中对象间空间关系的推理却被忽视了，这对于实现全面的3D场景理解至关重要。
目前遇到困难和挑战：
1、现有的多模态大型语言模型（MLLMs）在理解驾驶环境中复杂的空间关系方面存在局限性。
2、缺乏专门针对自动驾驶空间理解任务的基准数据集，难以评估和提升MLLMs的空间推理能力。
3、需要更先进的MLLMs基础空间推理方法，以支持自动驾驶领域的进一步研究。
数据集地址：DriveMLLM|自动驾驶数据集|空间理解数据集
二、让我们一起来看一下DriveMLLM数据集
DriveMLLM是一个专为自动驾驶空间理解任务设计的大规模基准数据集，包含2734张前置摄像头图像，并引入了绝对和相对空间推理任务。
DriveMLLM数据集基于nuScenes数据集构建，包含了880张经过精心筛选的图像，这些图像涵盖了丰富的交通情况、天气场景和一天中不同时间，确保了模型在多样化的真实驾驶情境下进行测试。
数据集的构建：
包括从nuScenes数据集中提取图像、应用过滤标准以确保图像质量、手动审查以进一步优化数据集，以及为每个对象生成标准化的自然语言描述。
数据集特点：
DriveMLLM数据集的特点在于其多模态性，结合了视觉图像和自然语言问题，以及其专注于空间理解的任务设计，包括对象定位、边界框确定、相机到对象的距离估计等。
研究人员可以使用DriveMLLM数据集来评估和训练MLLMs，通过提供图像和相应的自然语言问题，模型需要输出符合指定格式的答案。
基准测试 ：
基准测试包括多种评估MLLMs空间理解能力的指标，如二分类准确度、距离测量准确度、位置定位准确度等，以及一个综合准确度得分（AccS）。
三、让我们一起展望DriveMLLM数据应用场景
比如你是一名自动驾驶技术的研发工程师，你们团队正在开发一款新的自动驾驶系统。你们的目标是让这个系统能够在各种复杂的交通环境中安全、准确地导航。为了测试和优化你们的系统，你们需要一个强大的数据集来评估系统的性能，特别是在零样本学习的情况下。
场景描述： 你们选择了DriveMLLM数据集来进行零样本性能测试。这个数据集基于nuScenes数据集构建，包含了6019个经过精心注释的帧，这些帧覆盖了各种真实世界的驾驶场景，从城市街道到高速公路，从白天到夜晚，从晴天到雨天。
DriveMLLM数据集的应用：
1、数据集准备：
你们首先从nuScenes数据集中提取了相关的图像和传感器数据，这些数据包括了车辆、行人、交通信号等关键信息。
2、系统测试：
你们将这些数据输入到你们的自动驾驶系统中，系统需要在没有见过这些具体场景的情况下，做出正确的驾驶决策。这就像是给系统一个“考试”，测试它在真实世界中的表现。
3、性能评估：
你们使用DriveMLLM数据集来评估系统的决策准确度。在零样本测试中，你们的系统在验证集上达到了0.395的决策准确度。这意味着系统能够在没有事先训练的情况下，正确地理解和响应这些复杂的驾驶场景。
4、结果分析：
通过分析测试结果，你们发现系统在某些特定场景下表现不佳，比如在能见度低的雨夜或者在交通拥堵的市中心。这些信息对你们来说非常宝贵，因为它帮助你们识别了系统的弱点，并指导你们进行针对性的优化。
5、系统优化：
根据测试结果，你们对系统进行了调整和优化。你们改进了系统的感知模块，使其在低光照条件下也能准确地识别行人和车辆。同时，你们也增强了系统的决策算法，使其能够更好地处理复杂的交通流量。
通过使用DriveMLLM数据集，你们的自动驾驶系统在零样本性能测试中取得了显著的进步。这个数据集不仅帮助你们评估了系统的性能，还为你们提供了宝贵的反馈，指导你们进行系统优化。
https://www.selectdataset.com/