最全自动驾驶数据集分享系列二 | 语义分割数据集

目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列二：

「本期划重点」
波恩大学推出迄今为止最大的拥有序列信息的数据集SemanticKITTI

韩国科学技术院发布Highway Driving，该数据集提供的标注在空间上和时间上都比其他现有的数据集更密集

剑桥大学推出CamVid，提供第一个具有对象类语义标签的视频集合

「八大系列概览」
自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：
系列一：目标检测数据集

系列二：语义分割数据集

系列三：车道线检测数据集

系列四：光流数据集

系列五：Stereo Dataset

系列六：定位与地图数据集

系列七：驾驶行为数据集

系列八：仿真数据集

本文是<系列二语义分割数据集>，下面共包括9个数据集：

01
「SemanticKITTI」
发布方：波恩大学 (University of Bonn)
下载地址：
http://www.semantic-kitti.org...
论文地址：
https://www.researchgate.net/...
发布时间：2019年
简介：SemanticKITTI是KITTI在语义分割方向的子数据集，是激光雷达语义分割的重要基准之一，是迄今为止最大的拥有序列信息的数据集。它对 KITTI Vision Odometry Benchmark 中的所有序列都进行了标注，并为所用汽车激光雷达的完整360°视野提供了密集的逐点标注。基于该数据集，研发团队提出了三个基准任务：（i）使用单次扫描对点云进行语义分割，（ii）使用序列计算多个过去扫描的语义分段，（iii）语义场景完成
特征

提供23 201 次全 3D 扫描用于训练，20 351 次用于测试

该数据集包含 28 个标注类别，分为静态对象和动态对象，既包括行人、车辆等交通参与者，也包括停车场、人行道等地面设施

数据集包括518块瓷砖，共计超过1700个小时的标注工作

研发团队还将数据采集过程中用到的点云标记工具进行了开源

02
「Highway Driving」
发布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）

下载地址：

https://sites.google.com/site...

论文地址

https://arxiv.org/pdf/2011.00...

发布时间：2019年

简介：高速公路驾驶数据集是一个密集标注的语义视频分割任务的基准，它所提供的标注在空间上和时间上都比其他现有的数据集更密集。每一帧的标注都考虑到了相邻帧之间的关联性

特征

由20个60帧的序列组成，帧率为30Hz

数据集分成训练集和测试集，训练集由15个序列组成，而测试集由剩下的五个序列组成

帧率为30Hz的短视频片段是在高速公路驾驶的情况下拍摄的

包含道路、车道、天空、栅栏、建筑、交通标志、汽车、卡车、植被和未知10类标签。未知类包括未定义的物体、采集数据的车辆的引擎盖和模糊的边缘

03
「Wilddash」
发布方：奥地利技术研究所

下载地址：

https://wilddash.cc/accounts/...

论文地址：

https://openaccess.thecvf.com...

发布时间：2018年

大小：10.8G

简介：这是一个用于汽车领域的语义和汽车领域的实例分割的新测试数据集。它具有以下优点：(i) 允许对失败的测试进行回溯，以发现视觉上的风险因素; (ii) 增加负面的测试案例，以避免假阳性; (iii)具有低区域偏差和低相机设置偏差

特征

包含了全球多样性的交通状况，包括来自世界各地的测试案例

通过拥有大量来自不同国家的道路场景、道路布局以及天气和照明条件，减少了数据集的偏差

具有视觉危害和改进的元信息的场景，为每个测试图像阐明涵盖了哪些危害

标注：道路、人行道、停车场、铁轨、人、骑手、汽车、卡车、公共汽车、铁轨、摩托车、自行车、大篷车、建筑物、墙壁、栅栏、护栏、桥梁、隧道、电线杆、交通标志、交通灯、植被、地形、天空、地面、动态和静态

包括负面的算法失败的测试案例

04
「IDD」
发布方：IIIT Hyderabad

下载地址：

http://idd.insaan.iiit.ac.in/...

论文地址

https://sci-hub.se/10.1109/wa...

发布时间：2018年

简介：这是一个用于理解非结构化环境中的道路场景的数据集，它反映了与现有数据集明显不同的道路场景的标签分布

特征

由10,004张图像组成，用34个类别进行精细标注，这些类别采集于印度公路上的182个驾驶序列（完）

分辨率以1080p为主，也有720p和其他分辨率的图像

采集环境：海德拉巴、班加罗尔等城市及其郊区，采用车载摄像机拍摄

05
「Mapillary Vistas」
发布方：IIIT Hyderabad

下载地址：

https://www.mapillary.com/

论文地址：

https://openaccess.thecvf.com...

发布时间：2017年

简介：这是一个新颖的大规模街道级图像数据集，通过使用多边形来描绘单个对象，以精细和细粒度的样式执行注释

特征

包含25,000个高分辨率图像，标注为66个对象类别，另有37个类别的特定实例的标签

采集地点：欧洲、北美和南美、亚洲、非洲和大洋洲的部分地区

采集环境：不同的天气，如晴天、雨天、阴天、雾天；不同的光照条件，如黎明、黄昏、夜晚

采集设备：手机、平板电脑、动作相机、专业拍摄设备

06
「Cityscapes」
发布方：戴姆勒公司

下载地址：

https://www.cityscapes-datase...

论文地址：https://openaccess.thecvf.com...

发布时间：2016年

简介：专注于对城市街景的语义理解。大型数据集，包含从50个不同城市的街景中记录的各种立体视频序列

特征

拥有5000张在城市环境中驾驶场景的图片，具有19个类别的密集像素标注，其中8个具有实例级分割

一张图片的标注和质量控制平均需要1.5小时

高质量的像素级注释为5000帧，另外20000个弱注释帧

标注类别：平面、建筑、自然、车辆、天空、物体、人类和空洞

标注图像分为训练组、验证组和测试组

07
「Lost And Found」
发布方：戴姆勒公司

下载地址：

https://www.6d-vision.com/cur... research/lostandfounddataset

论文地址：

https://arxiv.org/pdf/1609.04...

发布时间：2016年

简介：关注于检测道路上由丢失货物引起的意外小障碍物的问题。数据使用ZED被动双目采集，共有2104标注好的数据。数据提出后的几年有多个数据集效仿（如seg me if you can 、SOD），同时有40+的算法将此数据集作为benchmark

特征

包含112 个立体视频序列和 2104 个带注释的帧（从记录的数据中大约每十分之一帧挑选一次）

在200万像素的立体图像上，帧率高达20赫兹

包括13个不同街道场景的记录，具有37种不同的障碍物类型

选定场景包含特殊的挑战，包括不规则的道路轮廓、远距离、不同的路面外观和强烈的光照变化

立体相机设置的基线为21厘米，焦距为2300像素，空间和辐射测量分辨率为2048×1024像素和12比特

08

「LaRA ：交通信号灯视频数据集」
发布方：斯坦福大学

下载地址：

http://ai.stanford.edu/~jkrau...

论文地址：

https://sci-hub.se/10.1109/ic...

发布时间：2011年

简介：提供了一种新的轨迹分类方法，方法基于数学原理上的组合对数几率，能对所有可见物体的轨迹进行分类，速度快到可以实时使用，对物体类别没有特异性

特征

包括约130万个标记的点云，这些点云在一个自主车辆研究平台上记录了约14,000条轨迹

标注分类：汽车、行人、骑自行车者和背景

采集地点：繁忙的校园街道和交叉路口

09
「CamVid」
发布方：剑桥大学

下载地址：

http://mi.eng.cam.ac.uk/resea...

论文地址：

https://sci-hub.se/10.1016/j....

简介：第一个具有对象类语义标签的视频集合，其中包含元数据。数据集提供基础事实标签，将每个像素与32个语义类之一相关联。该数据库解决了对实验数据的需求，以定量评估新兴算法。虽然大多数视频都使用固定位置的闭路电视风格相机拍摄，但该数据是从驾驶汽车的角度拍摄的。驾驶场景增加了观察对象类的数量和异质性

特征

提供超过10分钟的高质量30Hz连续镜头，对应的语义标记图像为1Hz，部分为15Hz

包括四个高清视频序列，它们的名称和持续时间（分钟：秒）是0001TP（8:16），0006R0（3:59），0016E5（6:19）和Seq05VD（3:40），总的持续时间为22:14。0001TP序列是在黄昏时分拍摄的，场景中的物体可以场景中的物体仍然可以被识别，但比其他序列中的物体明显更暗，更有颗粒感。其他三个序列是在白天拍摄的，天气相当晴朗

采集环境：混合的城市和住宅

首先手动指定700多幅图像的逐像素语义分割，然后由第二个人检查并确认其准确性

拍摄了相机颜色响应和内部物理的标定序列，并计算了序列中每一帧的三维相机姿态

采集设备：车载摄像机

提供了定制的标签软件，帮助用户为其他图像和视频绘制精确的类标签

END