1.KITTI數據集概述

KITTI數據集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。

該數據集用于評測立體圖像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的性能。

KITTI包含市區、鄉村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。整個數據集由389對立體圖像和光流圖，39.2 km視覺測距序列以及超過200k 3D標注物體的圖像組成[1] ，以10Hz的頻率采樣及同步。

總體上看，原始數據集被分類為’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。對于3D物體檢測，label細分為car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc組成。

地址: http://www.cvlibs.net/datasets/kitti

相關論文：

1、Geiger A, Lenz P, Urtasun R. Are we ready for autonomous driving? the kitti vision benchmark suite[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012: 3354-3361.

2、Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: The kitti dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237.

3、Uhrig J, Schneider N, Schneider L, et al. Sparsity invariant cnns[C]//2017 international conference on 3D Vision (3DV). IEEE, 2017: 11-20.

2.數據采集平臺

如圖-1所示，KITTI數據集的數據采集平臺裝配有2個灰度攝像機，2個彩色攝像機，一個Velodyne 64線3D激光雷達，4個光學鏡頭，以及1個GPS導航系統。

具體的傳感器參數如下[2] ：

• 2 × PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter

• 2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter

• 4 × Edmund Optics lenses, 4mm, opening angle ～ 90?, vertical opening angle of region of interest (ROI) ～ 35?

• 1 × Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ～ 1.3 million points/second, field of view: 360? horizontal, 26.8? vertical, range: 120 m

• 1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1?

如圖-2所示為傳感器的配置平面圖。為了生成雙目立體圖像，相同類型的攝像頭相距54cm安裝。

由于彩色攝像機的分辨率和對比度不夠好，所以還使用了兩個立體灰度攝像機，它和彩色攝像機相距6cm安裝。為了方便傳感器數據標定，規定坐標系方向如下[2] ：

• Camera: x = right, y = down, z = forward

• Velodyne: x = forward, y = left, z = up

• GPS/IMU: x = forward, y = left, z = up

3.Dataset詳述

圖-3展示了KITTI數據集的典型樣本，分為 ’Road’, ’City’, ’Residential’, ’Campus’ 和’Person’五類。原始數據采集于2011年的5天，共有180GB數據。

3.1 數據組織形式

論文[2] 中提及的數據組織形式，可能是早期的版本，與目前KITTI數據集官網公布的形式不同，本文稍作介紹。

如圖-4所示，一個視頻序列的所有傳感器數據都存儲于data_drive文件夾下，其中date和drive是占位符，表示采集數據的日期和視頻編號。時間戳記錄在Timestamps.txt文件。

下載地址: 有大神將其放在了自己的服務器方便大家下載， http://dataset.f3322.net:666/share/kitti/

3.2 Development Kit

KITTI各個子數據集都提供開發工具 development kit，主要由cpp文件夾，matlab文件夾，mapping文件夾和readme.txt組成。

下圖以object detection任務的文件夾devkit_object為例，可以看到cpp文件夾主要包含評估模型的源代碼evaluate_object.cpp。

Mapping文件夾中的文件記錄訓練集到原始數據集的映射，從而開發者能夠同時使用激光雷達點云，gps數據，右邊彩色攝像機數據以及灰度攝像機圖像等多模態數據。

Matlab文件夾中的工具包含讀寫標簽，繪制2D/3D標注框，運行demo等工具。Readme.txt文件非常重要，詳述介紹了某個子數據集的數據格式，benchmark介紹，結果評估方法等詳細內容。

devkit_object
|── cpp
│ |── evaluate_object.cpp
│ └── mail.h
|── mapping
│ |── train_mapping.txt
│ └── train_rand.txt
|── matlab
│ |── computeBox3D.m
│ |── computeOrientation3D.m
│ |── drawBox2D.m
│ |── drawBox3D.m
│ |── projectToImage.m
│ |── readCalibration.m
│ |── readLabels.m
│ |── run_demo.m
│ |── run_readWriteDemo.m
│ |── run_statistics.m
│ |── visualization.m
│ └── writeLabels.m

3.3 GPS/IMU位姿數據

OXTS (GPS/IMU)：

對于每一幀，我們將30個不同的GPS /IMU值存儲在文本文件中：地理坐標包括高度，全球定位，速度，加速度，角速率，精度和衛星信息。加速度和角速率都是使用兩個坐標系指定的，一個坐標系與車體（x，y，z）相連，另一個坐標系映射到該位置的地表切面（f，l，U）。

我們偶爾會遇到與OXTS設備短時間（約1秒）的通信中斷，我們為此線性插入所有值，并將最后3個條目設置為'-1'以指示缺失的信息。dataformat.txt提供了更多細節。轉換實用程序在開發工具包中提供。

主要提供以下30個數值：

- lat: latitude of the oxts-unit (deg)
- lon: longitude of the oxts-unit (deg)
- alt: altitude of the oxts-unit (m)
- roll: roll angle (rad), 0 = level, positive = left side up (-pi…pi)
- pitch: pitch angle (rad), 0 = level, positive = front down (-pi/2…pi/2)
- yaw: heading (rad), 0 = east, positive = counter clockwise (-pi…pi)
- vn: velocity towards north (m/s)
- ve: velocity towards east (m/s)
- vf: forward velocity, i.e. parallel to earth-surface (m/s)
- vl: leftward velocity, i.e. parallel to earth-surface (m/s)
- vu: upward velocity, i.e. perpendicular to earth-surface (m/s)
- ax: acceleration in x, i.e. in direction of vehicle front (m/s^2)
- ay: acceleration in y, i.e. in direction of vehicle left (m/s^2)
- az: acceleration in z, i.e. in direction of vehicle top (m/s^2)
- af: forward acceleration (m/s^2)
- al: leftward acceleration (m/s^2)
- au: upward acceleration (m/s^2)
- wx: angular rate around x (rad/s)
- wy: angular rate around y (rad/s)
- wz: angular rate around z (rad/s)
- wf: angular rate around forward axis (rad/s)
- wl: angular rate around leftward axis (rad/s)
- wu: angular rate around upward axis (rad/s)
- posacc: velocity accuracy (north/east in m)
- velacc: velocity accuracy (north/east in m/s)
- navstat: navigation status
- numsats: number of satellites tracked by primary GPS receiver
- posmode: position mode of primary GPS receiver
- velmode: velocity mode of primary GPS receiver
- orimode: orientation mode of primary GPS receiver

可以利用matlab程序中的oxts = loadOxtsliteData('2011_xx_xx_drive_xxxx')來解析GPS/IMU數據，然后利用pose = convertOxtsToPose(oxts)程序將oxts數據轉換為米制單位位姿，用一個4x4的剛體變換矩陣表示。

3.4 傳感器標定

這部分內容對于想要利用KITTI中多個傳感器數據進行傳感器融合相關算法開發至關重要。

raw data數據集中提供了三個標定文件，分別是：

calib_cam_to_cam.txt——相機到相機之間的標定：

• -S_xx：表示圖像矯正前的尺寸——寬 高

• -K_xx：表示相機xx圖像矯正前的標定矩陣，3x3大小

• -D_xx：矯正前相機xx的1x5畸變向量

• -R_xx：相機xx的3x3旋轉矩陣（相機外參）

• -T_xx：相機xx的3x1平移向量（相機外參）

• -S_rect_xx：矯正后相機xx圖像尺寸

• -R_rect_xx：3x3的矯正旋轉矩陣用來使圖像平面共面

• -P_rect_xx：矯正后3x4的投影矩陣（表示將矯正后相機00下坐標轉到相機xx下圖像像素的投影矩陣）

注意：在使用同步矯正數據集時，我們一般只會用到P_rect_xx矩陣和R_rect_00矩陣。

D_xx解釋:

圖像的畸變主要有兩種：徑向畸變和切向畸變。

徑向畸變：正中心位置的畸變最小，隨著半徑的增大，畸變增大。徑向畸變可以分為枕形畸變和桶形畸變：

徑向畸變矯正公式如下（泰勒級數展開式前3項）：

切向畸變：在透鏡與成像平面不平行時就會產生，類似于透視變換。

切向畸變的矯正公式如下：

calib_velo_to_cam.txt——激光雷達到相機之間的對準：

• -R：3x3的旋轉矩陣

• -T：3x1的平移向量

R|T共同組成一個剛體變換矩陣，用來將激光雷達坐標系下的一個點轉換到左側灰度相機（即cam00）坐標系下。在開發激光雷達和相機融合相關算法時會用到。

calib_img_to_velo.txt——GPS/IMU到激光雷達之間的對準：

• -R：3x3的旋轉矩陣

• -T：3x1的平移向量

3.5 深度預測、深度完成模塊的數據介紹

激光數據被保存成png格式（uint16）與真實距離（米）之間的關系：png的像素值除以256，來源：

http://www.cvlibs.net/datasets/kitti/eval_depth_all.php

Download development kit (48 K)中的 readme.txt（http://www.cvlibs.net/downloads/depth_devkit.zip）

disp(u,v) = ((float)I(u,v))/256.0; valid(u,v) = I(u,v)>0;

KITTI中的3D激光雷達點云（官網下載的raw文件中的sync文件下的）bin文件（infile），轉成pcd文件(outfile)存儲代碼：

 // load point cloud
 fstream input(infile.c_str(), ios::in | ios::binary);
 if(!input.good()){
  cerr << "Could not read file: " << infile << endl;
  exit(EXIT_FAILURE);
 }
 input.seekg(0, ios::beg);
 
 pcl::PointCloud::Ptr points (new pcl::PointCloud);
 
 int i;
 for (i=0; input.good() && !input.eof(); i++) {
  PointXYZI point;
  input.read((char *) &point.x, 3*sizeof(float));
  input.read((char *) &point.intensity, sizeof(float));
  points->push_back(point);
 }
 input.close();
 
 cout << "Read KTTI point cloud with " << i << " points, writing to " << outfile << endl;
 
  pcl::PCDWriter writer;
 
  // Save DoN features
  writer.write (outfile, *points, false);

3.6 pose數據介紹

數據集位置:

https://s3.eu-central-1.amazonaws.com/avg-kitti/devkit_odometry.zip

在文件夾 devkit_odometry/devkit/reame.txt 中說明: 在poses目錄下，包含00.txt-10.txt 11個序列，每一個文件包換Nx12個表格，N代表幀數。

每一行利用3x4轉移矩陣代表左邊相機(猜想這里指的是 Cam 0, 左側的灰度相機)坐標系統的位姿，轉移矩陣將當前幀左邊相機系統中的一個點映射到第0幀的坐標系統中。轉移矩陣中平移的部分表示當前相機位置(相對于第0幀)。

原文: Folder 'poses': The folder 'poses' contains the ground truth poses (trajectory) for the first 11 sequences. This information can be used for training/tuning your method. Each file xx.txt contains a N x 12 table, where N is the number of frames of this sequence. Row i represents the i'th pose of the left camera coordinate system (i.e., z pointing forwards) via a 3x4 transformation matrix. The matrices are stored in row aligned order (the first entries correspond to the first row), and take a point in the i'th coordinate system and project it into the first (=0th) coordinate system. Hence, the translational part (3x1 vector of column 4) corresponds to the pose of the left camera coordinate system in the i'th frame with respect to the first (=0th) frame.

（john解讀：ORB-SLAM3中相機位姿（camera pose）的表示是Tcw，即世界坐標系的點Pw到相機坐標系的點Pc的變換矩陣，(camera pose 的逆是Twc, 即 Pw = Twc * Pc）。這里的pose.txt保存時，以第一幀（的相機坐標系）作為世界坐標系（即 0,0,0,0,0,0,1），保存的為第i幀相機坐標系下的點到第0幀（世界坐標系）的變換，即Twc（相機位姿的逆）。

示例：sequence 00 的poses（軌跡）00.txt

審核編輯 ：李倩