< Previous오세찬·이종민·오광석·이경수 자동차안전학회지:제14권,제2호,2022 참고문헌 (1)Li, B., Du, H. and Li, W., 2016, “Fault-tolerant control of electric vehicles with in-wheel motors using actuator-grouping sliding mode controlllers”, Mechanical Systems and Signal Processing, Vol. 72, No. 5, pp. 462~485. (2)Stetter, R., 2020, “A virtual fuzzy actuator for the fault-tolerant control of a rescue vehicle”, 2020 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE), pp. 1~8. (3)Chen, L., Li, X., Xiao, W., Li, P. and Zhou, Q., 2019, “Fault-tolerant control for uncertain vehicle active steering systems with time-delay and actuator fault”, International Journal of Control, Automation and Systems, Vol. 17, No. 9, pp. 2234~2241. (4)Gao, Z., Yang, L., Wang, H. and Li, X., 2017, “Active fault tolernat control of electric power steering system with sensor fault”, 2017 36 th Chinese Control Conference(CCC) IEEE, pp. 9630~ 9636. (5)Jeon, N. and Lee, H., 2016, “Integrated fault diagnosis algorithm for motor sensor of in-wheel independent drive electric vehicles”, Sensors, Vol. 16, No. 12, pp. 2106. (6)Shahnazari, H. and Mhaskar, P., 2018 “Actuator and sensor fault detection and isolation for nonlinear systems subject to uncertainty”, Internatinonal Journal of Robust and Nonlinear Control, Vol. 28, No. 6, pp. 1996~2013. (7)Abci, B., El Najjar, M, E, B. and Cocquempot, V., 2019, “Sensor and actuator fault diagnosis for a multi-robot system based on the Kullback-Leibler Divergence”, 2019 4 th Conference on Control and Fault Tolerant Systems (SysTol) IEEE, pp. 68~73. (8)Han, J., Liu, X., Wei, X. and Zhang, H., 2019, “Reduced-order observer based fault estimation and fault-tolerant control for switched stochastic systems with actuator and sensor faults”, ISA transactions, Vol. 88, No. 5, pp. 91~101. (9)Liu, M., Cao, X. and Shi, P., 2012, “Fuzzy-model- based fault-tolerant design for nonlinear stochastic systems against simultaneous sensor and actuator faults”, IEEE Transactions on Fuzzy Systems, Vol. 21, No. 5, pp. 789~799. (10)Kommuri, S. K., Defoort, M., Karimi, H. R. and Veluvolu, K. C., 2016, “A robust observer-based sensor fault-tolerant control for PMSM in electric vehicles”, IEEE Transactions on Industrial Electronic, Vol. 63, No. 12, pp. 7671~7681. (11)Mekki, H., Benzineb, O., Tadjine, M. and Benbouzid, M., 2015, “Sliding mode based fault detection, reconstruction and fault tolerant control scheme for motor systems”, ISA transactions, Vol. 57, No. 7, pp. 340~351. (12)Karras, G. C. and Fourlas, G. K., 2020, “Model predictive fault tolerant control for omni-directional mobile robots”, Journal of Intelligent & Robotics Systems, Vol. 97, No. 5, pp. 635~655.◎ 논 문 http://dx.doi.org/10.22680/kasa2022.14.2.039 도심 자율주행을 위한 라이다 정지 장애물 지도 기반 위치 보정 알고리즘 노한석 * ·이현성 ** ·이경수 ***,† LiDAR Static Obstacle Map based Position Correction Algorithm for Urban Autonomous Driving † 도심 자율 주행위치 보정로봇 운영체제 라이다 포인트 클라우드정규 분포 변환 정지 장애물점유 격자 지도 ABSTRACT This paper presents LiDAR static obstacle map based vehicle position correction algorithm for urban autonomous driving. Real Time Kinematic (RTK) GPS is commonly used in highway automated vehicle systems. For urban automated vehicle systems, RTK GPS have some trouble in shaded area. Therefore, this paper represents a method to estimate the position of the host vehicle using AVM camera, front camera, LiDAR and low-cost GPS based on Extended Kalman Filter (EKF). Static obstacle map (STOM) is constructed only with static object based on Bayesian rule. To run the algorithm, HD map and Static obstacle reference map (STORM) must be prepared in advance. STORM is constructed by accumulating and voxelizing the static obstacle map (STOM). The algorithm consists of three main process. The first process is to acquire sensor data from low-cost GPS, AVM camera, front camera, and LiDAR. Second, low-cost GPS data is used to define initial point. Third, AVM camera, front camera, LiDAR point cloud matching to HD map and STORM is conducted using Normal Distribution Transformation (NDT) method. Third, position of the host vehicle position is corrected based on the Extended Kalman Filter (EKF).The proposed algorithm is implemented in the Linux Robot Operating System (ROS) environment and showed better performance than only lane-detection algorithm. It is expected to be more robust and accurate than raw lidar point cloud matching algorithm in autonomous driving. * 서울대학교 기계공학부, 학생 ** 서울대학교 기계공학부, 학생 *** 서울대학교 기계공학부, 교수 † 교신저자: kyi@snu.ac.kr E-mail: nhs0601@snu.ac.kr 1. 서 론 자율주행 자동차 연구에 있어서, 자차의 위치를 추정하 는 측위 기술의 정확도와 정밀도는 매우 중요하다. 자차의 추정위치를 기반으로 목표 주행경로가 생성되고 이러한 주행 경로를 추종하는 시나리오는 도심도로 자율주행에 서 대부분이다. Real Time Kinematic(RTK) GPS는 GPS, BeiDou, GLONASS, Galileo, NavlC와 같은 Global Navigation Satellite System(GNSS)에서 얻은 위치 데이터에 이동 국(rover)이 기준국(base)에서 전송된 반송파 위상 보정 자동차안전학회지: 제14권, 제2호, pp. 39∼44, 2022 논문접수일: 2021.5.3, 논문수정일(1차: 2021.8.24, 2차: 2021.11.8), 게재확정일: 2022.10.4노한석·이현성·이경수 자동차안전학회지:제14권,제2호,2022 치를 수신하고, 이를 이동국에서 관측된 값으로 보정하여 실시간으로 1~3cm정도의 정밀도를 향상시킨 측량 방식 이다. (1) 고정밀 RTK GPS는 높은 정확도를 가지고 있기 때문에 level 3 이하의 자율주행 기술 연구에 활용되어왔 다. 하지만 매우 높은 가격에 판매되고 있어 양산을 위한 자율주행 자동차에 장착하기에는 적합하지 않다. 또한 차 량과 건물들이 밀접한 도심지역에서 수행되는 level4 이 상의 자율주행에서 계속 사용하기에는 위성신호 방해의 우려가 있다. 반면 저가형 GPS(Low-cost GPS, LC GPS) 는 현재 양산되고 있는 많은 승용차량에 장착 되어 있으며 RTK GPS에 비해 훨씬 싸다는 가격적인 이점을 가지고 있다. 하지만 보통 1~3m 수준의 오차범위를 갖기 때문에 LC GPS의 데이터를 바로 측위 장비로 사용하기에는 개선 되어야 할 부분이 많다. 국토지리정보원에서 제공하는 High Definition Map (HD map)는 자율주행차량에 도로 형상과 도로 노면에 있는 차 선 및 마킹에 대한 위치 정보를 오차범위 10cm이내의 정 확도로 전달해준다. 본 실험에서는 RTK GPS와 차선 인 지 알고리즘 및 위성 사진 등을 활용하여 자체 제작한 map 을 HD map 대신 사용하였다. 또한 정지 장애물들을 이용 하여 생성한 정지 장애물 기준 지도(STORM)을 사용하여 차선 정보 외에도 정지 장애물에 대한 위치를 나타내는 map 을 추가로 사용하였다. AVM 및 전방카메라를 이용하여 차선인지를 하여 HD map과 NDT(Normal Distribution Transformation) 알고리 즘을 이용하여 매칭하면 차량의 현재 위치 및 자세에 대한 정보를 얻을 수 있다. 하지만 교차로에는 차선에 대한 정보 를 얻을 수 없기 때문에 자율주행차량이 교차로를 통과할 시 에 현재 위치 및 자세에 대한 추정 시 오차가 발생할 수 있다. Light Detection And Ranging(LiDAR)은 레이저 펄스 를 발사하고, 그 빛이 주위의 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리에 대한 높은 정확도를 가진 데이터를 준다. LiDAR sensor는 Vision sensor과 더불어 차량의 인지 정보형성을 위해 가장 많이 연구되고 있다. (2) 앞서 언급한 AVM 및 전방카메라와 더불어 현재 차량에서 인지되는 정지 장애물들을 사전에 생성한 LiDAR map을 NDT알고리즘을 이용하여 매칭하여 차선이 없는 교차로 구역에 대하여 차량의 위치를 추정할 수 있게 하였다. Odometry란 출발 지점으로부터 얼마나 떨어져 있는지 를 파악하는 상대적인 위치를 추정하는 개념이다. 본 연구 에서는 자율 주행 차량의 LiDAR sensor를 통한 SLAM (Simultaneous Localization And Mapping)와 Chassis CAN 정보를 이용하여 차량의 동적상태(속도 및 각속도) 에 대해 확장칼만필터(EKF)에 기반하여 추정한다. 추정한 동적상태를 바탕으로 확장칼만필터(EKF)에 기 반해 process update를 하고 맵매칭결과를 measurement update에 활용하여 차량의 추정위치를 보정하는 알고리 즘을 작성하였다. 위치 보정 알고리즘은 Robot Operating Systems(ROS)에서 구현되어 LiDAR 및 Vision 센서, Low cost GPS가 장착된 자율주행 차량으로 서울대학교 시흥 캠퍼스 미래모빌리티센터의 테스트베드에서 실험한다. 기 존의 Vision 기반 차선 인지 알고리즘의 취약한 부분인 교 차로 대응 성능 비교를 위해 교차로가 있는 코스를 test용 코스로 선정하였다. Vision 기반 차선 인지 알고리즘을 기 본 알고리즘으로 하여 이 논문에서 제시한 알고리즘을 추 가적으로 적용한 알고리즘과 비교하였다. 2. 실험 차량 센서 구성 및 데이터 취득 방법 2.1. 차량 및 센서구성 본 연구에서는 알고리즘의 올바른 성능검증을 위해 map 을 제작하기 위한 차량과 알고리즘 검증용 차량을 각각 다른 차량으로 수행하였다. Map을 제작하기 위한 차량은 Hyundai Sonata DN8을 이용하였고 OxTs사의 RTK GPS RT3000를 장착, AVM및 Logitech 사의 streamcam을 이용 해 차선인지에 사용하였으며 LiDAR sensor로는 Velodyne 사의 VLP-16 4개를 장착하여 사방을 모두 인지 할 수 있게 하였다. 알고리즘 test용 차량으로는 Hyundai IONIQ을 이용하 였고 초기위치 초기화를 위해 사용한 Low cost GPS는 u-blox사의 C100-F9K 제품을 이용하였고 오차분석을 위한 reference RTK GPS로는 Inertial labs 사의 INS-P 를 사용, AVM 및 logitech 사의 streamcam을 이용해 차 선인지를 하였으며 LiDAR sensor로는 Velodyne사의 VLP-16 4개를 장착하였다. 알고리즘 검증용 차량에 들 어간 센서 및 장비들의 정보는 Table 1과 같다. 2.2. 데이터 취득 방법 및 HD map 제작 알고리즘 검증을 위한 자율주행 테스트는 서울대학교 시흥캠퍼스 미래모빌리티기술센터(FMTC)의 테스트베 드에서 진행하였다. 알고리즘은 ROS환경에서 구현하였 고 주행코스는 차선이 있는 곳과 차선이 없는 곳을 비교하 기 위하여 교차로가 있는 코스로 선정하여 실험을 진행했다. Fig. 1에서 파란색선으로 표시한 코스에 대하여 알고리즘 도심 자율주행을 위한 라이다 정지 장애물 지도 기반 위치 보정 알고리즘 자동차안전학회지:제14권,제2호,2022 Table 1 Sensor specification for a test car Components/ModelSpecification Test Car / Hyundai IONIQ - Type: 4-door sedan - Length: 4470mm - Width: 1820mm 3D-LiDAR / Velodyne VLP-16 - Channels: 16 - Update rate: 5-20Hz - Position accuracy: 3cm - Angular resolution (horizontal): 0.2 degree Reference GPS/ Inertial Labs INS-P - Update rate: 200Hz - Position accuracy: 0.03m - Velocity accuracy: 0.03m/s AVM Camera/Omnivue 360 - 4 Camera - Horizontal field of view: 185° - Vertical field of view: 142° - Total pixel: 120M pixel Front camera/logitech stream cam - FOV:78 - 60fps (MJPEG) Low cost GPS/ U-blox EVK-M8L - Update rate: 1Hz - Position accuracy: 2m Fig. 1 FMTC automated driving testbed 검증을 수행하였다. 알고리즘 성능 검증을 위하여 Reference GPS로써 RTK GPS를 사용하였으며 수동으로 주행하며 알고리즘 적용 결과를 ROS topic 형태로 추출하였다. 추 출한 ROS topic은 Rosbag패키지를 사용하여 bag 파일로 저장하였다. FMTC 테스트베드의 HD map은 국토지리정보원에서 제공하지 않으므로 직접 RTK GPS와 차선 인지 알고리 즘, 드론으로 촬영한 사진을 사용하여 차선정보가 기록된 HD map을 제작하였다. RTK GPS와 front camera, LiDAR, AVM 등을 장착한 차량으로 차선의 중앙을 따라 수동 주 행하였다. 차량 좌표계로 인지되는 차선의 위치를 RTK GPS에서 나오는 차량의 위치를 이용하여 UTM 좌표계로 기록하였다. Smoothing 과정과 드론으로 촬영한 사진과 의 비교를 통해 자체제작한 HD map을 완성하였다. 3. 정지 장애물 지도 생성 3.1. 정지 장애물 지도 생성 및 차량 오도메트리 추정 정지 장애물 지도(STOM)는 차량 좌표계를 기준으로 하고 사전에 지정된 높이와 너비, 해상도를 갖는 2D 형태 의 점유격자지도 형태로 나타내어진다. 차량 센서로부터 얻어진 LiDAR point cloud들을 점유격자지도의 해상도에 따라 격자로 분리한 뒤 각 격자안의 point cloud에 대하여 정지된 point cloud 가 존재할 확률을 계산해 0과 1사이의 값을 가진 점유격자 지도 형태로 가공된다. 가공된 점유격 자지도에서 특정 임계점(Threshold)값 이상의 값을 갖는 격자로 재구성하여 정지 장애물 지도를 재정의하였다. 본 알고리즘에서는 threshold를 0.85로 두었으며 생성된 정 지 장애물 지도를 Static Obstacle Map(STOM)으로 명명 하였다. 차량의 Chassis IMU 센서로부터 얻은 정보를 이 용해 process update를 하고 LiDAR 센서로부터 들어오 는 point cloud 의 입력으로 베이지안(Bayesian) 룰에 기 반하여 사후 확률(Posteriori)로 STOM을 업데이트 한다. (3) 3.2. 차량 오도메트리 추정 Normal Distribution Transformation(NDT) 알고리즘 은 Point cloud 간의 매칭을 통해 변환행렬을 계산하는 알 고리즘 중 하나이다. NDT는 두 개의 point cloud가 있을 경우, 두 점군이 겹칠 때 각 점들의 오차를 정규분포로 계 산해 최소화하는 알고리즘으로, ICP(Iterative Closest Points)와 같이 모든 점들에 대하여 오차를 계산하지 않고 분포양상만을 이용하여 더욱 빠르게 계산을 수행한다. k-1번째 시점의 STOM와 k 번째 시점의 정지장애물 지 도의 차이를 비교하면 차량의 이동에 따른 odometry를 반대로 추정할 수 있다. 3.3. 정지 장애물 기준 지도 작성 생성된 STOM을 점유격자지도의 형태에서 point cloud 형태로 변환한 후 테스트베드 내의 코스를 수동으로 주행노한석·이현성·이경수 자동차안전학회지:제14권,제2호,2022 Fig. 2 STORM of the FMTC automated driving testbed 하며RTK GPS에 나오는 좌표를 기준으로 point cloud를 누적하여 STORM을 작성 하였다. Point cloud를 누적한 후 voxelization을 통하여 point cloud의 개수를 줄여 계산 부하를 감소시켰다. Fig. 2는 테스트베드를 주행하며 얻어 진 정지 장애물 기준 지도이다. 4. Vision 기반 차선 인지 Vision 기반 차선 인지 알고리즘은 크게 2가지를 사용 하였다. 첫번째는 전방카메라에 적용하였으며 Point Instance Network(PINet)으로 불리는 network를 사용하였다. (4) 두 번째는 AVM에 적용하였으며 AVM으로 정지선과 옆차선 을 인지한 뒤 HD map과 매칭하는 알고리즘을 사용하였다. (5) 5. 맵 매칭 및 위치 보정 5.1. 맵 매칭 맵의 종류는 HD map과 STOM을 이용하여 제작한 STORM 가 있다. Reference map 전체를 불러오게 되면 용량이 커 져 계산량이 커지기 때문에 계산 부하를 줄이기 위하여 추정 위치를 기준으로 일정 크기 만큼 떼어내어 불러오게 하였다. HD map 의 경우 추정 위치 기준 전방 20m, 후방 8m, 좌우 방향으로 각각 5m만큼의 맵을 불러오게 하였다. STORM의 경우 더 넓은 범위의 주변의 정지 장애물과의 매칭을 위하여 전방 50m, 후방 20m, 좌우 방향으로 각각 20m 만큼을 불러오게 하였다. 맵 매칭 알고리즘은 두 개 의 point cloud를 비교하는 NDT 알고리즘을 사용하였다. 5.2. 확장칼만필터 기반 위치 보정 맵 매칭 과정 및 odometry 추정의 과정에서 noise가 존재할 가능성이 존재한다. 따라서 차량의 위치 및 자세 정 보에 대해 확장칼만필터(EKF)를 사용하여 Process update 및 measurement update를 수행하였다. 먼저 process update는 식 (1)과 같다. 2 , 2 , 2 0.200 , , 00.10 0.8 00*180 xk k kykk k k p v xpuQ 1 1,11,13,1 112,11,13,1 3,12,1 1,13,1 1 11,13,1 ˆ 1 ˆ ˆ cos() ˆˆˆˆ (,,0)sin() ˆ ˆ 10sin() ˆ 01cos() 001 k kkk kkkkkk kk kk k kkk x kkk xtux xfxuxtux xtu tux f Ftux x PFP 11 T k FQ (1) 다음으로 measurement update는 식 (2)와 같다. 차선, 정지선, STORM에 대한 noise를 각각 다르게 설정하였다. Low cost gps 값을 HD map 상의 경로에 매칭하여 초기 위 치를 정하고 LiDAR 및 Vision센서 데이터를 measurement 로 하여 확장칼만필터를 통해 추정 위치 및 자세, covariance matrix를 얻을 수 있었다. 2 , 2 ,, 3X 2 1 , 1 , 3 1000 , ~(0,),00.30 2.0 00*1 , ()() ()() ˆ ˆ 80 ˆ ( kkkk TT kkkkkkkk k xk ndtkykklane k ndtk ndtk kkkkk kkkkk HxvHI KPHHPHRPPR PIKHPIKP xxKH p zpvNRR z zx , 22 22 22 0.5000.500 010000.50 5.05.0 00*18000*18 ˆ )() 0 nkdtk stopa k lne k IKxz R K R (2)도심 자율주행을 위한 라이다 정지 장애물 지도 기반 위치 보정 알고리즘 자동차안전학회지:제14권,제2호,2022 Fig. 3 Longitudinal estimation error Fig. 4 Lateral estimation error Fig. 5 Heading estimation error Fig. 6 Whether map matching performed Fig. 7 Estimation failure case of Vision algorithm Fig. 8 Estimation success case of Vision + LiDAR algorithm 6. 실험 결과 같은 코스에 대하여 Vision기반 알고리즘만 사용한 결 과와 LiDAR을 추가적으로 활용한 알고리즘의 결과를 비 교하였다. Fig. 3은 종방향 위치 추정 오차를 나타내며 정 지 장애물을 추가적으로 이용한 알고리즘이 더 좋은 위치 추정 성능을 보임을 확인할 수 있다. Fig. 4의 횡방향 위치 보다는 추정 오차가 크지만 주행에는 문제가 없음을 확인 하였다. 횡방향의 경우, 차선 인지 알고리즘만 사용한 경 우, 통과하지 못한 교차로가 있었으며 이는 Fig. 7과 Fig. 8에 나타내었다. 흰색 차량은 추정 위치를 나타내며 빨간 색 차량은 RTK GPS에서 나오는 값을 의미한다. Fig. 6에 맵 매칭이 이루어졌는지의 여부를 도시하였는데 정지 장 애물을 활용한 알고리즘의 경우는 매 순간 맵 매칭이 이루 어졌지만 차선 인지 기반 알고리즘의 경우 교차로에서 차 선인지가 되지 않은 것을 볼 수 있다. Fig. 5의 Heading 추정 오차를 보면 교차로 진입 전 약 2.5° 정도의 오차가 발생했는데 교차로 진입 후 measurement가 없어 오차를 노한석·이현성·이경수 자동차안전학회지:제14권,제2호,2022 Table 2 Result comparison of the Algorithms Longitudinal MSE/Var (m,m 2 ) Lateral MSE/Var (m,m 2 ) Heading MSE/Var (deg,deg 2 ) Vision 3.629/ 31.909 -3.294/ 100.487 -8.4782/ 36.051 Vision+LiDAR 0.149/ 0.037 -0.038/ 0.024 -2.077/ 0.799 보정하지 못하고 오차가 누적됨을 볼 수 있다. 반면 정지 장애물 알고리즘을 추가한 경우 맵 매칭이 교차로에서도 꾸준히 일어났으며 정상적으로 코스를 주행하였으며 오 차에 대한 결과를 Table 2에 나타내었다. 7. 결 론 Vision기반 차선인지 알고리즘의 경우 차선이 인지되 는 상황에서는 위치 추정 성능이 우수하지만 교차로에서 차선인지가 불가능한 경우 위치 추정 오차가 누적되며 다 음 교차로에 도착했을 때 잘못된 차선으로 진입하는 현상 이 발생하였다. 반면, 제안된 알고리즘을 추가한 경우 교 차로에서도 지속적으로 맵 매칭이 일어났고 그 결과 코스 내의 모든 교차로를 차선 오인지 없이 통과할 수 있었다. 하지만 제안된 베이지안 룰 기반의 STORM의 경우 정지 해 있는 모든 물체를 STORM으로 작성하기 때문에 실제 주행 시 STORM을 작성할 때와 비교하여 주변환경이 달 라질 수 있다. 따라서 복잡한 도심환경에서 측위를 할 경 우, 모든 정지 장애물에 대한 지도가 아닌 불변의 정지 장 애물만을 이용하여 STORM을 작성하는 알고리즘이 추가 로 필요하다. 후 기 본 연구는 국토교통부 도심도로 자율협력주행 안전·인 프라 연구 사업의 연구비지원(과제번호 19PQOW-B2473- 01)에 의해 수행되었습니다. 참고문헌 (1)김민규, 박준규, 2013, “위성 수신환경 변화에따른 인터넷 RTK GPS 측량의 정확도 평가”, 한국측량학 회지, 31(4), pp. 277~283. (2)Dominguez, Raúl, et al., 2011, LIDAR based per- ception solution for autonomous vehicles., 2011 11th International Conference on Intelligent Systems Design and Applications, IEEE, pp. 790~795. (3)김종호, 이호준, 이경수, 2020, “도심자율주행을 위 한 라이다 정지 장애물 기반 차량 동적 상태 추정 알고리즘”, 한국자동차안전학회 추계 학술대회, Vol. 9, No.3, pp.24-30. (4)Ko, Y., Jun, J., Ko, D., Jeon, M., 2021, “Key points estimation and point instance segmentation approach for lane detection”, IEEE Transactions on Image Processing, Vol. 30, pp. 2977~2988. (5)Dongwok, K., Beomjun, K., Taeyoung, C., Kyongsu, Yi., 2017, “Lane-Level Localization Using an AVM Camera for an Automated Driving Vehicle in Urban Environments”, IEEE/ASME Transactions on Mechatronics, Vol. 22, No. 1, pp. 280~290. ◎ 논 문 http://dx.doi.org/10.22680/kasa2022.14.2.045 딥러닝 데이터 활용한 신호등 색 인식 알고리즘 개발 백서하 * ·김종호 * ·이경수 **,† Development of Color Recognition Algorithm for Traffic Lights using Deep Learning Data † 자율주행 차량신호등데이터카 메라 좌표도심 인프라 데이터 ABSTRACT The vehicle motion in urban environment is determined by surrounding traffic flow, which cause understanding the flow to be a factor that dominantly affects the motion planning of the vehicle. The traffic flow in this urban environment is accessed using various urban infrastructure information. This paper represents a color recognition algorithm for traffic lights to perceive traffic condition which is a main information among various urban infrastructure information. Deep learning based vision open source realizes positions of traffic lights around the host vehicle. The data are processed to input data based on whether it exists on the route of ego vehicle. The colors of traffic lights are estimated through pixel values from the camera image. The proposed algorithm is validated in intersection situations with traffic lights on the test track. The results show that the proposed algorithm guarantees precise recognition on traffic lights associated with the ego vehicle path in urban intersection scenarios. * 서울대학교 공과대학 기계공학부, 학생 ** 서울대학교 공과대학 기계공학부, 교수 † 교신저자: kyi@snu.ac.kr E-mail: bshfight@snu.ac.kr 1. 서 론 자율주행 기술은 센서와 정보통신 기술의 발달로 운전 자가 없는 Level 5의 완전자율주행을 목표로 발전되어 가 고 있다. 이러한 자율주행 시스템은 차량 주변에 탑재되어 있는 센서로 주행 환경을 인지하고, 주변 환경속에서 자차 량의 위치를 절대 좌표계 기준으로 측정하며, 인지된 데이 터로 주어진 상황에 적합한 거동을 계획, 생성한 후 그 경 로에 적합한 가감속 제어와 조향 제어를 진행한다. 이 중 동적 객체와 도로 정지 구조물을 인식하고 추정 (DATMO)하는 것은 전체 자율주행 시스템의 가장 처음 에 시작된다는 점과 그 결과값으로 차량의 거동이 계획되 고 제어가 된다는 점에서 자율주행 시스템의 가장 핵심적 인 부분으로 여겨진다. 실제 TESLA의 자율주행 기능에 서 발생한 사고를 분석해보면, 전방 객체와 장애물 미인지 로 인한 경우가 주를 이루고 있다는 점에서 인지기술은 자율주행 차량의 성능 및 안전 시스템에서 중추적인 역할 을 담당한다고 말할 수 있다. (1) 이러한 인지 기술 향상을 위해, 라이다 센서 기반 객체 검출은 동적 객체에 대한 정 확하고 빠른 추적 성능을 보여준다. (2) 또한, 이미지 데이 터를 이용한 러닝 기반 알고리즘은 객체 탐지 및 분류 성 능에 높은 정확성을 보인다. (3) 이러한 동적 객체 및 정지 장애물 인식하는 인지 기술 은 자차량 주변의 환경을 인식하여 주어진 상황에서 최적 화된 경로 생성 및 차량 제어를 진행하도록 하지만, 전체 교통 흐름을 파악하기는 어렵다는 단점이 존재한다. 도심 도로의 경우, 자차량 주변의 차량들과 가드레일과 같은 도 자동차안전학회지: 제14권, 제2호, pp. 45∼50, 2022 논문접수일: 2021.5.3, 논문수정일: 2021.12.20, 게재확정일: 2022.1.26백서하·김종호·이경수 자동차안전학회지:제14권,제2호,2022 Table 1 Sensor specifications Components/ModelSpecification Test Car / Hyundai IONIQ - Type: Electric 4-door sedan - Length: 4470mm - Width: 1820mm Front Camera / Logitech Streamcam - Height: 85mm - Width: 58mm - Max Video Resolution: 1080/60fps - f/2.0: 3.7mm - field of view: 78 Reference V2X/ ESSYS OBU - Bandwidth: 10MHz - Data Rates: 3~27Mbps - Frequency Bands: 5.9GHz - Max Tx Power: +23dBm - Operating range: -40~85 Fig. 1 Integrated perception module diagram 로 구조물을 인식하는 것 뿐 아니라 현재 신호 대기 여부, 과속 단속 카메라로 인한 규정속도 유지, 그리고 공사 구 간으로 인한 의무 차선 변경과 같이 도로 환경 정보를 통 해 최종 차량 제어를 해야 하는 경우가 빈번하다. 또한 고 속도로의 경우 사고지역에 대해 우회 경로를 생성하여 차 량 주행해야 하는 상황 또한 다수 존재한다. 그렇기에 현 재 인지 음영 지역의 환경을 예측하고 차량의 거동을 계획 하는 연구들이 지속적으로 진행중이다. (4) 더 나아가 도심 인프라를 통해 전체 교통 흐름 및 주행 도로 정보를 입력 받아 더 향상된 자율주행 성능을 목표하는 연구 또한 다양 하게 진행되고 있다. (5,6) 본 논문에서는 이러한 교통 흐름에 대한 도심 인프라 정 보 중 하나인 신호등 색 인식 알고리즘을 제안한다. 먼저 비 전 오픈소스 알고리즘을 통해 인식된 객체 중 신호등만을 분 별한다. (7) 그 중 자차량 경로에 영향을 미치는 전방 신호등 만을 추출하여, 해당 데이터들의 이미지값을 통해 신호등 색 을 인식한다. 제안된 신호등 색 인식 알고리즘은 도로의 인 프라 활용 전략이므로, 자율주행 인프라 요소 중 하나인 V2X 데이터를 신호등 색 기준값으로 설정한 후 오프라인 시뮬레이션으로 검증한다. 2장에서는 자율주행 차량 인지 센서 및 전체 인지 알고리즘에 대해 기술하며, 3장에서는 교차로 전방 신호 인식 방법론에 대해 제안한다. 4장은 성능 평가를 위한 실차 데이터 기반 시뮬레이션 진행 결과 및 분 석을 다루고, 5장에서는 결론 및 향후 연구 계획을 서술한다. 2. 센서 및 인지 알고리즘 구성 2.1. 차량 센서 구성 본 연구에서 제시하는 신호등 색 인식 알고리즘에 대한 성능 검증을 위한 실험차량의 센서 구성은 Table 1과 같이 나타내었다. 실험차량으로 전기차 Hyundai IONIQ을 이용 하였으며, 전방 신호등 인식을 위해 Logitech Streamcam 을 사용하였다. 또한 교차로 신호등 인식의 기준값으로써 ESSYS V2X장비를 사용하였다. 전방 카메라를 통해 인식 된 이미지는 usb통신으로 pc에 기록되며, V2X의 경우 신 호등에 있는 V2X단말기에서 송출하는 정보를 차량 내의 단말기(OBU)가 인식하여 PC로 데이터를 전달한다. 2.2. 인지 알고리즘 구성 자율 주행 차량의 인지 알고리즘은 Fig. 1과 같이 구성 된다. 기존의 Detection and Tracking for Moving Object (DATMO) 성능을 위해 자율주행 차량 주변에 부착된 라 이다 센서에서 환경 및 상황에 대한 데이터를 pointcloud 딥러닝 데이터 활용한 신호등 색 인식 알고리즘 개발 자동차안전학회지:제14권,제2호,2022 Fig. 2 pinhole camera projection method Table 2 mean value of G IterationMean (G) 160 254 358 472 562 Mean63.2 형태로 제공한다. 제공된 데이터를 통해 주변 동적 객체에 대한 트랙을 형성한다. 신호등 알고리즘은 기존의 트랙을 생성하기 위한 포인트 클라우드 처리 알고리즘과 별도로 카메라 데이터를 입력받는다. 입력받은 전방 이미지에서, 교차로 신호등을 인식 후 주어진 상황에서의 교통 신호 정보값을 출력한다. 본 논문은 카메라 인식 오픈소스 알고리즘이 제공하는 전방 데이터 인식값에서, 자차량의 교통 방향에 해당하는 신호등 정보값을 추출 후 그값의 픽셀값에 접근하여 해당 신호등의 신호값을 출력하는 프로세스에 대해 서술한다. 본 연구는 단순한 객체인식보단 도심 인프라 정보를 활용 하는 것을 목표하기에, 제안된 알고리즘을 검증하기 위해 V2X 데이터를 수신하여 이를 신호등 색의 기준값으로 설 정한다. 3. 교차로 신호 인식 알고리즘 개발 3.1. 전방 교차로 신호기 추출 카메라 데이터를 통해 전방 상황을 인식하기 위해 딥러 닝 기반 객체 인식 오픈소스 알고리즘을 사용한다. 해당 알고리즘은 라벨링된 기준을 통해 전방의 객체들을 분류 한다. 분류된 데이터 중, 전방 교차로 신호기에 대한 라벨 링은 “traffic light”로 존재한다. 따라서, 인식된 전방 데이 터 중, 본 연구에서 목표하는 교차로 신호등에 대한 정보 는 인식된 각 객체가 “traffic light”인지에 대한 기준으로 추출된다. 교차로 상황에서는 신호등이 교차된 4개의 지점에 존 재하고 보행자 신호등 또한 각 지점마다 1개씩 존재하기 때문에, 카메라 인식 알고리즘에서 출력되는 데이터들 중 “traffic light”라는 이름으로 존재하는 데이터는 이론적으 로 8개가 된다. 따라서, 이 데이터들 중, 자차량의 거동 및 주행 상황에 주된 영향을 미칠 신호등인 전방 차선의 교차 로 신호기를 인식하기 위해 자차량의 위치 정보를 반영한 다. 자차량 기준 전방 신호기는 카메라 화면의 x 좌표의 중앙 지역에 존재하며, 이는 픽셀 좌표계 형태의 가운데 부분에 해당한다. 픽셀 좌표계는 Fig. 2와 같이 나타난다. 해당 실험에 사 용된 픽셀 좌표는 960*540행렬의 형태로 존재한다. 따라 서 전방에 잡히는 다수의 교통 신호기 중, 자차량의 교통 에 주된 영향을 미칠 전방 신호기 추출은 차량의 가로방향 에 해당하는 픽셀 좌표계 x값의 범위 480±40 사이에 존 재하는 “traffic light” 객체들만 선별하는 것으로써 진행된 다. 해당 프로세스를 통해, 자차량 전방에 존재하는 교통 신호기만을 온전히 추출하게 된다. 3.2. 전방 교차로 신호 색 인식 3.1을 통해 추출된 전방 신호기 이미지 데이터는, 카메 라 시점에서 보이는 바운딩박스 크기에 해당하는 행렬로 존재하며, 각 행렬 원소는 R, G, B 3개의 값으로 구성되어 있다. 따라서 전방 교차로 신호기의 색은 해당 넓이 개수 만큼의 R, G, B값이 존재한다. 신호등 색 판단은 자차량의 직진 가능 여부를 목적으로 하였다. 따라서, 전방 신호기가 녹색 신호의 경우와 이외 의 경우로 분류하였으며, 좌회전의 경우는 위의 분류기준 에 따르면 직진 가능하지 않는 것이기 때문에 녹색 이외의 경우로 분류하였다. 전방 신호기가 녹색 신호인 경우에 대한 각 픽셀의G값 을 합산한 후, 픽셀의 수로 평균한 결과는 Table 2와 같다. 시행 횟수마다 전방 신호기 픽셀에 대한 G값의 평균을 구한 후, 그 값들의 평균값을 구한 위의 결과는 63.2이다. 이러한 시행을 한 주행 구간에서 반복하여 실행한 결과 Next >