< Previous윤원섭·김종탁·이명규·김원균 8 자동차안전학회지:제14권,제4호,2022 Table 2 Model details YOLOv3YOLO v4YOLO v5 ArchitectureDarknetDarknetPytorch BackboneDarkNet-53CSPDarkNet-53CSPDarkNet Features •Binary classification using sigmoid for each class •Residual values transmitted using skip connection •Classification results outputted through Softmax •Increased input resolution of the model •Increased number of layers to increase the receptive field •Reduced inference cost and memory cost •Models are divided based on the depth of the layers •Sets the anchor box and uses it to create bounding box mAP(%)60.664.4 s –55.4 m –63.1 l –66.9 x –68.8 Fig. 2 Experiment flowchart Fig. 3 Device overview 시간 단축, 신경망의 성능 향상과 같은 장점으로 인해 모 델의 전이학습 방식이 채택되었다. 데이터 분석에 사용된 모델은 YOLO v3, (6) YOLO v4 (7) 및 YOLO v5 (8) 이다. 사 용된 모델의 구조 및 특징은 Table 2와 Fig. 1과 같다. 2.2. 모델 최적화 모델 선택 외에도 모델 최적화가 수행되었다. 모델의 일반적인 동작을 제어하는 매개변수들을 조정하여 딥러 닝 모델의 최적화를 진행하였다. 매개변수 최적화를 위해 널리 채택된 세가지 방법 (9) 은 (1) manual search, (2) grid searches 및 (3) arbitrary search이다. 딥러닝 네트워크 학습과정 중에서 알고리즘을 이해하고 시각화하기 위한 여러 시도 (10,11) 가 있었지만, empirical approach (12) 는 여 전히 매개변수들을 최적화하는 가장 효과적인 접근 방식 중 하나이므로 데이터 분석에 적용되었다. 3. 데이터 획득 3.1. 데이터 획득 방법 두 가지 방법의 데이터 분석 방법은 Fig. 2와 같다. 본 연구에서는 두가지 방법론으로 데이터 획득을 수행하였 다. Fig. 2에 표시된 Method 1은 100% 영상 기반 알고리 즘을 만드는 것을 목적으로 신호등 한 개의 클래스에 대해 서 탐지 알고리즘을 학습 후, 탐지 알고리즘에서 획득된 신호등의 영역을 추출한다. 이를 바탕으로 신호 판별 알고 리즘을 학습하여, 신호등의 신호를 분류 및 판별을 진행하 였다. Fig. 2에 표시된 Method 2는 신호등의 신호 기반 라벨링을 진행한 후, 이를 신호등의 형태(3구, 4구)에 따 라 데이터셋을 분류하였다. 분류된 데이터셋에 따라 각각 탐지 알고리즘을 학습 후, 신호등의 종류에 따라 학습된 가중치를 전환하여 탐지 및 분류를 진행하였다. 3.2. 플랫폼 구성 및 데이터 처리 시스템 기반 데이터 확보를 위해 Leopard Imaging 사의 LI- IMX390-GMSL2-060H 카메라를 사용하였으며, Fig. 3 와 같이 무인 노면청소차의 전면 상단에 장착하였다. 플랫저속 특장차의 도심 자율주행을 위한 신호등 인지 알고리즘 적용 및 검증 자동차안전학회지:제14권,제4호,2022 9 Fig. 4 Map data of our experiment. 0: Passenger crossing signal, 2: 3 holed traffic light, 3: 4 holed traffic light Table 3 Sets and numbers of traffic lights in our experiment path Type #sets#traffic lights 3 holed traffic lights1832 4 holed traffic lights1845 Table 4 Dataset details Hardware / Software specification CPUIntel® Xeon® E-2278G Graphic Cards (GPU)Tesla T4 × 2 RAM64 GB Operating SystemUbuntu 18.04.3 LTS Graphic DriversCUDA 11.2 & cuDNN8.1.1 Python Version3.6.8 폼에 적용된 카메라는 1937 × 1217 크기의 화각, 30fps 의 데이터 처리 속도, 파크라 기반 데이터 전송 등의 이점 이 있어 신호등 데이터 획득 및 실시간 신호등 탐지에 활 용하였다. 카메라는 무인노면청소차에 장착되어 광주 평 동산업 2단지 4.8km 구간에서 오전 10시부터 오후 4시까 지 영상 정보를 확보하였다. 자세한 경로는 Fig. 4에 나타 내었다. 상기 구간에서 알고리즘이 인지해야 되는 신호등 의 정보는 Table 3과 같다. 본 연구에서 수행된 데이터 분석은 Darknet 라이브러 리를 기반으로 하였으며, CUDA 11.2 및 cuDNN 8.1.1 그 래픽 드라이버 환경에서 두 개의 Tesla T4 GPU를 사용하 였다. 64 GB의 RAM과 Intel® Xeon® E-2278G CPU를 사용하여 GPU의 성능을 지원하였다. 데이터 분석 장치의 사양은 Table 4와 같다. 3.3. 신호등 인지 최소 요구거리 신호등 신호인지는 무인노면청소차의 최단 정지거리 이전에서 필수적으로 판별되어야 한다. 또한 무인노면청 소차의 최단 정지거리는 비상정지 상황에서 발생하는 정 지거리이다. 이에 따라 신호등 인지 필수거리는 무인노면 청소차의 비상정지에서 필요한 최단거리를 기준으로 결 정되며, 필수거리에서 시험 데이터를 확보하여야 한다. 무인노면청소차는 비상정지 상황은 관제센터의 통제 에 따르며, 관제센터의 비상정지 신호가 통신망에 의해 무 인노면청소차의 브레이크 엑츄에이터를 동작시킨다. 통 신 딜레이 시간은 0.103s이며, 이후 엑츄에이터(공압 밸 브) 동작에 의해 감속이 발생한다. 감속으로 차량 정지까 지 소요되는 시간은 0.7초이며, 감가속도가 일정하다고 가 정할 때 6km/h에서 정지까지 0.7초의 감가속도는 2.38m/s 2 이다. 따라서 무인노면청소차의 비상정지 거리는 다음과 같다. (1) (2) (3) ∴ (4) 위 식에서 v o 는 무인노면청소차의 평균주행속도이며, t 1 와 t 2 는 통신 딜레이 시간 및 감속으로 차량 정지까지 소 요된 시간이며, a는 무인노면청소차의 비상정지시 감가속 도이다. 따라서, 비상정지 신호에 의해 차량이 완전정지되는 총 0.803s 동안 무인노면청소차가 이동한 정지거리는 0.755m 이다. 따라서 계산된 0.755m 전후로 신호등 영상을 촬영 하였으며, 획득한 파크라 기반 byte-array 신호를 usb 모 듈로 전송하여 이를 opencv 라이브러리가 인식 가능한 RGB 배열로 변환하여 데이터를 처리하였다.윤원섭·김종탁·이명규·김원균 10 자동차안전학회지:제14권,제4호,2022 Table 5 Method 1 (separate detection and classification) data details DatasetClass TrainingTesting Images #Traffic lights Images #Traffic lights Traffic lights TL17440774175 Table 6 Method 2 (3 holed traffic lights) data details DatasetClass TrainingTesting Images #Traffic lights Images #Traffic lights 3–Holed Traffic lights BBG1062274597 BYB102048 RBB30771333 Table 7 Method 2 (3 holed traffic lights) class details ClassFull nameImage BBGGreen light BYBYellow light RBBRed light Table 8 Method 2 (4 holed traffic lights) data details DatasetClass TrainingTesting Images #Traffic lights Images #Traffic lights 4–Holed Traffic lights RBBB42921839 BYBB541332357 RYBB861724774 BBBG571152449 RBGB27541123 BBGG1329612 Table 9 Method 2 (4 holed traffic lights) class details ClassFull nameImage RBBBStraight stop BYBB Straight proceed with caution RYBB Straight stop, left turn proceed with caution BBBGStraight proceed RBGB Straight stop, left turn proceed BBGG Straight proceed, left turn proceed 3.4. 데이터셋 가공 데이터셋 가공을 위해 총 1220개의 영상 데이터가 활 용되었으며, 248개의 신호등 탐지용 데이터, 764개의 4 구 신호등 데이터, 208개의 3구 신호등 데이터로 분류하 였다. 신호등 탐지용 데이터에는 신호등 하나의 클래스를 기반으로, 174개의 영상 데이터가 학습 데이터셋, 74개의 영상 데이터가 검증 데이터셋으로 활용되었다. 신호등 데 이터셋의 정보는 Table 5와 같다. 3구 신호등 알고리즘 학습에는 청신호, 주황신호, 적신호가 포함된 3개의 클래 스를 기반으로, 146개의 영상 데이터가 학습 데이터셋, 62개의 영상 데이터가 검증 데이터셋으로 활용되었다. 3 구 신호등 데이터셋 및 클래스명에 대한 정보는 Table 6, Table 7과 같다. 4구 신호등 알고리즘 학습에는 적신호, 주황신호, 적신호, 직진-좌회전 신호, 정지-좌회전 신호, 정지-주황 신호가 포함된 6개의 클래스를 기반으로 535 개의 영상 데이터가 학습 데이터셋, 229개의 영상 데이터 가 검증 데이터셋으로 활용되었다. 4구 신호등 데이터셋 및 클래스명에 대한 정보는 Table 8, Table 9와 같다. Python의 labelImg (13) 라이브러리를 사용하여 이미지 의 각 신호등에 대해 라벨링 작업을 진행하였다. 라벨링을 수행하는 동안 라벨링 bounding box가 신호등을 촘촘하 게 감싸게 함으로써, 라벨링 상태에 따른 정확도를 확보하 였다. 라벨링 데이터는 bounding box의 x 및 y 좌표 및 클래스가 포함된 txt 파일 형식으로 저장되었다. 4. 결과 및 고찰 4.1. 인지 성능 평가 본 연구에서 신호등 탐지 모델을 평가하기 위해 precision, recall, F1-score 및 mean average precision(mAP)을 적용하여 성능 평가를 수행하였으며, 이에 관련된 식은 다 음과 같다. (5)저속 특장차의 도심 자율주행을 위한 신호등 인지 알고리즘 적용 및 검증 자동차안전학회지:제14권,제4호,2022 11 Fig. 5 Training loss of six different YOLO models trained with one classed traffic light dataset Fig. 6 Training loss of six different YOLO models trained with three holed traffic lights dataset Fig. 7 Training loss of six different YOLO models trained with four holed traffic lights dataset (6) × × (7) ∈ (8) 여기서 True Positive는 정확하게 탐지된 신호등의 수, False Positive는 오인된 신호등의 수, False Negative는 탐지되지 않은 신호등의 수, K는 IOU기반 임계값들의 집 합, Num(K)는 집합 K의 원소의 수, APx는 x보다 큰 모든 recall 값의 최대 정밀도이다. 만약 precision, recall, F1-score 및 mAP가 1에 가까 우면 학습된 모델이 더 높은 탐지 정확도를 보여주고, 값 이 0에 가까우면 학습된 모델의 탐지 정확도가 낮아진다. 4.2. 신호등 인지 성능 학습된 모델의 시각화를 통해 모델의 검증을 수행하였 다. 학습이 진행됨에 따라 모델은 대상 후보군에 표시되는 수많은 앵커를 생성하였으며, 각 컨볼루션 층의 가중치를 추출하여 추가적으로 시각화를 진행하였다. 신호등 탐지 모델의 최종 아키텍처를 백본 및 다양한 매개변수로 구성 된 다수의 조합을 검증하여 선택하였다. 초기 epoch는 250으로 설정되었으며 최상의 성능 지점을 얻기 위해 모윤원섭·김종탁·이명규·김원균 12 자동차안전학회지:제14권,제4호,2022 Table 10 Performance of YOLO models in single class traffic light detection DatasetModelPrecisionRecallF1-ScoremAP (%) Traffic lights v30.940.970.9598.38 v40.920.970.9498.87 v5s0.930.990.9698.03 v5m0.940.980.9697.6 v5l0.930.990.9697.98 v5x0.940.990.9798.18 Table 11 Performance of trained classification model on various classes ClassAccuracy (%) Green83.30 Green-Left88.90 Red91.67 Red-Left76.92 Red-Yellow36.33 Yellow100.00 Fig. 8 Method 1 (separate detection and classification) results Table 12 Performance of YOLO models in 3-holed traffic lights detection DatasetModelPrecisionRecallF1-ScoremAP (%) 3-Holed Traffic lights v30.970.940.9597.03 v40.850.950.997.13 v5s0.960.850.991.06 v5m0.921.000.9698.4 v5l0.890.950.9295.14 v5x0.980.970.9898.25 Table 13 Performance of 3-holed traffic lights detection model on various classes DatasetModelClassmAP (%) 3–Holed Traffic lights YOLO v5m BBG98.40 BYB99.50 RBB97.30 든 epoch에 대해 체크 포인트를 저장하였다. 최적의 매개 변수는 learning rate 0.001, momentum 0.9, batch 크기 3으로 결정되었다. 3개의 데이터셋에 대한 YOLO 모델의 학습 중 손실률은 Fig. 5, Fig. 6, Fig. 7과 같다. 학습이 진행됨에 따라 훈련 정확도가 지속적으로 증가 되었으며, 학습된 모델의 false positive rate은 recall과 관련하여 일정한 비율 감소를 확인되었다. 모델 성능은 검 증 데이터셋으로 검증되었다. 4.3. Method 1: 신호등 탐지 결과 Fig. 1에 명시된 Method 1을 토대로, ResNet 50 모델 과 획득한 신호등의 영역 영상을 사용하여 신호등 판별 모델을 학습하였다. 초기 epoch는 100으로 설정하였으 며, learning rate 0.001, momentum 0.9, batch size 4로 매개변수를 설정하였다. 판별 모델의 가중치는 가장 높은 정확도를 보이는 epoch의 가중치가 저장되었다. 신호등 1개의 클래스에 대한 탐지 모델의 경우, Table 10과 같이, YOLO v5x 모델이 가장 높은 0.97의 F1-score 을 확인할 수 있었으나, YOLO v4 모델이 가장 높은 98.87% 의 mAP 값을 보여주었다. Table 11과 같이, 클래스별 정 확도는 직진, 직진-좌회전, 정지, 대기 신호가 80% 이상 의 mAP를 나타내는데 반해, 정지-좌회전 및 정지-대기 신호는 각각 76.92%, 36.33%의 mAP를 나타내었다. 학 습된 모델의 결과는 Fig. 8과 같다. 4.4. Method 2: 신호등 탐지 결과 4.4.1. 3구 신호등 Method 2의 3구 신호등 탐지 및 분류 모델의 경우, Table 12와 같이, YOLO v5m 모델이 가장 높은 0.96의 F1-score 및 98.4%의 mAP 값을 보여주었다. 따라서 3 구 신호등 탐지 및 분류 모델로는 YOLO v5m 모델이 선정 되었다. Table 13에서 확인할 수 있듯이 클래스별 mAP 저속 특장차의 도심 자율주행을 위한 신호등 인지 알고리즘 적용 및 검증 자동차안전학회지:제14권,제4호,2022 13 Fig. 9 Method 2 (3 holed traffic lights) detection results. (a) BBG (green light) detection (b) BYB (yellow light) detection (c) BBR (red light) detection Table 14 Performance of YOLO models in 4-holed traffic lights detection DatasetModelPrecisionRecallF1-ScoremAP (%) 4-Holed Traffic lights v30.960.970.9699.67 v40.880.990.9397.93 v5s0.950.950.9598.58 v5m0.980.950.9798.94 v5l0.950.970.9698.86 v5x0.970.950.9698.85 Table 15 Performance of 4-holed traffic lights detection model on various classes DatasetModelClassmAP (%) 4–Holed Traffic lights YOLO v5m RBBB97.60 BYBB91.60 RYBB99.50 BBBG99.50 RBGB93.20 BBGG99.70 Fig. 10 Method 2 (4 holed traffic lights) detection results. (a) RBBB (red light) detection (b) BYBB (yellow light) detection (c) RYBB (red light and yellow light) detection (d) BBBG (green light) detection (e) RBGB (red light and left sign) detection (f) BBGG (green light and left sign) detection 값은 모두 97% 이상의 값을 나타내으며, 학습된 모델의 정확도를 검증할 수 있었다. 학습된 모델의 결과는 Fig. 9와 같다. 4.4.2. 4구 신호등 Method 2의 4구 신호등 탐지 및 분류 모델의 경우, Table 14와 같이, YOLO v5m 이 가장 높은 0.97의 F1- score을 보인 데 반해, YOLO v3의 모델이 가장 높은 99.67%의 mAP 값을 보여주었다. Table 15와 같이 각 클 래스별 정확도를 나타냈으며, 모두 98% 이상의 값을 나타 내었다. 학습된 모델의 결과는 Fig. 10과 같다. 4.4.3. YOLO 알고리즘 성능 평가 학습된 모델을 무인 노면 청소차량에 적용하였을 때, 이를 최적화하기 위하여 모델의 GPU 및 CPU 점유율, mAP, 탐지 소요 시간을 변수로 적용하여 다음의 공식을 도출하 였다. min max × (8)윤원섭·김종탁·이명규·김원균 14 자동차안전학회지:제14권,제4호,2022 Table 16 Evaluation duration of various models Model (YOLO)Evaluation time (sec/frame) v30.006 v40.013 v5s0.010 v5m0.025 v5l0.050 v5x0.089 Table 17 CPU and GPU usage of the trained models Model (YOLO) CPU usage (%) GPU usage (MB) MinMax v312.327.12429 v411.026.03339 v5s5.519.62653 v5m6.020.26221 v5l6.321.29853 v5x6.920.98489 Table 18 Efficiency factor of the trained models DatasetModelEfficiency Traffic lights v30.71 v40.58 v5s0.70 v5m0.56 v5l0.51 v5x0.50 여기서 CPU min 및 CPU max 는 CPU의 최소, 최대 점유율, GPU는 GPU의 점유율, mAP는 전이학습이 이루어지긴 전 모델의 정밀도, 는 프레임당 처리속도를 나타낸다. 학습된 모델의 프레임당 탐지 소요 시간은 Table 16에 나타내었으며, CPU 및 GPU 점유율은 Table 17에 기술하 였다. YOLO v3와 YOLO v4 모델은 다른 모델들에 비해 높은 CPU 점유율은 보인데 반해, GPU 점유율은 상대적 으로 낮았다. YOLO v5 모델들은 학습된 가중치의 크기에 따라 GPU 점유율이 상이하였고, CPU 사용률은 YOLO v3, YOLO v4 모델에 비해 낮음을 확인하였다. 따라서 YOLO 버전에 따른 종합적 알고리즘 효과 분석을 위해 식 (8)를 적용하였으며, 모델별 효과성 계수는 Table 18에 나타내었다. 분석 결과에서 효과성 계수는 YOLO v3 가 0.71로 가장 높았으며, YOLO v5x가 0.5로 가장 낮게 평 가되었다. 이는 YOLO v5x는 CPU의 사용량에 비해 비해 GPU의 사용량이 많으며, 이로 인하여 플랫폼 시스템의 성 능에 의존적이라고 할 수 있다. 무인 저속 특장차의 시스 템 특성상 0.55 이상의 Efficiency를 나타낼 경우, 주행 중 실시간 영상으로 신호등을 탐지하는데 하드웨어적으 로 문제가 발생하지 않을 것으로 판단된다. 따라서 0.56의 Efficiency를 보유하고, 98.4%(3구) 및 98.94%(4구)의 mAP를 나타낸 YOLO v5m 모델이 현장 사용에 효율적이 라고 판단된다. 4.4.4. 고찰 획득한 신호등 데이터를 학습시킨 결과, Fig. 2에서 소 개된 두가지 방법 중, ResNet 50 기반 판별 알고리즘인 Method 1 보다 YOLO 기반 탐지 및 분류 알고리즘인 Method 2의 정확도가 높음을 확인하였으며, Method 2가 신호등 탐지 및 분류 상황에서 더욱 유리하게 작용할 것으 로 예상된다. 또한 데이터 분석이 진행된 Tesla T4 GPU 에서 YOLO v5l 모델까지는 영상 프레임이 저하되는 현상 이 발생하지 않았지만, GPU 메모리의 한계인 16 GB를 다 사용하는 YOLO v5x 모델의 경우, 탐지 알고리즘이 GPU 메모리를 확보하기 위하여 프레임을 저하하는 현상이 발 생하였다. 하지만 신호등 탐지에서 YOLO V5x와 같이 구 조성이 복잡한 모델이 현재 신호등 분류 과제에서 큰 성능 을 발휘하지 못한다는 것은 본 연구에서의 데이터 분석으 로 입증되었다. 따라서 무인 저속 특장차의 특성상, 우수 한 mAP 및 Efficiency를 지닌 YOLO v5m 모델을 사용하 는 것이 효율적이라고 판단된다. 5. 결 론 본 연구에서는 저속 특장차인 무인노면청소차에 적합 한 신호등 인지 알고리즘 개발을 수행하였으며, YOLO 버 전에 따른 탐지 효율을 검증하였다. 연구의 결론은 다음과 같다. 1)Method 1 기반 신호등 1개의 클래스에 대한 탐지 모델의 경우, YOLO v5x 모델이 가장 높은 F1-score 를 확인하였으나, 평균 정확도는 YOLO v4 모델이 가장 높은 것으로 나타났다. 그러나 특정 신호에 대 해 매우 부정확한 결과를 보임으로써 Method 1은 무인 저속 특장차의 신호등 인지 알고리즘으로 부저속 특장차의 도심 자율주행을 위한 신호등 인지 알고리즘 적용 및 검증 자동차안전학회지:제14권,제4호,2022 15 적절함을 확인할 수 있었다. 2)신호등의 형태(3구, 4구)에 따라 데이터셋을 분류 한 Method 2은 Method 1에 비해 교통 신호 클래스 에 대해 평균적으로 높은 정확도를 보였으며, Method 1에서 취약했던 주황색 신호 탐지도 매우 높은 정 확도를 확보할 수 있었다. 3)결과적으로 신호등 인지 알고리즘의 정확도를 높이 기 위해 Method 1 및 Method 2의 효과성을 평가한 결과 Method 2의 방법이 무인 저속 특장차에 효과 적임을 확인하였으며, YOLO v5m 모델이 가장 적 합함을 확인하였다. 4)본 연구에서 확보한 실시간 신호등 인지 알고리즘 은 C-ITS의 교통 정보오류에서 플랫폼의 안전을 확보하기 위한 교통신호 이원화 시스템으로써 활용 가능할 것으로 판단된다, 향후 C-ITS와 연계한 고 신뢰성 신호인지 알고리즘을 개발하여 무인 저속 특 장차의 신호등 인지 성능 개선에 사용할 예정이다. 후 기 본 논문은 중소벤처기업부 ‘규제자유특구혁신사업육 성(R&D)’의 지원을 받아 연구되었음(No. P0012726). 참고문헌 (1)S. Saini, S. Nikhil, K. R. Konda, H. S. Bharadwaj, and N. Ganeshan, 2017, “An efficient vision-based traffic light detection and state recognition for autonomous vehicles”, in 2017 IEEE Intelligent Vehicles Symposium (IV), pp. 606~611. (2)Z. Ouyang, J. Niu, Y. Liu, and M. Guizani, 2019, “Deep CNN-based real-time traffic light detector for self-driving vehicles”, IEEE transactions on Mobile Computing, Vol. 19, No. 2, pp. 300~313. (3)K. Yabuuchi, M. Hirano, T. Senoo, N. Kishi, and M. Ishikawa, 2020, “Real-time traffic light detection with frequency patterns using a high-speed camera”, Sensors, Vol. 20, No. 14, p. 4035. (4)Kulkarni, Ruturaj, Shruti Dhavalikar, and Sonal Bangar, “Traffic light detection and recognition for self driving cars using deep learning”, 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), IEEE, 2018. (5)de Mello, Jean Pablo Vieira, et al., “Deep traffic light detection by overlaying synthetic context on arbitrary natural images”, Computers & Graphics 94(2021): 76~86. (6)J. Redmon and A. Farhadi, 2018, “Yolov3: An incremental improvement”, arXiv preprint arXiv: 1804.02767. (7)A. Bochkovskiy, C.-Y. Wang, and H.-Y. M. Liao, 2020, “Yolov4: Optimal speed and accuracy of object detection”, arXiv preprint arXiv:2004.10934. (8)A. S. Glenn Jocher, Jirka Borovec, NanoCode012, Ayush Chaurasia, TaoXie, Liu Changyu, Abhiram V, Laughing, tkianai, yxNONG, Adam Hogan, lorenzomammana, AlexWang1900, Jan Hajek, Laurentiu Diaconu, Marc, Yonghye Kwon, oleg, wanghaoyang 0106, Yann Defretin, Aditya Lohia, ml5ah, Ben Milanko, Benjamin Fineran, Daniel Khromov, Ding Yiwei, Doug, Durgesh, and Francisco Ingham, 2021, “ultralytics/yolov5: v5.0 - YOLOv5-P6 1280 models, AWS, Supervise.ly and YouTube integrations”, ed. Zenodo. (9)S. R. Young, D. C. Rose, T. P. Karnowski, S.-H. Lim, and R. M. Patton, 2015, “Optimizing deep learning hyper-parameters through an evolutionary algorithm”, in Proceedings of the Workshop on Machine Learning in High-Performance Computing Environments, pp. 1~5. (10)H. Liu, T. Taniguchi, Y. Tanaka, K. Takenaka, and T. Bando, 2017, “Visualization of driving behavior based on hidden feature extraction by using deep learning”, IEEE Transactions on Intelligent Transportation Systems, vol. 18, no. 9, pp. 2477~2489. (11)J. Yosinski, J. Clune, A. Nguyen, T. Fuchs, and H. Lipson, 2015, “Understanding neural networks through deep visualization”, arXiv preprint arXiv: 1506.06579. (12)J. Han, J. Pei, and M. Kamber, 2011, Data mining: concepts and techniques. Elsevier. (13)Tzutalin. LabelImg [Online] Available: https://github. com/tzutalin/labelImg16 ◎ 논 문 http://dx.doi.org/10.22680/kasa2022.14.4.016 휠 슬립에 강건한 확장칼만필터 기반 차량 상태 추정 전명근 * ·조아라 * ·이경수 **,† Vehicle State Estimation Robust to Wheel Slip Using Extended Kalman Filter Myeonggeun Jun * , Ara Jo * , Kyongsu Yi **, † Key Words: Extended Kalman Filter(확장 칼만 필터), Yaw rate estimation(요 각속도 추정), Steering wheel angle (조향각) ABSTRACT Accurate state estimation is important for autonomous driving. However, the estimation error increases in situations that a lot of longitudinal slip occurs. Therefore, this paper presents a vehicle state estimation method using an Extended Kalman Filter. The filter estimates the states of the host vehicle robust to wheel slip. It utilizes the measurements of the four-wheel rotational speeds, longitudinal acceleration, yaw-rate, and steering wheel angle. Nonlinear measurement model is represented by Ackermann Model. The main advantage of this approach is the accurate estimation of yaw rate due to the measurement of the steering wheel angle. The proposed algorithm is verified in scenarios of autonomous emergency braking (AEB), lane change (LC), lane keeping (LK) using an automated vehicle. The results show that the proposed algorithm guarantees accurate estimation in such scenarios. * 서울대학교 기계공학부, 학생 ** 서울대학교 기계공학부, 교수 † 교신저자: kyi@snu.ac.kr E-mail: wjsaud0909@snu.ac.kr 1. 서 론 최근 자율주행 기술의 발전으로 선행 차량과의 안전 거리를 유지하는 적응형 순향 제어 장치(adaptive cruise control) 시스템과 의도하지 않은 차선 이탈을 방지하고 차량을 차선 경계 내에 위치하도록 하는 차선 유지 시스템 (lane keeping assistant system)이 상용화되었다. 차량 이 자체적으로 판단하여 차선 변경을 할 수 있게 하는 능 동형 차선 변경(active lane change) 기술에 대한 연구도 활발히 진행되고 있다. 이러한 자율주행 시스템이 안정적 인 제어를 통해 탑승객의 안전을 확보하고 편안한 승차감 을 제공하기 위해서는 자 차량의 정확한 상태 추정이 필요 하다. 차량이 감속하거나 가속하는 상황에서는 차량의 네 휠 (wheel)에 슬립(slip)이 발생하게 된다. 이러한 상황에서 차량 chassis CAN (controller area network)을 통해 수 신하는 종방향 속도, 종방향 가속도, 요 각속도 등에 오차 가 발생한다. 특히 차량이 급격히 감속하여 정지했다가 다 시 출발하는 상황에서 차량이 정지했음에도 불구하고 요 각속도 값이 0으로 추정되지 않고, 출발 시에 요 각속도 값이 급격히 크게 추정되는 등의 문제가 발생한다. 김범준 등은 종방향 속도, 종방향 가속도, 요 각속도를 측정값으로 사용하여 종방향 속도, 종 방향 가속도, 요 각 속도, 요 각가속도를 추정하는 확장칼만필터(extended Kalman filter)를 제안하였다. (1) Antonov등은 종방향 속도, 횡방향 속도, 요 각속도, 네 휠 속도, road grip coefficient 자동차안전학회지: 제14권, 제4호, pp. 16∼20, 2022 논문접수일: 2022.6.7, 논문수정일: 2022.9.8, 게재확정일: 2022.9.13휠 슬립에 강건한 확장칼만필터 기반 차량 상태 추정 자동차안전학회지:제14권,제4호,2022 17 Fig. 1 Ackermann steering model 를 측정값으로 사용하여 횡방향 가속도, 요 각속도, 네 휠 속도를 추정하는 무향칼만필터(unscented Kalman filter) 를 제안하였다. (2) 본 논문에서는 확장칼만필터를 사용하여 휠 슬립에 강 건한 상태추정기를 제안한다. 차량 모델로는 Ackermann model을 사용하였다. 측정값으로 차량 chassis CAN이 제 공하는 네 휠 속도, 요 각속도, 종방향 가속도, 조향각을 이용하여 차량의 종방향 속도, 종방향 가속도, 요 각속도 를 추정한다. 조향각 측정값의 유무가 차량 상태 추정에 미치는 영향을 알아보고 차량 종방향 slip에 어떠한 영향 을 끼치는지 알아보기 위해 위해 조향각을 측정값으로 사 용하는 필터와 그렇지 않은 필터를 각각 구성하여 비교해 보았다. 자율주행 로직에 개발한 필터를 적용하여 자동긴 급제동(AEB), 차선 변경(LC), 차선 유지(LK) 상황에서 실험을 진행하였다. 2. 차량 모델링 2.1. Ackermann steering model 본 논문에서 차량의 선회를 모델링하기 위해 고속주행 을 하지 않는 자율주행차의 특성을 고려하여 Ackerman steering model을 사용하였다. (3) 저속 상황을 가정한 본 모델에서는 각 타이어에 작용하는 횡방향 힘을 무시하여 타이어가 순수한 롤링 동작을 수행함을 가정한다. Fig. 1 과 같이 차량이 점 I를 중심으로 반시계 방향으로 선회함 을 가정할 때 각 휠의 변위는 식 (1)과 같이 계산된다. ･ ･ ･ ･ ･ ･ ･ ･ (1) ･ ･ ･ ･ 2.2. Bicycle model 차량의 횡방향 거동을 모사하는 모델 중 하나인Bicycle 모델은 두 전륜 휠과 두 후륜 휠을 각각 하나의 휠로 가정 한다. 전륜 휠과 후륜 휠의 조향각을 각각 , 라 하고, 차량의 휠 베이스를 , slip angle을 , 요 각도를 라 하 면 식 (2)와 같다. (4) tan tan (2) 와 가 작다고 가정하고, 이라고 하면 는 아 래 식 (3)과 같다. (3) 3. 확장칼만필터 기반 차량 상태 추정기 모델링 3.1. 모델링 본 논문에서는 차량의 종방향 속도, 종방향 가속도, 요 각속도와 같은 차량 상태를 추정하기 위해 가우시안 백색 잡음 (Gaussian white noise)을 가정하고 확장칼만필터 를 구성하였다. 상태벡터는 식 (4)와 같다. (4) 식 (4)에서 는 종방향 속도, 는 요 각속도, 는 종 방향 가속도, 는 요 가속도, 는 종방향 가속도 편차 (bias), 는 요 각속도 편차를 가리킨다. 측정값은 차량 chassis CAN에서 얻어지는 네 휠 속도, 요 각속도, 종방향 가속도, 조향각을 사용하였고, 측정 벡터는 식 (5)와 같다. (5)Next >