< Previous배정규·서경덕·서우창·서대화 자동차안전학회지:제14권,제3호,2022 지의 지연시간 허용값인 100ms 보다 초과하는 값이다. 약 1시간을 관찰한 각 시험에서는 오차의 편차가 약 50ms 내외로 크지 않고 일정한 오차가 유지되는 것을 볼 수 있 었지만 Fig. 9와 같이 시간이 지날수록 오차가 증가하거나 감소하는 경향이 나타났다. 또한, 동일한 신호등을 대상으로 각기 다른 날에 수행 한 2차례 시험에서 각 회차 오차 평균값의 차이가 많이 발생하였으며 각 신호등의 오차 증감 수준이 매우 달라 발생하는 오차의 경향성이 있는 것으로 보기는 어려웠고, 장시간 동안 일정한 오차를 유지한다고는 볼 수 없을 것으 로 판단된다. 5. 결 론 본 논문에서는 V2X 통신을 이용한 신호현시 정보제공 시스템의 시간 지연특성에 대해 시험하였고 결과를 얻을 수 있었다. WAVE 통신을 이용한 RTT 측정에서는 평균 5.84ms가 측정되어 신호현시 정보의 실시간성이 보장됨 을 확인하였지만, 인프라 구축이 필수적이라는 단점이 있 다. LTE 통신을 이용한 RTT 측정에서는 평균 104.15ms 가 측정되었고 추가의 통신 장치를 구축할 필요는 없지만, 통신망의 트래픽 증가에 따라 실시간성 확보가 어려운 상 황이 발생할 수 있을 것으로 판단된다. 또한, V2X 통신 시스템을 이용하지 않고 신호시간 계 획(TOD)을 기반으로 신호현시 정보를 생성할 수 있는 방 법을 제안하였다. TOD 기반으로 신호현시 정보를 생성하 면 V2X 통신을 이용하여 신호현시 정보를 제공받을 필요 가 없어 통신 불능으로 발생하는 문제에 자유롭고, 하나의 교차로에 대하여 실시간으로 제공받는 신호현시 정보의 크기보다 신호현시 정보 생성을 위해 구축한 TOD DB의 데이터 크기가 훨씬 작아 데이터 처리와 메모리 사용 효율 이 높다는 장점이 있다. 세종정부청사 부근의 교차로 4곳을 대상으로 TOD 기 반으로 생성한 신호현시 정보의 정확도 측정 결과는 최소 -0.267초, 최대 3.762초의 오차가 발생하였고 오차 발생 의 경향성을 발견하기는 어려웠다. 그러므로 본 논문에서 제안한 TOD 기반의 신호현시 정보 제공방법은 신호제어 기 시스템의 정확도를 높인다면 이미지 센싱 또는 V2X 통신 없이 자율주행 시스템에서 안정적으로 신호현시 정 보의 인지가 가능할 것으로 판단된다. 후 기 본 연구는 국토교통부 교통물류연구사업의 연구비지 원(21TLRP-B146733-04)에 의해 수행되었습니다. 참고문헌 (1)한국지능형교통체계협회, 2020. 12, “새로운 100년 의 설계 한국판 뉴딜 -디지털 SOC, C-ITS 바로알기”. (2)최종찬, 2019. 1, “자율주행자동차 V2X 통신 표준 화 현황”. (3)한국지능형교통체계협회, 2021. 3, “유럽 C-ITS 관 련 동향(C-Roads Platform)”. (4)IEEE Standard for Information Technology- Telecommunications and Information Exchange Between Systems Local and Metropolitan Area Networks-Specic RequirementsPart 11: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specications, Standard 802.11-2016 Std., 2016. (5)IEEE Standard for Wireless Access in Vehicular Environments (WAVE)-Networking Services, Standard 1609.3, 2016. (6)IEEE Standard for Wireless Access in Vehicular Environments (WAVE)-Multi-Channel Operation, Standard 1609.4-2016, 2016. (7)IEEE Standard for Wireless Access in Vehicular Environments-Security Services for Applications and Management Message, Standard 1609.2-2016, 2016. (8)A. Costandoiu and M. Leba, 2019. 2, “Convergence of V2X communicationsystems and next generation networks,” IOP Conf. Ser.: Mater. Sci. Eng., Vol. 477. (9)임기택, 2020. 11, “자율협력주행을 위한 V2X 통신 기술”. (10)G. Naik, B. Choudhury, and J.-M. Park, 2019. 5, “IEEE 802.11bd & 5G NR V2X: Evolution of radio access technologies for V2X communications,” IEEE Access, Vol. 7, pp. 70169~70184. (11)Mario H. Castañeda Garcia, Alejandro Molina- Galan, Mate Boban, Javier Gozalvez, Baldomero Coll-Perales, Taylan Şahin, Apostolos Kousaridas, 신호현시 정보 제공 시스템의 시간 지연특성 연구 자동차안전학회지:제14권,제3호,2022 2021. 3, “A Tutorial on 5G NR V2X Communications,” IEEE Communicatiosn Surveys & Tutorials, Vol. 23, Issue. 3, pp. 1972~2026. (12)정성훈, 2019. 5, “C-V2X 서비스 프레임워크-네 트워크 아키텍처와 통신 절차,” TTA 저널, Vol. 183, pp. 58~65(9). (13)김윤관, 2020. 12, “2020년 ICT 국제표준 마에스트 로 주요이슈 분석서 - 3GPP V2X 표준화,” 한국정 보통신기술협회 분석 보고서. (14)경찰청 교통신호제어기 표준규격서: NPA-TSC- 2010-R26, 2020. 7. (15)전옥희, 이승철, 2020, “자율주행 운행지원을 위한 교통신호정보 연계 방안 연구,” 도로교통공단 교통 과학연구원 연구보고서. (16)도로교통공단, 2018, “교통신호정보 통합DB 구축 및 데이터 개방 방안”. (17)V2X Communications Message Set Dictionary, Standard J2735-2020, SAE Standard, Jul. 2020. (18)https://www.kaia.re.kr/portal/landmark/readTsk View.do?tskId=146733&yearCnt=1&pageIndex =1&menuNo=200060 (19)CVCOC, 2018, Conformance Test Specifications for Wireless Access in Vehicular Environments Test Suite Structure and Test Purposes. Connected Vehicle Certication Operating Council. (20)B.-Y. Kang, J.-K. Bae, W.-C. Seo, J.-W. Park, E.-J. Yang, and D.-W. Seo, 2017. 5, “Performance evaluation of V2X communication system under a high-speed driving,” J. KICS, Vol. 42, No. 5, pp. 1069~1076.◎ 논 문 http://dx.doi.org/10.22680/kasa2022.14.3.060 머신러닝/ADAS 정보 활용 충돌안전 제어로직 개발 박형욱 * ·송수성 * ·신장호 * ·한광철 * ·최세경 * ·하헌석 ** ·윤성로 *** Development of Collision Safety Control Logic using ADAS information and Machine Learning 안전제어첨단운전자보조시스템기계학습심 층학습장단기메모리 ABSTRACT In the automotive industry, the development of automobiles to meet safety requirements is becoming increasingly complex. This is because quality evaluation agencies in each country are continually strengthening new safety standards for vehicles. Among these various requirements, collision safety must be satisfied by controlling airbags, seat belts, etc., and can be defined as post-crash safety. Apart from this safety system, the Advanced Driver Assistance Systems (ADAS) use advanced detection sensors, GPS, communication, and video equipment to detect the hazard and notify driver before the collision. However, research to improve passenger safety in case of an accident by using the sensor of active safety represented by ADAS in the existing passive safety is limited to the level that utilizes the sudden braking level of the FCA (Forward Collision-avoidance Assist) system. Therefore, this study aims to develop logic that can improve passenger protection in case of an accident by using ADAS information and driving information secured before a collision. The proposed logic was constructed based on LSTM deep learning techniques and trained using crash test data. * 현대자동차, 연구원 ** 서울대학교 전기정보공학부, 박사과정 *** 서울대학교 전기정보공학부, 전임교수 E-mail: loveu4ever@hyundai.com 1. 서 론 자동차 산업에서 안전 요구사항을 충족시키는 자동차 개발은 점점 더 복잡해지고 있다. 이는 각국 정부 및 품질 평가 기관이 차량에 대한 새로운 안전평가 기준을 지속해 서 강화하고 있기 때문이다. 이러한 다양한 요구사항 중 충돌안전 분야의 요구조건은 에어백, 시트벨트 등을 제어 하여 충족시켜야 하며, 충돌 이후의 정보를 활용한 대응이 므로 수동안전이라 정의할 수 있다(Fig. 1). 이러한 수동 안전 대응은 에어백, 시트, 시트벨트 등의 모듈 설계 최적 화와 충돌을 감지하는 센서의 추가 또는 위치 변경, 충돌 유형을 판정하는 로직의 고도화 등 다양한 방법으로 시도 되고 있다. 이와 별도로 지능형운전자보조시스템(ADAS: Advanced Driver Assistance Systems)에는 첨단 감지 센서, GPS, 통신, 영상장비 등이 있으며, 이를 이용하여 주행 중 일부 상황을 차량 스스로 인지/판단하여 자동차를 제어하거나 운전자에게 소리/불빛/진동 등의 형태로 미리 위험요소를 알려주고 있다. 하지만 ADAS로 대변되는 능 자동차안전학회지: 제14권, 제3호, pp. 60∼64, 2022 논문접수일: 2022.6.2, 논문수정일(1차: 2022.7.28, 2차: 2022.8.1), 게재확정일: 2022.8.1머신러닝/ADAS 정보 활용 충돌안전 제어로직 개발 자동차안전학회지:제14권,제3호,2022 Fig. 1 Conventional Collision Safety Control Logic Fig. 2 New Collision Safety Control Logic Fig. 3 Development of Active/Passive Integrated Safety Control Logic 동안전 센서를 기존의 수동안전에서 사용하여 사고시 승 객안전을 향상시키는 연구는 FCA 시스템의 급제동 레벨 을 활용하는 수준으로 제한되어 사용되고 있다. 따라서 본 연구에서는 충돌 이전에 확보된 ADAS 정보 및 주행정보 를 활용하여 사고시 승객보호성능을 향상시킬 수 있는 로 직을 개발하고자 한다(Fig. 2). 2. 본 론 2.1. 능수동 통합 충돌안전 로직 개요 개발하고자 하는 능수동 통합 충돌안전 로직은 Fig. 3 과 같이 충돌전 데이터 ①과 충돌후 데이터 ②를 입력으로 박형욱·송수성·신장호·한광철·최세경·하헌석·윤성로 자동차안전학회지:제14권,제3호,2022 Fig. 4 Obtaining pre-crash ADAS/Driving data Fig. 5 Equivalent collision mode labeling of Car-to-Car collision Table 1 Input (Feature Candidate)/Output of Equivalent Crash Modes Table 2 Equivalent Crash Mode of Car-to-Car Collision (excerpts) 하여 승객보호장비 작동시점 등 원하는 출력 ④가 나오도 록 머신러닝 지도학습 방법을 사용하여 개발하였다. ①단 계에 해당하는 충돌전 ADAS 데이터는 직선로 및 교차로 8가지 사고 시나리오(2018)에 대해서 CarMaker 해석을 통해 총 45,840 충돌 케이스를 확보하였다(Fig. 4). 이 해 석에서는 시나리오별로 상대속도, 상대거리, 충돌예상시 간(TTC: Time To Collision) 등을 다양한 조합으로 설정 하여 사고 상황을 재현하였다. CarMaker 해석 충돌 케이스 중 실사고에서 발생빈도와 충돌심각도가 높을 것으로 예상 되는 대표 충돌 유형을 도출한 후 이에 맞는 차대차 충돌 ②단계와 등가충돌모드 ④단계 데이터를 LS-DYNA충 돌해석을 수행하여, 총 83개 충돌해석 데이터를 확보하 였다. 여기서 Fig. 3의 차대차 충돌사고상황(①+②)에서 요 구되는 승객보호장비 작동 요구시간은 해당 차대차충돌 과 가장 유사한 충돌시험(법규/상품성, 센싱)항목의 요구 시간을 AEB 작동단계에 따라 보정(0단계: 100%, 1단계: 90%, 2단계: 80%)하여 적용하였다. 이를 위해서 각각의 차대차 충돌을 가장 유사한 등가 충돌시험 항목으로 매핑 시켜 라벨링하여야 하며(③단계) 이 과정에도 머신러닝 기법을 적용하였다. 2.2. 등가충돌모드 라벨링 Fig. 5의 등가충돌모드 라벨링의 목적은 ②의 차대차 충돌이 승객보호장비의 작동요구조건 등에 대한 다양한 정보를 정형화된 ④의 충돌유형 중 어느 모드/유형에 해당 하는지 분류하여 라벨링 하는 것이다. 여기서 입력데이터 와 충돌모드 구분 방법은 Table 1과 같이 4가지 방법을 시도하였고, 데이터 ④로 학습/검증을 수행한 후 데이터 ②로 테스트를 실시하였다. 여기서 데이터 ④는 대형 세단 의 22건 실차 시험데이터와 30건의 해석데이터 총 52건 을 센서신호진폭 산포를 확대(augmentation)하여 52,500 개 데이터를 이용하였다. 그리고 데이터 ②는 차대차 충돌 해석 32건을 센서신호진폭 산포를 확대하여 20,000개 데머신러닝/ADAS 정보 활용 충돌안전 제어로직 개발 자동차안전학회지:제14권,제3호,2022 이터를 사용하였다. 데이터 ④를 이용하여 Table 1의 4가지 CASE에 대해 학습/검증을 실시한 결과, CNN/FCN/MLP/ ResNET 4가 지 딥러닝 방법 (1) 에서 100%의 분류 정확도를 보였으며, 이 파라미터를 이용하여 차대차 충돌 데이터 ②의 라벨링 을 실시하였다. Table 2는 차대차충돌 라벨링 중 교차로 충돌 시나리 오(JC102)에 대한 결과 예시이며, 표에서 보듯이 파란색 차량 기준으로 상대 충돌속도는 40kph± α 이고, 충돌유형 은 정면 또는 좌경사 충돌유형으로 추정된다. 따라서 충 돌모드와 충돌속도를 각각 따로 학습하여 분류하는 것이 더 정확한 결과가 나오며, 입력데이터도 가속도 6개, 속 도 6개를 사용한 CASE#4가 정확한 결과가 나옴을 알 수 있었다. 2.3. 승객보호장치 작동요구조건 지도학습 Fig. 6에서 보는 바와 같이 CarMaker로 확보한 충돌전 데이터①과 Ls-DYNA로 확보한 충돌이후의 차대차 충돌 데이터②는 사고 유형별/산포별로 조합하여 충돌전후 전 체 입력데이터로 구성하고, 등가충돌유형 매핑(라벨링) 과 정으로 얻은 각각의 사례에 대한 승객장비 작동요구조건 을 만족하도록 딥러닝 로직을 학습시킨 후 기존 충돌안전 제어로직과 성능을 비교하게 된다. 여기서 사용한 ADAS 데이터는 충돌상대속도, 상대거리, TTC를 사용하였고, 충돌데이터로는 Table 1의 CASE#4를 적용하였다. 여기 서 적용한 딥러닝 알고리즘은 순환신경망 기법 중 하나인 LSTM에 충돌유형구분과 전개여부 결정을 하는 모듈을 추가한 형태로 구성하였으며 2.3.1~2.3.2절에서 상세 구 조를 설명하였다. Fig. 6 Supervised Deep Learning of Active/Passive Integrated Safety Control Logic 2.3.1 순환신경망 알고리즘 순환신경망(RNN: Recurrent neural network) (4) 은 sequential data를 다루는 인공 신경망의 한 종류로서 번 역, 음성인식, 이상 징후 감지 등 다양한 분야에서 우수한 성능을 보이고 있다. RNN은 long short term memory(LSTM) (5) , gated recurrent unit(GRU) (6) 등 다양한 구조를 가질 수 있다. 본 연구에서는 LSTM 기반의 모델을 제안한다. Fig. 7(a)은 LSTM의 구조를 나타내고 있다. Feed forward network와는 다르게 feedback connection이 있어 현재 까지 입력된 정보들이 미래의 정보를 예측하는데 사용될 수 있다. Feedback connection을 펼치면 Fig. 7(b)처럼 표현할 수 있다. Fig. 7 (a) Long short term memory (LSTM) structure (b) Detailed structure of feedback connection LSTM은 현재까지 주어진 입력 x 1 , x 2 , … , x t 의 정보를 hidden representation h t 로 저장하고 있다. LSTM은 h t 와 x t+1 를 활용하여 h t+1 을 계산한다. 이렇게 계산된 h t 는 LSTM을 활용하는 application(분류 또는 예측)에 사용 된다. LSTM 내부는 기본적으로 input gate, output gate, forget gate등으로 이루어져 있다. 이러한 gate들은 누적 된 sequential data의 정보 중 application 성능 향상에 도움이 되는 정보들을 선택적으로 저장하고 도움이 되지 않는 정보는 저장하지 않게 한다. 이를 통해 LSTM은 sequential data의 유의미한 pattern을 찾을 수 있게 된다. 2.3.2. 충돌안전 로직 딥러닝 신경망 구조 본 논문에서는 시간에 따라 주어지는 차량의 센서 데이 터로부터 실시간으로 충돌 모드 분류와 전개 여부 결정을 하는 인공 신경망을 제안한다. Fig. 8(a)는 제안하는 인공 신경망의 구성 요소를 나타 낸다. LSTM은 주어진 입력 x 1 , x 2 , … , x t 으로부터 hidden representation h t 를 찾아낸다. 특성 추출 네트워크는 h t 로 부터 모드 분류와 전개 여부 결정을 위한 특성을 추출한 다. 모드 분류 네트워크와 전개 여부 결정 네트워크는 추 출된 특성을 바탕으로 각 시점에서의 충돌 모드 m t 와 전개 여부 d t 를 계산한다.박형욱·송수성·신장호·한광철·최세경·하헌석·윤성로 자동차안전학회지:제14권,제3호,2022 Fig. 8 (a) Proposed Artificial Neural Network diagram (b) Detailed structure Fig. 8(b)는 특성 추출, 모드 분류, 전개 여부 결정 네트 워크의 구체적인 구조를 나타낸다. Sequential한 정보들 이 누적되어 있는 fully connected layer(FC)를 지나가면 서 차원 감소를 통해 핵심적인 정보들이 추려진다. Batch normalization(Batch Norm) (7) 은 입력 데이터의 분포를 유사하게 만들어 인공 신경망 학습이 데이터를 더 잘 배울 수 있게 한다. Rectified linear unit(ReLU) (8) 은 인공신경 망에 비선형성을 부여하여 데이터의 복잡한 패턴을 배울 수 있게 한다. 모드 분류 네트워크에서는 softmax 함수를 이용하여 각 충돌유형의 확률을 계산한다. 전개 결정 네트 워크에서는 sigmoid 함수를 이용하여 전개 여부를 확률로 나타낸다. 모드 분류 네트워크를 학습하기 위해서는 categorical cross entropy loss를 사용했으며 전개 여부 결정 네트워 크를 학습하기 위해서는 binary cross entropy loss를 사 용하였다. 특성 추출 네트워크와 LSTM은 두 개의 loss를 동시에 줄이도록 학습된다. 3. 결 론 본 연구에서는 딥러닝을 이용하여 충돌 이전의 ADAS 데이터와 충돌이후의 센서데이터를 이용하여 승객보호장 비를 제어하는 로직을 제안하였다. 이 과정에서 다음과 같 은 산출물을 얻었다. (1)차대차 충돌을 등가의 법규/상품성 충돌평가데이 터로 라벨링 하는 방법 제안 (2)순환신경망 기법인 LSTM 로직을 이용하여 실시 간 시계열 ADAS/충돌센서 데이터를 입력으로 하 여 승객보호장비의 작동을 판단하는 로직을 제안 (3)LSTM을 적용한 승객보호장비 작동로직의 학습 과정이 시행착오법으로 튜닝하는 기존 로직 대비 양산차 적용과정에서 개발기간이 단축되고, 설계 자의 주관적 경험이 배제 가능함. 향후 개발로직의 양산을 위해서는 대상 제어기의 성능 적합성 검토 및 코드 변환 등의 추가 연구가 필요할 것으 로 판단된다. 참고문헌 (1)Ismail Fawaz, Hassan and Forestier, Germain and Weber, Jonathan and Idoumghar, Lhassane and Muller, Pierre-Alain, “Deep learning for time series classification: a review”, Data Mining and Knowledge Discovery 2019-33, pp. 917~963. (2)송봉섭, 신장호, “Pre-crash 데이터 기반 충돌모드 예측모델 개발”, 2019/11, 사내보고서. (3)Andreas Meier, Mark Gonter, Rudolf Krus, 2014, “Precrash classification of car accidents for improved occupant safety systems”, Procedia Technology pp. 198~207. (4)Sherstinsky, Alex, 2020, “Fundamentals of recurrent neural network (rnn) and long short-term memory (lstm) network”, Physica D: Nonlinear Phenomena 404: 132306. (5)Hochreiter, Sepp, and Jürgen Schmidhuber, 1997, “Long short-term memory”, Neural computation 9.8: 1735-1780. (6)Cho, Kyunghyun, et al., 2014, “Learning phrase representations using RNN encoder-decoder for statistical machine translation”, arXiv preprint arXiv:1406.1078. (7)Ioffe, Sergey, and Christian Szegedy, 2015, “Batch normalization: Accelerating deep network training by reducing internal covariate shift”, arXiv preprint arXiv:1502.03167. (8)Nair, Vinod, and Geoffrey E. Hinton, 2010, “Rectified linear units improve restricted Boltzmann machines”, ICML.◎ 논 문 http://dx.doi.org/10.22680/kasa2022.14.3.065 도심 자율주행을 위한 어텐션-장단기 기억 신경망 기반 차선 변경 가능성 판단 알고리즘 개발 이희성 * ·이경수 **,† Attention-LSTM based Lane Change Possibility Decision Algorithm for Urban Autonomous Driving † 차선 변경장단기 기억 신경망어텐션 층 도심 자율 주행교통 체증 ABSTRACT Lane change in urban environments is a challenge for both human-driving and automated driving due to their complexity and non-linearity. With the recent development of deep-learning, the use of the RNN network, which uses time series data, has become the mainstream in this field. Many researches using RNN show high accuracy in highway environments, but still do not for urban environments where the surrounding situation is complex and rapidly changing. Therefore, this paper proposes a lane change possibility decision network by adopting Attention layer, which is an SOTA in the field of seq2seq. By weighting each time step within a given time horizon, the context of the road situation is more human-like. A total 7D vectors of x, y distances and longitudinal relative speed of side front and rear vehicles, and longitudinal speed of ego vehicle were used as input. A total 5,614 expert data of 4,098 yield cases and 1,516 non-yield cases were used for training, and the performance of this network was tested through 1,817 data. Our network achieves 99.641% of test accuracy, which is about 4% higher than a network using only LSTM in an urban environment. Furthermore, it shows robust behavior to false-positive or true-negative objects. * 서울대학교 공과대학 기계공학부, 석사과정 ** 서울대학교 공과대학 기계공학부, 교수 † 교신저자: kyi@snu.ac.kr E-mail: heesungsung@snu.ac.kr 1. 서 론 자동차 사고의 대부분은 운전자의 부주의로부터 발생 되며, 그 원인으로는 주변 차량, 주위 환경의 변화를 인지 하지 못하거나 상황에 알맞지 않은 판단을 내리는 경우 등 이 존재한다. (1) 1990년대 후반 이후부터 교통사고를 예방 및 운전자의 입력에 대해 차량이 안정적인 거동을 유지하 도록 함으로써 승차감을 향상시켜주는 보조 시스템을 개 발하기 시작했고, 이를 첨단 운전자 보조 시스템(advanced driver assistance system, ADAS)라 부른다. 그 중, 사각지 대 충돌 방지 보조 시스템(blind-spot collision avoidance assist)는 차선 변경 상황에서 변경하고자 하는 차선 위 후측방 차량과의 거리를 초음파 센서로 측정하여 경고하 게 된다. 그러나, 도심 환경 또는 차량 이동량이 많은 시간 대에는 해당 시스템이 차선 변경에 도움을 주지 못한다. 전, 후방 충돌에 비해 복합적인 요소를 고려해야하는 차선 변경 상황을 위한 보조 시스템은 아직 완성되지 못한 상태 이다. 자동차안전학회지: 제14권, 제3호, pp. 65∼70, 2022 논문접수일: 2022.6.6, 논문수정일: 2022.8.23, 게재확정일: 2022.8.1이희성·이경수 자동차안전학회지:제14권,제3호,2022 Fig. 1 Test car sensor configuration 차선 변경의 과정은 다음의 3가지: 1) 차선 변경 가능 성 판단, 2) 차선 변경 경로 생성, 3) 생성된 경로 추종으 로 나눌 수 있으며, 본 연구에서는 첫 번째 단계에 대해 다루고 있다. 차선 변경 가능성 판단 분야의 초기 알고리 즘은 규칙 기반으로, TLC(Time to Line Crossing)을 기 반으로 측후방 차량의 위치를 예측하는 방법, (2) 운전자의 거동을 모사한 가속도 모델 기반으로 주변 차량간 거리 및 가속도 관련 제약 조건에 따라 위험도를 판단하는 방법 (3) 등이 존재한다. 그러나, 규칙 기반 알고리즘은 대부분 현 재 state만을 이용하기 때문에 예외 상황이 많이 발생되어 강건하지 못하다는 단점이 존재한다. 이후 확률 또는 데이터 기반으로 학습하여 차선 변경 가능성을 판단하는 알고리즘들이 제안되었다. 은닉 마코 브 모델과 베이지안 모델을 결합하여 운전 거동을 세부 거동으로 분류하는 방법, (4) SVM(support vector machine) 모델 기반의 방법 (5) 등이 존재한다. 최근에는 사람의 판단 과정을 모사하고자 RNN(recurrent neural network) 계 열 신경망을 사용하여 차선 변경 과정의 시계열 데이터를 이용하는 연구들이 제안되고 있다. (6,7) 고속도로에서는 비 교적 강건한 성능을 보여주지만, 센서의 오인지나 노이즈 에 취약하여 도심 환경을 비롯한 실제 도로에서의 적용에 는 많은 위험이 따른다. 이에 본 연구에서는 Attention layer를 도입한 LSTM 기반 모델을 제안했다. 학습 과정에서 인코더의 출력 결과 별 key-value를 생성하고, 전체 맥락에서 어떤 시점이 가 장 중요한지에 대한 판단이 이루어진다. 이를 통해 각 time step마다 가중치를 부여하며, 실제 사람과 더 유사한 판단 과정을 거치게 된다. 또한, 이상치 데이터 및 노이즈 에 대한 필터링 효과도 존재한다. 2. 차선 변경 주행 데이터 취득 2.1. 도심환경 주행 데이터 2.1.1. 실험 차량 및 센서 구성 Fig. 1은 차선 변경 가능성 판단 모델을 학습시키기 위 한 데이터 취득 목적의 실험 차량 및 센서 구성이다. 현대 아이오닉 일렉트릭 1대가 사용되었으며, Velodyne사 Puck VLP-16ch Hi-res 2개, Inertial Labs 사 INS-P, Logitech StreamCam, 그리고 차량 정보를 측정하는 Chassis sensor 가 부착되어 있다. 2.1.2. 도심 환경 주행 데이터 취득 차량 이동량이 많은 17:00~20:00 시간대에 도심 환경 에서 수동 주행하며 차선 변경 데이터를 취득했다. 좌측 또는 우측 방향지시등이 점등되는 순간부터 완전히 차선 변경이 완료되고 방향지시등을 소등하는 시점까지 데이터 를 녹화하며, 이를 한 ‘장면(scene)’이라고 부르겠다. 수 집하는 정보는 자차량 속력, 가속도, LiDAR의 point cloud, 그리고 차선 변경 성공 여부이다. 별도의 알고리즘 (8) 을 통 해 point cloud 데이터로부터 주변 차량의 거리, 속력, 가 속도 등의 state들을 구해 모델 학습에 사용하며, 차선 변 경 성공 여부는 자차량 좌표계 기준 녹화 시작과 끝 시점 의 횡방향 거리 변화를 통해 자동으로 라벨링한다. Fig. 2는 데이터 취득을 위한 주행 경로이며, 반복적으 로 수행하면서 차선 변경이 성공한 경우 2107개와 실패한 경우 1214개, 총 3321개의 데이터를 수집했다. Fig. 2 Driving route for data acquisition 2.2. 공개 데이터 활용 미국의 실제 차량경로 메타 데이터 셋인 NGSIM(Next Generation Simulation)을 이용하여 고속도로 상황에 대도심 자율주행을 위한 어텐션-장단기 기억 신경망 기반 차선 변경 가능성 판단 알고리즘 개발 자동차안전학회지:제14권,제3호,2022 Fig. 3 Model input structure 한 데이터도 활용했다. 차선 변경이 성공한 경우 543개와 실패한 경우 870개, 총 1413개의 데이터를 사용했다. 2.3. 데이터 증식(Data Augmentation) 많은 개수의 차선 변경 데이터를 수집하는 일은 제한된 환경 내에서 많은 시간을 필요로 한다. 따라서, 수집한 데 이터를 기반으로 그 개수를 늘리는 방식을 사용했으며, 다 음과 같다. 1) 노이즈 및 이상치 제거, 2) 노이즈 및 이상 치 생성, 3) 긴 시간에 대한 데이터를 분할하여 각각의 데 이터로 구성. 그 결과, 차선 변경이 성공한 경우 6830개, 실패한 경우 5527개의 총 12357개의 데이터를 확보했으 며, 이를 Train 및 Validation 데이터로 분할하였다. Test 데이터의 경우 알고리즘 평가를 위해 추후 별도로 수집되 었으며, 전체 데이터셋 프로파일은 Table 1에 나와있다. Table 1 Dataset Profile YieldNon-YieldTotal Training5,4644,4229,886 Validation1,3661,1052,471 Test546313859 Total7,3765,84013,216 3. 차선 변경 가능성 판단 알고리즘 구성 개요 3.1. 입력 구성 Fig. 3은 본 연구에서 제안한 모델에 사용될 데이터 구 조를 보여준다. 자차량 속력, 측전방 차량과 측후방 차량 의 종 방향 거리, 횡 방향 거리, 속도, 총 7개의 state로 벡터를 구성한다. 모델 학습 및 검증에 활용되는 input은 데이터와 라벨 로 구성되어 있다. 취득한 데이터를 상기한 7차원 벡터 형 식으로 정리하고, 라벨은 차선 변경이 성공했다면 1, 실패 했다면 0으로 정리한다. 3.2. 모델 구성 Fig. 4는 차선 변경 가능성 판단을 위해 사용되는 Attention- LSTM기반 모델이다. 크게 인코더와 디코더로 구성되어 있으며, 인코더는 input을 받아 어떠한 추상의 형태로 암 호화한다. 디코더는 해당 정보를 받아 해석하고, 차선 변 경 가능성을 최종 output으로 산출해낸다. 디코더를 구체적으로 살펴보면, Attention layer와 Fully- connected layer로 구성되어 있다. 전자는 인코더의 마지 막 hidden state를 받아 query로 활용하고, output을 key, value로 활용한다. Fig. 4에 명시된 식에 따라 query와 key를 통해 energy를 구하고, 이를 value에 곱해 각 step 별 가중치를 계산한다. 후자는 가중치를 곱한 인코더의 output을 받아 최종적으로 차선 변경 가능성을 0에서 1사 이로 출력한다. Fig. 4 Attention-LSTM model for Lane change decision 4. 모델 학습 4.1. 학습 파라미터 Table 2는 구성한 모델을 학습시킬 때 넣어준 hyper parameter 값들을 보여준다. 추가로, LSTM layer는 두 개의 층 모두 양방향 모델을 사용하였으며, 과거 시계열 데이터와 미래 모두 사용함으로 써 맥락을 더 잘 파악하는 것을 목표로 했다. 또한, 본 모델 은 일반적인 딥러닝 모델들과는 달리 과적합(overfitting) Next >