< Previous류영우, 김정구 한국음향학회지 제 43 권 제 2 호 (2024) 230 동해에서 획득한 해상실험 데이터를 이용하여 분석 하였다. 중주파수 원통형 배열소나를 이용하여 전 방향으로 주파수 대역폭 400[Hz], 펄스길이 50[ms]의 FM 신호를 송신하였으며, 탐색 거리는 약 6 km ~ 10 km이다. 배열 소나의 수신 신호는 4 km ~ 6 km 거리에 위치한 표적의 반향음과 그 외 반향음 및 잡음을 포 함하는 비표적 신호를 획득하였으며 모두 220핑으 로 구성된다. 4.1 소수 불균형 데이터를 이용한 표적/비표적 분류기의 학습 차별화된 200개 비표적 데이터 세트를 이용하여 분 류기의 학습을 수행하여 개별 분류기의 성능을 확인 하였다. 200개 분류기에 공통적으로 적용된 평가 데 이터의 표적 54개에 대한 정확도 분포는 Fig. 9와 같다. 그림에서 가로축은 정확도이며, 세로축은 정확도 구간에 따른 분류기의 수이다. 54개 각 표적에 대한 식별율의 최저값은 75.9 %, 최대값은 94.4 %, 평균 84.5 %로 우수한 정확도를 보인다. 한편 비표적은 200개 세트로 분할되어 각 분류기 마다 다르게 적용되었다. 비표적의 주변잡음대비 신 호 크기(SNR) 분포는 Table 1과 같이 균일하게 설정 하여 SNR차에 의한 분류기 성능차를 억제하였다. 비표적 56개에 대한 정확도 분포는 Fig. 10과 같다. 최 저값은 89.3 %, 최대값은 100 %, 평균 98.5 %로 높은 정확도를 보인다. 전체 표적과 비표적 데이터에 대한 구분 성능을 포함하여 Table 2에 제시하였으며, 합계 평균 91.6 % 로 구분 성능이 우수한 결과를 보임을 알 수 있다. 4.2 식별된 학습기를 이용한 표적/비표적 구분 학습된 분류기의 일반화 성능을 확인하기 위해 전 체 220핑에 대해 표적과 비표적 구분을 수행하였다. 전반부의 탐색거리 약 10 km의 핑에서는 문턱값을 초과한 탐지결과가 약 300개, 후반부의 6 km 탐색거리 에서는 약 150개 정도가 확인되었다. 이를 분류기에 적용하여, 표적 오분류율, 비표적 잔여율을 통해 순차 적으로 학습된 200개 분류기의 성능을 확인하였다. 예를 들어 Fig. 11의 31번 핑 탐지 결과에서는 표적 과 함께 314개의 비표적이 있으나, Fig. 12의 분류기 적용 결과 표적 구분과 함께 비표적의 수를 6개까지 줄일 수 있음을 확인하였다. 전체 220 핑에 대한 200개 분류기의 성능을 Table 3 에 나타내었다. 표적의 오구분율은 가장 우수한 경우 5 %, 가장 저조한 경우 7.7 %, 평균은 5.9 %였으며, 비 표적 잔존율은 가장 우수한 경우 0.3 %, 가장 저조한 경우 11.1 %, 평균 5.2 %로 분석되었다. 표적의 오구 분율을 억제하면 비표적 잔존율이 올라가는 trade-off 관계를 보인다. 추적과 연계하기 위해 표적 오구분율과 비표적 잔 존율의 가중합이 가중 우수한 분류기를 선정하였다. 해당 분류기를 이용하여 전체 220핑에 대한 성능 지 표를 Table 4와 같이 혼동행렬로 나타내었다. 비표적이 표적대비 200배 많은 불균형 데이터이 Fig. 9. (Color available online) Accuracy distribution of classifiers : target. Fig. 10. (Color available online) Accuracy distri- bution of classifiers : non-target. Table 2. Discrimination result of trained classifiers. MinMaxAverage Target75.9 %94.4 %84.5 % Non-Target89.3 %100 %98.5 % Total87.3 %94.6 %91.6 %소수 불균형 데이터의 심층학습을 통한 능동소나 다층처리기의 표적 인식성 개선 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 231 므로 비표적수를 표적과 동수가 되도록 배수 200으 로 나눠 조정된 Table 5를 생성하고 Eqs. (3) ~ (5)를 이 용하여 정밀도, 재현율, 조화평균(F-1 score)을 산출 하여 Table 6을 생성하였으며, 각각 0.936, 0.924, 0.93 으로 우수함을 확인할 수 있다. .(3) .(4) .(5) 그리고 전체 표적/비표적을 이용하여 False Positive Fig. 11. (Color available online) Detection result : target with 314 non-targets. Fig. 12. (Color available online) Classification result : target with 6 non-targets. Table 3. Performance of trained classifiers. BestWorstAverage Rate of target misclassification 5 %7.7 %5.9 % Rate of remained non-target 0.3 %11.1 %5.2 % Table 4. Confusion matrix of selected classifier (original). True Estimation TargetNon-target Target2063,398 Non-target1440,605 Table 5. Confusion matrix of selected classifier (adjusted). True Estimation TargetNon-target Target20617 Non-target14203 Table 6. Performance index of classifier (adjusted). PrecisionRecallF-1 Score 0.9360.9240.930 Table 7. False positive rate (FPR) and true positive rate (TPR). FPR0.0350.0700.080.09 TPR0.9180.9320.9460.955 Fig. 13. (Color available online) ROC curve of selected classifier.류영우, 김정구 한국음향학회지 제 43 권 제 2 호 (2024) 232 Rate(FPR), True Positive Rate(TPR)를 산출하여 대표 적인 값으로 Table 7을 생성하고, 이를 이용하여 분류 기의 ROC 곡선을 Fig. 13과 같이 도시하여 성능을 확 인하였다. 학습된 분류기의 비표적의 오긍정이 억제되어 있 어 낮은 FPR에서도 TRP이 0.9 이상으로 확인된다. 4.3 추적 필터 및 표적 궤적 관리 소나 운용자의 표적 인식을 용이하도록 추적 필 터와 연계 기법, 표적궤적 관리를 적용하였다. 추적 기법으로는 일반적으로 널리 사용하는 칼만 필터를, 연계기법으로는 최근접연계를 적용하였으며, 추적 중인 궤적이 정상 연계가 될 경우는 신뢰도 점수를 증가시키고, 연계가 되지 않을 경우는 감점하였으 며, 신뢰도가 0이 된 궤적은 삭제하였다. 신뢰도의 최소값은 0, 최대값은 1, 최초 생성 표적은 0.5, 증감 폭은 0.4로 설정하였다. 예를 들어 핑 31에서의 표적 궤적은 Fig. 14과 같이 표적 궤적을 유지하면서 비표적에 의한 궤적이 하나 로 억제되어 있는 것을 볼 수 있다. 전체 데이터는 74핑(핑 25 ~ 98, 세트 1)과 146핑(핑 224 ~ 369, 세트 2)로 구성되며, 신규궤적의 생성은 두 핑 이상 처리하여야 하므로 각 세트의 첫 핑은 궤적 수 산정에서 제외된다. 세트 1의 각 핑에서 생성 및 유지되는 궤적 수는 최 소 1개, 최대 9개, 평균 3.4개였으며, 세트 2의 궤적 수 는 최소 2개, 최대10개, 평균 3.8개로 그 결과를 Tables 8 ~ 9에 제시하였다. 최초 탐지 결과에서 분류기와 표적궤적관리를 거 치며 대부분의 비표적이 제거되어 소나 운용자에게 제시되는 결과는 기존의 능동소나 다층처리 구조 대 비 표적의 인식성이 상당히 향상되었다. 물론 기존의 탐지와 표적관리 관리로 구성된 다층 처리 구조에서도 고도화된 추적필터, 연계기법, 표 적궤적 관리 기법을 통해 성능 개선은 가능하겠지 만, 과도한 비표적 탐지 환경에서는 개선정도가 제 한될 것으로 추정된다. 제시된 기법에서는 추적 필 터와 연계 기법의 고도화를 다루고 있지 않으므로 그와의 성능 비교 결과는 제시하지 않는다. V. 결 론 본 논문에서는 기존의 능동소나의 다층처리 구조 에 소수 불균형 데이터를 이용하여 학습한 표적/비 표적 분류기를 추가함으로써 표적의 인식성을 향상 시키는 기법을 제안하고, 실제 해상에서 획득한 데 이터를 이용하여, 표적 인식성을 개선할 수 있음을 입증하였다. 분류기의 학습 목표인 능동소나의 운용 목적을 고 려하여 표적 미탐지를 최소화하면서, 가능한 많은 비표적 탐지를 제거하였다. 학습된 여러 분류기 중 에서 위 최적의 분류기를 선정하고, 추적 필터 및 연 관을 통한 표적 궤적 관리와의 연계를 통해 시간적, 공간적 연속성을 확보함으로써, 신규 궤적의 난립을 Fig. 14. (Color available online) Track management result. Table 8. Result of proposed algorithm : set 1 (74 ping). Number of TargetMinMaxAverage Detection225361284 Classification1167.4 Track193.4 Table 9. Result of proposed algorithm : set 2 (136 ping). Number of TargetMinMaxAverage Detection118259151.9 Classification41710.1 Track2103.8소수 불균형 데이터의 심층학습을 통한 능동소나 다층처리기의 표적 인식성 개선 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 233 억제하고, 후속 핑과의 연계를 신뢰도 높은 소수의 탐지 결과로 한정하면서 표적 궤적의 수를 최소화하 여 능동소나 화면에서 운용자의 표적 인식성을 향상 시켰다. 감사의 글 본 논문의 교신저자(김정구)는 부산대학교 기본 연구지원사업(2년)의 지원으로 연구를 수행하였음. References 1.S. M. Kay, Fundamentals of Statistical Signal Processing Vol. 2, Detection Theory (Prentice Hall, New Jersey, 1998), pp.94-105. 2.R. J. Urick, Principles of Underwater Sound 3 rd Ed. (Peninsula Publishing, Connecticut, 2010), pp. 377- 386. 3.K. T. Hjelmervik, H. Berg, and T. S. Sastad, “Predicting false alarm rates for high-resolution antisubmarine warfare sonars in a cluttering environment prone to false alarm rate inflation,” IEEE J. Ocean. Eng. 45, 1527-1537 (2020). 4.B. Barboy, A. Lomes, and E. Perkalski, “Cell-averaging CFAR for multiple-target situations,” IEE Proceedings, Pt. F, 133, 176-186 (1986). 5.P. P. Gandhi and S. A. Kassam, “Analysis of CFAR processors in nonhomogeneous background,” IEEE Trans. on Aerospace and Electronic Systems, 24, 427-445 (1988). 6.Y. Bar-Shalom and T. E. Fortmann, Tracking and Data Association (Academic Press, Inc, Boston, 1988), pp. 157-176. 7.Y. T. Lim, Y. O. Lee, and T, L. Song, “A study of new data association method for active sonar tracking and track initiation” (in Korean), J. KIMST, 13, 739-747 (2010). 8.S. W. Kim, “Hough transform clutter reduction algo- rithm for piecewise linear path active sonar target detection and tracking improvement” (in Korean), J. Acoust. Soc. Kr. 32, 354-360 (2013). 9.C. H. Kwak, M. J. Cheong, and J. K. Ahn, “A clutter reduction algorithm based on clustering for active sonar systems” (in Korean), J. Acoust. Soc. Kr. 35, 149-157 (2016). 10.C. Li, Z. Huang, J. Xu, and Y. Yan, “Underwater target classification using deep learning,” Proc. OCEANS 2018 MTS/IEEE Charleston, (2018). 11.Q. Wang, S. Du, F. Wang, and Y. Chen, “Underwater target recognition method based on multi-domain active sonar echo images,” Proc. IEEE ICSPCC, 1-5 (2021). 12.W. Zhang, Y. Wu, D. Wang, Y. Wang, Y. Wang, and L. Zhang, “Underwater target feature extraction and classification based on gammatone filter and machine learning,” Proc, ICWAPR, 42-47 (2018). 13.I. Seo, S. Kim, Y. Ryu, J. Park, and D. S. Han, “Underwater moving target classification using multi- layer processing of active sonar system,” Appl. Sci. 9, 4617 (2019). 저자 약력 ▸류 영 우 (Young‒Woo Ryu) 2004년 : POSTECH 전자공학과 학사 2006년 : POSTECH 전자공학과 석사 2006년 ~ 현재 : 국방과학연구소 책임연 구원 2018년 ~ 현재 : 부산대학교 정보컴퓨터 공학부 박사과정 ▸김 정 구 (Jeong‒Goo Kim) 1988년 2월 : 경북대학교 전자공학과 공 학사 1991년 2월 : 경북대학교 대학원 전자공학 과 공학석사 1995년 8월 : 경북대학교 대학원 전자공학 과 공학박사 1995년 3월 ~ 현재 : 부산대학교 정보컴퓨 터공학부 교수 1999년 3월 ~ 2001년 2월 : 미국 UCSD 방 문교수 2010년 3월 ~ 2011년 2월 : 호주 UniSA 방 문교수 <관심분야> 정보 및 부호이론, 디지털통 신 시스템, IoT 시스템I. 서 론 잠수함과 같이 수중에서 운용되는 함정들은 주로 수동소나를 이용하여 상황을 인지한다. 수동소나에 서 인지되는 주 표적인 선박신호는 기계 장치에 의한 기계소음과 프로펠러에 의한 공동소음을 동반한다. 이러한 선박신호의 소음들은 선종에 따라 고유 특성 을 나타내어 선박의 식별을 위해 사용된다. [1,2] 기존 연구에서는 LOw Frequency Analysis and Recording (LOFAR)와 DEModulation Of Noise(DEMON)을 통해 기계소음과 공동소음의 협대역 신호를 분석하여 선 박을 식별한다. [3-5] 최근에는 심층학습 알고리즘을 사용하여 선박신호를 분류하는 연구가 수행되고 있 다. 이러한 연구에서는 단시간 푸리에 변환으로 생 성된 시간-주파수 영역 특징을 주로 사용하며, 합성 곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Reccurent Neural Network, RNN)과 같은 심층 학습 알고리즘이 사용된다. [6-12] 합성곱 신경망은 여러 채널을 갖는 합성곱 필터와 영상화된 특징과의 연산을 통해 시간-주파수 영역 의 상관관계를 학습한다. 순환 신경망은 시간 시퀀 스에 따른 특징을 순차적으로 입력하여 인접 시간 영상 패치 기반 그래프 신경망을 이용한 수동소나 신호분류 Passive sonar signal classification using graph neural network based on image patch 고건혁, 1 이기배, 1 이종현 1† (Guhn Hyeok Ko, 1 Kibae Lee, 1 and Chong Hyun Lee 1† ) 1 제주대학교 해양시스템공학과 (Received January 22, 2024; accepted March 11, 2024) 초 록: 본 논문에서는 그래프 신경망을 이용한 수동소나 신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 스펙 트로그램을 영상 패치로 분할하고, 인접 거리의 영상 패치 간 연결을 통해 그래프를 표현한다. 이후, 표현된 그래프를 이용하여 그래프 합성곱 신경망을 학습하고 신호를 분류한다. 공개된 수중 음향 데이터를 이용한 실험에서 제안된 알 고리즘은 스펙트로그램의 선 주파수 특징을 그래프 형태로 표현하며, 92.50 %의 우수한 분류 정확도를 갖는다. 이러한 결과는 기존의 합성곱 신경망과 비교하여 8.15 %의 높은 분류 정확도를 갖는다. 핵심용어: 수동소나, 그래프 표현, 영상 패치, 그래프 신경망 ABSTRACT: We propose a passive sonar signal classification algorithm using Graph Neural Network (GNN). The proposed algorithm segments spectrograms into image patches and represents graphs through connections between adjacent image patches. Subsequently, Graph Convolutional Network (GCN) is trained using the represented graphs to classify signals. In experiments with publicly available underwater acoustic data, the proposed algorithm represents the line frequency features of spectrograms in graph form, achieving an impressive classification accuracy of 92.50 %. This result demonstrates a 8.15 % higher classification accuracy compared to conventional Convolutional Neural Network (CNN). Keywords: Passive sonar, Graph representation, Patch image, Graph Neural Network (GNN) PACS numbers: 43.30.Wi, 43.60.Bf, 43.60.Lq 한국음향학회지 제43권 제2호 pp. 234～242 (2024) The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) https://doi.org/10.7776/ASK.2024.43.2.234 pISSN : 1225-4428 eISSN : 2287-3775 †Corresponding author: Chong Hyun Lee (chonglee@jejunu.ac.kr) Department of Ocean System Engineering, Jeju National University, 102, Jeju Daehakro, Jeju-si, Jeju 63243, Republic of Korea (Tel: 82-64-754-3481, Fax: 82-64-754-3480) Copyrightⓒ2024 The Acoustical Society of Korea. This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. 234영상 패치 기반 그래프 신경망을 이용한 수동소나 신호분류 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 235 간의 상관관계를 학습한다. 이러한 심층학습 알고리 즘들은 전역적인 특징 학습을 위해 다층의 네트워크 를 구성하여 많은 연산이 요구된다. 최근, 그래프 형태의 데이터를 처리하기 위해 그 래프 신경망(Graph Neural Network, GNN)에 대한 연 구가 활발히 진행되고 있다. 그래프 신경망은 비유 클리디안 공간에서의 특징 추출을 가능하게 한다. 또한, 영상처리 및 음성인식 분야에서는 그래프 표 현을 통해 영상이나 스펙트로그램의 전역적인 연결 을 사전에 포함할 수 있어, 적은 연산량을 통한 특징 추출의 목적으로 활용되고 있다. [13-15] 영상처리 분야 에서는 슈퍼픽셀 알고리즘을 사용하여 영상을 그래 프 형태로 표현한다. [13,14] 음성인식 분야에서는 단시 간 푸리에 변환으로 생성된 스펙트로그램을 세기를 기준으로 분할하고 중첩 영역 간 연결을 통해 그래 프 형태로 표현한다. [15] 본 논문에서는 그래프 신경망을 이용한 선박신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 선 박신호의 스펙트로그램을 다수의 영상 패치로 분할 하고, 인접 거리의 영상 패치 간 연결을 통해 그래프 로 표현한다. 이후, 표현된 그래프를 이용하여 그래 프 합성곱 신경망(Graph Convolutional Network, GCN) 을 학습하고 신호를 분류한다. 본 논문에서는 공개 된 수동소나 데이터를 이용하여 제안된 그래프 기반 분류 알고리즘의 성능을 평가한다. II. 수동소나 신호분류 2.1. 수동소나 표적신호 수동 소나에서 측정되는 선박 신호는 엔진과 같은 기계류에 의한 기계소음, 프로펠러의 공동현상에 의 한 공동소음, 유체와 선체의 상호작용으로 인한 유 체소음을 포함한다. 각각의 소음은 신호의 스펙트로 그램에서 다양한 형태로 발현된다. 선박 신호의 대표적인 소음인 기계 소음은 혼재된 고조파 협대역 신호로, 1 kHz 이하의 저주파수 대역 에서 강한 주파수선 특징을 갖는다. [16,17] 공동 소음과 유체 소음은 광대역 신호로 스펙트로그램에서 수 kHz 대역에 걸쳐 다양한 형태로 포진된다. 또한, 선 박의 주요 소음은 로이드 거울 효과에 의해 지속적 인 보강 및 간섭을 동반하여 전파된다. [18,19] 이는, 스 펙트로그램에서 포물선의 형태로 나타나며, 선박이 측정 지점을 고속으로 통과할 때 더욱 날카로운 형 상을 갖는다. 2.2. 그래프 합성곱 신경망 본 논문에서는 선박신호 분류를 위해 그래프 합성 곱 신경망을 사용한다. Fig. 1은 그래프 합성곱 신경 망을 이용한 그래프 분류 과정을 보여준다. 그래프 합성곱 신경망은 노드 행렬인 ∈ × 와 그래프의 연결 정보를 나타내는 인접 행렬 ∈ × 으로 구 성된 그래프 를 입력받는다. 여기서, 은 노 드 개수를 나타내고, 는 노드를 구성하는 특징벡터 의 길이를 의미한다. 그래프 합성곱 신경망은 매 층마다 그래프 합성곱 연산을 Eq. (1)과 같이 수행한다. ,(1) 여기서 는 정규화된 인접행렬, 는 로부터 도 출된 차수행렬, 은 층에서 학습되는 가중치 행 렬, 은 층의 노드 행렬, ⋅ 는 활성화 함수를 의미한다. [20,21] 층의 그래프 합성곱 신경망에 의해 출력되는 은 리드아웃을 통해 단일 특징 벡터로 변환된다. 리드아웃에는 합, 평균, 최대값과 같은 단순한 순열 불변성 기법, Weisfeiler-Lehman test 값에 따라 임베 딩된 노드의 순서를 정렬하는 SortPool, 그래프의 구 Fig. 1. (Color available online) The graph classification process using GCN with single layer. 고건혁, 이기배, 이종현 한국음향학회지 제 43 권 제 2 호 (2024) 236 조를 유지하여 표현하는 DiffPool이 사용될 수 있 다. [20-23] 끝으로, 변환된 특징 벡터는 완전 연결 층을 통해 분류된다. 2.3. 영상 패치 기반 분류 알고리즘 본 절에서는 수동소나 신호의 시간-주파수 특징 을 학습하는 영상 패치 기반 신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 Fig. 2와 같이 단시 간 푸리에 변환을 통해 생성된 스펙트로그램의 영상 패치를 그래프로 표현하고, 그래프 합성곱 신경망을 이용하여 그래프 분류를 수행한다. 생성된 스펙트로 그램 ∈ × 는 개의 영상 패치 ⋯ 으로 분할된다. 여기서 는 주파수 빈 개수, 는 시 간 프레임 개수를 의미한다. 영상 패치 ∈ ×, ∈ ⋯ 는 인접한 영상 패치와 시간 혹은 주파수 축으로 만큼 중첩하여 슬라이딩을 통해 생성한다. 여기서 와 는 의 주파수 빈과 시간 프레임 개수로 와 의 조건을 만족한다. Fig. 2의 예시와 같이 와 가 모두 512인 는 가 0.5일 때, 와 가 모두 128인 49개의 영상 패치 ⋯ , ∈ × 로 분할된다. Fig. 3은 으로부터 그래프의 노드를 구성하는 방법을 보여준다. 노드의 구성은 생성된 단일 패치 로부터 동일한 시간 시퀀스를 갖는 주파수 특징을 순차적으로 배열하여 시간에 따른 주파수 정보가 유 지되도록 한다. 따라서, 노드 벡터 은 Eq. (2)를 Eq. (3)과 같이 재정렬하여 생성한다. ⋯ ⋮⋱⋮ ⋯ .(2) ⋯ ⋯ ⋯ .(3) 생성된 개의 노드 벡터 ⋯ 는 열 방 향으로 정렬되어 노드 행렬 를 구성한다. 그래프의 인접 행렬 ∊ × 는 Eq. (4)와 같이 정의되며, 각 요소 값 는 와 번째 노드 벡터 , 간의 간선 정보를 나타낸다. ⋯ ⋮⋱⋮ ⋯ .(4) 는 ⋯ 의 노드 벡터들 간 거리를 기반 으로 Table 1과 같이 생성된다. 먼저, 노드 벡터들 간 거리를 계산하여 와 인접한 개의 노드 벡터를 탐 색한다. 여기서 와 간 거리 는 Eq. (5)와 같이 계산된다. Fig. 2. (Color available online) Overview of the proposed graph representation algorithm with , , , , and . Fig. 3. (Color available online) Method of generating the node vector from the image patch.영상 패치 기반 그래프 신경망을 이용한 수동소나 신호분류 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 237 ∥ ∥ .(5) 이후 인접한 개 노드 벡터의 인덱스 ⋯ 를 추출하고, 의 번째 요소 값 를 1로 설정 한다. 결과적으로, 본 논문에서는 0과 1의 이진 값을 가지는 방향성 그래프를 생성한다. 영상 패치를 이용하여 생성된 와 는 그래프 신 경망에 입력되어 Fig. 1과 같이 노드 임베딩을 수행 한 후 리드아웃 층을 거쳐 완전 연결층과 소프트맥 스 연산을 통해 분류된다. III. 실험 및 결과 3.1. 데이터 구성 및 그래프 표현 공개된 수동소나 데이터인 ShipsEar database [24] 를 이용하여 제안하는 알고리즘의 성능을 평가한다. 본 논문에서는 ShipsEar database의 11종 선박신호 중에 서 학습 데이터를 충분히 확보할 수 있는 모터보트, 여객선 등 5종의 선박 신호를 사용한다. Fig. 4는 훈련 및 평가에 사용되는 선박 신호의 대표적인 스펙트로 그램을 나타낸다. 선박은 저속 및 고속 이동에 따라 스펙트로그램의 형태가 달라지므로 이를 나누어 도 시하였다. 실험에 사용되는 데이터는 75 % 오버랩하여 4 s 길 이로 생성되었다. 각 선종 별 학습 데이터는 무작위 로 400개가 선택되고, 평가 데이터는 잔여 데이터 중 학습 데이터와 신호가 중첩되지 않도록 80개 선택된 다. Table 2는 학습 및 평가에 사용되는 선박신호의 데이터 처리를 위한 설정 값들을 보여준다. 실험에 사용되는 데이터는 1.8 kHz 표본화율을 가지며, 0.1 s 단위 시간 윈도우와 93 %의 오버랩을 적용한 스펙트 로그램으로 변환된다. 스펙트로그램은 17.18 Hz의 주 Table 1. Procedure for generating the adjacency matrix. Input: Node vectors: ⋯ Number of connection for each node: Output: Adjacency matrix: 1: Initialize as an matrix of zeros 2: for ⋯ do 3: Find nearest node vectors 4: Update indices: ⋯ 5: for ⋯ do 6: Set th element of : 7: end 8: end Fig. 4. (Color available online) Spectrograms according to ship type and operating speed. Table 2. Parameters and settings for data processing. Audio data Sampling rate1.8 kHz Signal length4 sec Window length0.1 sec Overlap ratio93 % Frequency interval17.18 Hz Input size512 × 512 Graph representation Patch size ( × ) 128 × 128 Patch overlap ratio ( ) 0.5 Number of nodes ( )49 Nearest Neighbors ( )8 Frequency range [Hz]2,250 Hz Time range [s]1 sec고건혁, 이기배, 이종현 한국음향학회지 제 43 권 제 2 호 (2024) 238 파수 빈 간 간격을 가지며, (512, 512)의 크기를 갖는 다. 본 논문에서는 2.3절에 제안된 알고리즘을 이용 하여 스펙트로그램을 방향성 그래프로 표현한다. 여 기서, 단일 패치 영상의 시간과 주파수 범위는 Table 2에 기술한 바와 같이 2,250 Hz와 1 s로 설정한다. Fig. 5는 Fig. 4의 스펙트로그램으로부터 표현된 그 래프를 보여준다. 선박의 저속 운동 시의 신호로부 터 표현된 그래프는 저주파 대역에서는 주파수 변이 가 적은 선 주파수 특성을 반영하여 시간 축 방향으 로 노드 간 연결을 갖는다. 반면, 고속으로 접근 중 관 측된 경우는 선 주파수의 기울기가 형성되어 고주파 대역의 주파수 변이에 따른 노드 간 연결을 확인할 수 있다. 3.2. 분류 모델 구현 본 절에서는 제안된 알고리즘과 함께 게이트 순환 유닛 신경망(Gated Recurrent Unit network, GRU), 합성 곱 신경망, 잔차 연결된 합성곱 신경망(Residual neural network-4, ResNet-4)을 구현한다. 구현하는 모든 네 트워크의 완전 연결 층은 128, 5개의 은닉 유닛을 갖 는 2층으로 구성되며, 소프트맥스 연산을 수행한다. 게이트 순환 유닛 네트워크는 512개의 게이트 순 환 유닛을 가지는 4층의 게이트 순환 유닛 네트워크 로 구성된다. 각 게이트 순환 유닛은 층별로 256, 128, 64, 32 길이의 벡터를 출력한다. 또한, 과적합 방지를 위해 4번째 층 이후 0.3의 드롭아웃을 수행한다. 합성곱 신경망은 64, 64, 32, 32개의 합성곱 필터, 3, 3, 2, 2의 커널 크기로 구성되는 4층의 은닉층을 갖는 다. 각 층에서는 Rectified Linear Unit(ReLU) 활성화 함수를 사용하며, 연산 이후에 배치 정규화를 수행 한다. 또한, 2개의 층마다 2의 필터 크기와 2의 스텝 크기를 갖는 Max pooling을 수행한다. 마찬가지로, 잔차 연결된 합성곱 신경망은 합성곱 신경망과 같이 4층의 은닉층으로 구성된다. 단, 두 개의 은닉층은 하나의 잔차 블록으로 구성되고, 잔차 블록의 입력 이 잔차 블록의 출력에 합성되어 다음 층으로 전달 된다. 4층의 그래프 합성곱 신경망은 256, 128, 64, 32 크 기의 임베딩된 노드 벡터를 출력한다. 이후, 각 층의 노드 벡터를 순차적으로 결합하여 SortPool을 수행 한다. 구현된 4종의 분류 모델은 AMD의 “Ryzen 5 5600X 6-Core Processor” Computing Processing Unit(CPU)과 NVIDIA으로 “Geforce RTX 3060 Ti” Graphical Pro- cessing Unit(GPU)으로 구동되었으며, 모두 동일하게 32 배치 크기, 500 Epoch 설정과 0.01 학습률의 SGD optimizer를 사용하여 학습된다. 3.3. 분류 결과 Table 3은 4종의 분류 모델에 대해 선박 종류 별로 10회 평균한 분류 정확도, 학습 파라미터 개수, 에폭 당 훈련과 추론 시간 그리고 전처리 시간을 나타낸 다. 여기서 전처리 시간은 스펙트로그램의 그래프 표현을 위해 소요 되는 시간을 의미한다. 제안하는 그래프 기반 분류 알고리즘은 기존의 방 법들과 비교하여 최소 4.45 % 높은 92.50 %의 우수한 정확도를 보여준다. 또한, 비교 모델들에 비해 최소 30.7 % 적은 학습 파라미터를 가지며, 단일 에폭의 훈 련 시간은 5.6 s, 추론 시간은 0.017 s로 가장 적은 시간 이 소요된다. 이는 제안된 알고리즘으로 표현된 그 래프가 유의미한 지역 및 전역적인 연결을 포함하기 에 그래프 신경망이 이를 활용하여 적은 연산량으로 Fig. 5. (Color available online) Represented graphs from spectrograms.영상 패치 기반 그래프 신경망을 이용한 수동소나 신호분류 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 239 효율적인 특징 추출이 가능하다는 것을 보여준다. 하지만, 훈련과 추론 시 단일 데이터의 그래프 표현 을 위해 0.011 s의 추가적인 전처리 시간이 요구된다. 이러한 추가적인 전처리 시간에도 불구하고, 제안하 는 그래프 기반 분류 알고리즘은 비교 모델들에 비 해 최소 23 % 적은 시간으로 추론을 수행한다. Fig. 6는 분류 알고리즘에 따른 대표적인 혼동 행 렬을 보여준다. Fig. 6에서 기존의 분류 알고리즘들 은 최소 2종의 선박에서 10개 이상의 오분류를 갖는 것을 확인할 수 있다. 반면에, 그래프 기반 분류 알고 리즘은 모든 선종에서 8개 이하의 오분류를 갖는다. 추가적으로, Fig. 7은 완전 연결 층의 출력 벡터에 대 한 t-SNE plot을 보여준다. 여기서, 기존 알고리즘들 에 비해 그래프 기반 분류 알고리즘에서 높은 변별 력을 갖는 것을 확인할 수 있다. 특히, 잔차 연결된 합 성곱 신경망에서 군집되지 않는 신호들이 제안된 알 고리즘에서는 군집화되어 표현된다. Table 3. Accuracy in %, number of parameters (# parameters), training time, inference time and pre- processing time for classification algorithms evaluated by ShipsEar dataset. Ship typeGRUCNNResNet-4GCN Motor boat Mussel boat Ocean liner Passengers RORO ship 70.25 89.25 72.75 75.25 84.00 77.75 89.50 87.25 78.75 88.50 82.75 90.50 90.25 85.50 91.25 90.00 89.50 94.75 93.75 94.50 Total accuracy (%) 78.384.3588.0592.50 # Parameters (mega) 6.514.525.64.5 Training time (s) 8.127.117.785.60 Inference time (s) 0.2190.0360.1170.017 Preprocessing time (s) ---0.011 (a)(b) (c)(d) Fig. 6. (Color available online) Confusion matrices. (a) GRU, (b) CNN, (c) ResNet-4, (d) GCN.Next >