< Previous배근영, 강주환, 홍정표 한국음향학회지 제 43 권 제 2 호 (2024) 220 전트가 사용하는 학습 알고리즘을 나타낸다. External Communicator를 통해 Unity 환경과 Python API 간의 통신이 이루어지며 에이전트를 훈련하고 테스트할 수 있는 강화학습 시스템을 제공한다. 4.2 실험 가정 보다 현실적인 실험을 위해선 소노부이의 탐지 성 능 및 다양한 해양 환경 등을 고려해야 한다. 그러나 이는 많은 변수들과 불확실성을 고려해야 하므로 매 우 복잡한 일이다. 이에 따라 본 실험에서는 단순한 가정을 통하여 실험을 진행하였다. 무인항공기 및 수중 표적은 2차원으로의 이동만 고려한다. 앞·뒤, 좌·우로의 이동은 가능하나, 상·하 이동은 배제하였다. 수중 표적의 경우, Fig. 6에서 수 상으로 떠오른 것으로 나타나지만 실제 실험에서는 잠항했을 때의 경우만 존재하며, 수심에 대한 정보 는 고려하지 않는다. 본 연구에서는 Cassini Oval을 적 용하여 탐지 범위를 나타낸다. Eq. (1)에서 타원형의 형태를 조절하는 파라미터 b는 소나 방정식에 따라 결정되는데, 적용되는 소나 방정식 내 성능지수는 Table 2와 같이 정의하였다. 신호와 수중 표적 간의 각도에 따라 표적 강도가 달라지므로, Reference [12] 에서와 같이 선수와 선미, 선포, 그리고 그 사이 중간 각도에 따라 표적 강도를 달리하고, 그 외 성능지수 는 고정한 값으로 두어 실험하였다. 소노부이의 탐 지 확률 및 탐지 범위 또한 2차원으로만 고려되며, Exponential 탐지 확률 계산 방식을 통해 단순화하였 다. Eq. (4)에서 산출된 탐지 확률이 0.5 이상인 지점 을 탐지가 가능한 영역으로 간주하고, 해당 영역에 수중 표적이 존재할 시 수중 표적은 탐지되었다고 간주한다. [6] 이동 속력은 무인항공기는 100 kts로 일정하게 설 정한다. 수중 표적의 경우 평상시에는 7 kts로 순항 하다, 표적의 200 m 내에 소노부이 투하 시에는 회피 기동하여 일정 시간 동안 22 kts로 기동하도록 하였 다. 또한 수중 표적의 일정 방위각 내에 소노부이가 투하되었다면 반대 방향으로 침로를 변경하도록 하 였다. 다중상태 시스템에서 주로 운용되는 AN/SSQ-125 (source) 모델과 AN/SSQ-101(receiver) 모델의 경우 음 원의 비용이 약 20 % 가량 더 비싸다는 것을 고려하 여, Eq. (8)의 소노부이 비용에 대한 가중치를 λ = 0.6, = 0.5로 설정하였다. [14] 또한 Eq. (6)에서 무인항공 기의 최대 이동 범위 max 를 600 m로 설정한다. 무인 항공기의 속력을 약 100 kts로 가정하고, 이를 통해 다음 투하 지점까지의 이동 시간인 는 0 ~ 12 사이 의 값을 가지게 된다. 또한 탐지 성공의 기준을 소노 부이 투하 시마다 탐지 여부를 측정하여, 3번 이상 수 중 표적이 탐지될 시 성공으로 간주한다. Multi-Static 시스템의 경우 음원과 수신기가 각각 한 개씩은 있 어야 탐지가 가능하므로, Eq. (7)에서 최소 소노부이 투하 개수 min 은 4가 된다. 4.3 학습 본 실험에서는 PPO 알고리즘을 사용한다. PPO는 정책 최적화 기반의 강화학습 알고리즘으로, Eq. (10) 과 같이 나타낼 수 있다. 최적의 정책 θ 를 구하기 위 해 새로운 정책과 이전 정책 간의 비율 을 사용하 여 정책 업데이트를 수행하며, 이를 통해 안정적인 학습을 추구한다. 클리핑 파라미터 ε 를 통해 이 비율 을 특정 범위 내로 제한하여 너무 큰 변화를 방지하 Fig. 7. (Color available online) Operation principles of Unity ML-Agents. Table 2. Sonar equation parameters. ParametersValues SL (dB)156 NL (dB)65 TS (dB) Bow/Stern5 Intermediate8 Beam10 DI (dB)3 DT (dB)0표적의 이동을 고려한 강화학습 기반 무인항공기의 소노부이 최적 배치 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 221 고, 안정적이면서도 적절한 정책의 업데이트를 수행 한다. 클리핑 이전과 이후의 비율을 어드밴티지 와 곱하여, 두 값 중 작은 것을 선택하여 클리핑이 적 용된 PPO의 손실함수를 정의한다. 학습에 사용된 PPO 알고리즘의 하이퍼 파라미터는 Table 3과 같다. min .(10) 3.1장에서 설명한 보상 함수로 3.2장에서의 에피 소드의 진행 방식에 따라 학습을 진행하였다. 총 200 만 step만큼 학습하였으며, Fig. 8(a)은 에피소드 평균 보상 그래프이다. 보이는 바와 같이 학습 초기에서 는 많은 실패로 및 무분별한 소노부이 투하로 인해 낮은 보상 값을 띄고 있다. 그러나 이후 급격히 평균 보상이 상승하고, 점차 증가하여 약 3 정도에서 수렴 한다. Fig. 8(b)의 에피소드 평균 step 수 또한 학습 초 반에 비해 크게 감소하여 점차 수렴하게 되므로 에 피소드 소요 시간이 단축되었음을 알 수 있다. 따라 서 무인항공기가 최적 배치 요건에 따라 학습이 성 공적으로 이루어졌음을 알 수 있다. 4.4 실험 결과 본 실험에서는 강화학습을 적용한 소노부이 배치 방식의 우수성을 검증하기 위해, 격자 패턴과 유전 알고리즘을 적용한 방법과의 실험 결과에 대한 비교 를 진행한다. 먼저 격자 패턴은 2장에서 설명한 이전 연구에서 의 square grid 패턴을 사용하여 본 실험의 작전 해역 에 투하되도록 적용하였다. 이는 특정 지점에서 첫 접촉되어, 에피소드 초기 해당 지점으로 이동하는 강화학습의 에피소드 진행 방식과 달리, 정해진 배 치 패턴을 순차적으로 투하하도록 하여 에피소드가 진행된다. 그 외 실험 조건에 있어서는 강화학습을 적용한 방식과 동일하며, 1,000번의 에피소드를 진 행하여 에피소드마다 소노부이 투하 개수 및 소요 시간, 탐지 성공 여부를 측정한다. Figs. 9와 10은 실 험 결과이다. 성공률은 61 %를 기록했으며, 평균 소 노부이 투하 개수는 15.5개, 평균 소요 시간은 125.3 s 였다. 유전 알고리즘은 2장에서 설명한 관련 연구와 동 일한 방법으로, 한 세대 당 30개의 개체로 100세대에 걸쳐 수행하였다. 이를 통해 생성된 배치 패턴을 본 실험의 작전 해역에 투하되도록 적용하였다. 이 또 한 격자 패턴을 적용한 방법과 같은 조건으로 실험 하고, 1,000번의 에피소드를 진행한다. Figs. 11과 12 는 실험 결과이다. 성공률은 69.9 %를 기록했으며, 평균 소노부이 투하 개수는 10.2개, 평균 소요 시간은 78.1 s였다. Table 3. State and action vectors of UAVs. ParameterDescriptionValue EpsilonClipping parameter0.2 LambdaDepreciation rate0.95 BetaCoefficient of entropy bonus0.01 Batch sizeBatch size of sample64 Buffer sizeSize of replay buffer2048 Num epoch Number of updates performed for each batch 3 Hidden units The hidden layer size of the policy neural network 256 Max steps Maximum number of steps in a learning episode 2000000 (a) Reward graph by episode (b) Episode length graph by episode Fig. 8. (Color available online) Results of learning.배근영, 강주환, 홍정표 한국음향학회지 제 43 권 제 2 호 (2024) 222 Fig. 9. (Color available online) Number of sonobuoy drops for each episode of deployment with grid pattern. Fig. 10. (Color available online) Time required for each episode of deployment with grid pattern. Fig. 11. (Color available online) Number of sonobuoy drops for each episode of deployment with genetic algorithm. Fig. 12. (Color available online) Time required for each episode of deployment with genetic algorithm. Fig. 13. (Color available online) Number of sonobuoy drops for each episode of deployment with reinforce- ment learning. Fig. 14. (Color available online) Time required for each episode of deployment with reinforcement learning.표적의 이동을 고려한 강화학습 기반 무인항공기의 소노부이 최적 배치 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 223 마지막으로, 본 논문에서 제안하는 강화학습을 적 용한 배치 방식에서는 학습이 완료된 모델을 통해 학습과 동일한 에피소드 진행 방식에 따라 실험을 진행하였다. 1,000번의 에피소드를 진행한다. Figs. 13과 14는 실험 결과이다. 성공률은 94.8 %를 기록했 으며, 평균 소노부이 투하 개수는 6.9개, 평균 소요 시 간은 52.3 s였다. 위 실험의 결과를 아래 Table 4로 정리하였다. 탐지 성공률, 평균 소노부이 투하 개수, 에피소드 평균 소 요 시간에 대해 강화학습을 적용한 배치 방식이 타 배치 방식과 비교하여, 가장 우수한 성능을 보였다. 그다음으로는 유전 알고리즘이 우수했다. V. 결 론 본 논문에서는 최소한의 소노부이로 최단 시간 내 에 수중 표적을 탐지하는 것을 최적 배치의 요건으 로 하였다. 이를 위해 수중 표적의 기동을 고려한 시 뮬레이션 환경에서 강화학습을 도입하고, 최적 배치 를 위한 보상 함수를 제안하였다. 제안한 방법이 타 배치 방식과 비교했을 때 월등히 우수한 성능을 보 였다. 이는 예측 불가능한 수중 표적의 기동에 대해 서도 높은 탐지 성공률 및 효율적인 운용이 가능하 므로, 강화학습을 적용한 소노부이 배치에 대한 충 분한 활용 가능성을 확인할 수 있었다. 그러나 무인항공기 및 수중 표적의 이동을 2차원 상에서만 고려하였으며, 실험 환경에서는 소노부이 의 탐지 성능 및 다양한 해양 환경 등의 객관적 정보 를 반영하지 않았다. 비록 실험에서 많은 고려 사항 을 단순화하였으나, 본 논문에서 얻은 결과를 더 현 실적이고 복잡한 실험 환경에서 검증하고 확장하기 위한 연구를 진행할 예정이다. 무인항공기 및 수중 표적의 3차원 이동과 함께 객관적인 정보를 고려한 실험을 수행함으로써, 다양한 상황과 조건에서 최적 의 배치를 달성하는 데 있어 높은 성과를 낼 것으로 기대된다. 감사의 글 이 논문은 2024년도 국방기술품질원의 재원으로 방산혁신클러스터의 지원을 받아 수행된 연구 일부 임(DCL2020L, 2020년 방산혁신클러스터 방산 소재 부품연구실 사업). References 1.K. Iqbal, M. Zhang, S. Piao, and H. Ge, “Evolution of sonobuoy through history & its applications: A survey,” Proc. IEEE IBCAST, 543-554 (2020). 2.C. Gilliam, B. Ristic, D. Angley, S. Suvorova, B. Moran, F. Fletcher, H. Gaetjens, and S. Simakov, “Scheduling of multistatic sonobuoy fields using multi- objective optimization,” Proc. IEEE ICASSP, 3206- 3210 (2018). 3.S. Simakov, “Localization in airborne multistatic sonars,” IEEE J. Ocean. Eng. 33, 278-288 (2008). 4.U. G. Kim and E. J. Kim, “The optimal sonobuoy deployment method using ASW tactics of US Navy” (in Korean), Proc. International Smart Navy Conference, 1-3 (2019). 5.S. Ozols and M. P. Fewell, “On the design of multi- static sonobuoy fields for area search,” DSTO-TR- 2563, Defence Science and Technology Organisation, Tec. Rep., 2011. 6.E. J. Yun, Optimal deployment of multi-static sono- buoys in fixed-wing aircraft using genetic algorithm (in Korean), (Master. thesis, Hanyang University, 2022). 7.J. I. Kim and M. S. Han, “Research on optimal deployment for autonomous aerial vehicles using virtual environment and DDPG algorithm” (in Korean), JKIIECT 22-4, 15, 152-163 (2022). 8.L. P. Kaelbling, M. L. Littman, and A. W. Moore, “Reinforcement learning: A survey,” JAIR. 4, 237-285 (1996). 9.C. M. Taylor, S. Maskell, A. Narykov, and J. F. Ralph, “Joint optimization of sonar waveform selection and sonobuoy placement,” Proc. IEEE SSPD, 1-5 (2023). 10.C. M. Taylor, S. Maskell, and J. F. Ralph, “Using hybrid multiobjective machine learning to optimise sonobuoy placement patterns,” IET Radar, Sonar & Navigation, 17, 374-387 (2023). Table 4. Summary of the experimental results. Grid [5] GA [6] RL Success rate (%)61.069.994.8 Average number of drops15.510.26.9 Average time required (s)125.378.152.3배근영, 강주환, 홍정표 한국음향학회지 제 43 권 제 2 호 (2024) 224 11.J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” arXiv preprint arXiv:1707.06347 (2017). 12.A. Avcioglu, A. Bereketli, and O. F. Bay, “Three di- mensional volume coverage in multistatic sonar sensor networks,” IEEE Access, 10, 123560-123578 (2022). 13.M. P. Fewell and S. Ozols, “Simple detection-per- formance analysis of multistatic sonar for anti-sub- marine warfare,” Australian Government Department of Defence, Tech. Rep., 2011. 14.US Navy, “Department of defense Fiscal Year (FY) 2019 budget estimates”, Defense-Wide Justification Book Vol. 3 of 5, Tech. Rep., 2018. 저자 약력 ▸배 근 영 (GeunYoung Bae) 2023년 8월 : 창원대학교 정보통신공학과 학사 2023년 9월 ~ 현재 : 창원대학교 정보통신 공학과 석사 ▸강 주 환 (Ju Hwan Kang) 2013년 2월 : 한국과학기술원 전기및전자 공학과 학사 2013년 2월 ~ 2016년 7월 : 현대중공업 조 선사업부 2016년 8월 ~ 현재 : 국방기술품질원 선임 연구원 ▸홍 정 표 (Jungpyo Hong) 2006년 : 한국과학기술원 정보통신공학과 학사 2016년 : 한국과학기술원 전기및전자공학 부 박사 2016년 ~ 2020년 : 국방과학연구소 선임 연구원 2020년 ~ 현재 : 창원대학교 정보통신공 학과 조교수소수 불균형 데이터의 심층학습을 통한 능동소나 다층처리기의 표적 인식성 개선 Improving target recognition of active sonar multi-layer processor through deep learning of a small amounts of imbalanced data 류영우, 1,2 김정구 2† (Young-Woo Ryu 1,2 and Jeong-Goo Kim 2† ) 1 국방과학연구소, 2 부산대학교 (Received January 23, 2024; revised March 12, 2024; accepted March 14, 2024) 초 록: 능동소나는 은밀하게 기동하는 수중 물체를 탐지하기 위해 음파를 송신하여 표적에서 반사되어 돌아오는 신호를 탐지한다. 그러나 능동소나의 수신 신호에는 표적의 반향음 외에도 해저면/해수면의 잔향, 생물 소음 및 기타 잡음 등이 섞여 있어 표적 인식을 어렵게 한다. 기존의 문턱값 이상의 신호를 탐지하는 기법은 설정한 문턱값에 따라 오탐지가 발생하거나 표적을 놓치는 경우가 발생할 뿐 아니라 다양한 수중환경마다 적절한 문턱값을 설정해야하는 문제가 있다. 이를 극복하기 위해 Constant False Alarm Rate(CFAR) 등의 기법을 이용한 문턱값의 자동산출과 진보 된 형태의 추적 필터 및 연계 기법을 적용한 연구가 수행되었지만, 상당수의 탐지가 발생하는 환경에서는 그 한계가 있다. 최근 심층학습 기술이 발달함에 따라 수중 표적 탐지분야에도 이를 적용하기 위한 노력이 있었으나, 분류기 학습 을 위한 능동소나 데이터의 획득이 매우 어려워 데이터가 희소할 뿐 아니라, 극소수의 표적과 상대적 다수의 비표적으 로 인한 데이터의 불균형성으로 어려움이 있다. 본 논문에서는 탐지 신호의 에너지 분포 영상을 이용하되, 데이터의 불균형성을 고려한 방식으로 분류기를 학습하여 표적과 비표적을 구분하는 기법을 기존 소나처리 기법에 추가하여 표적의 오분류를 최소화하면서 비표적을 제거하여 능동소나 운용자의 표적 인식을 용이하게 하였다. 그리고 동해에서 수행한 해상실험에서 획득한 능동소나 데이터를 통해 제안 기법의 유효성을 검증하였다. 핵심용어: 능동 소나, 표적/비표적 구분, 심층 학습, 표적 인식 ABSTRACT: Active sonar transmits sound waves to detect covertly maneuvering underwater objects and detects the signals reflected back from the target. However, in addition to the target's echo, the active sonar's received signal is mixed with seafloor, sea surface reverberation, biological noise, and other noise, making target recognition difficult. Conventional techniques for detecting signals above a threshold not only cause false detections or miss targets depending on the set threshold, but also have the problem of having to set an appropriate threshold for various underwater environments. To overcome this, research has been conducted on automatic calculation of threshold values through techniques such as Constant False Alarm Rate (CFAR) and application of advanced tracking filters and association techniques, but there are limitations in environments where a significant number of detections occur. As deep learning technology has recently developed, efforts have been made to apply it in the field of underwater target detection, but it is very difficult to acquire active sonar data for discriminator learning, so not only is the data rare, but there are only a very small number of targets and a relatively large number of non-targets. There are difficulties due to the imbalance of data. In this paper, the image of the energy distribution of the detection signal is used, and a classifier is learned in a way that takes into account the imbalance of the data to distinguish between targets and non-targets and added to the existing technique. Through the proposed technique, target misclassification was minimized and non-targets were eliminated, making target recognition easier for active sonar operators. And the effectiveness of the proposed technique was verified through sea experiment data obtained in the East Sea. Keywords: Active sonar, Target/non-target discrimination, Deep learning, Target recognition PACS numbers: 43.30.Vh, 43.60.Bf 한국음향학회지 제43권 제2호 pp. 225～233 (2024) The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) https://doi.org/10.7776/ASK.2024.43.2.225 pISSN : 1225-4428 eISSN : 2287-3775 †Corresponding author: Jeong-Goo Kim (kimjg@pusan.ac.kr) School of Computer Science and Engineering, 2, Busandaehak-ro 63beon-gil, Geumjeong-gu, 46241 Busan, Republic of Korea (Tel: 82-51-510-3733, Fax: 82-51-515-2208) Copyrightⓒ2024 The Acoustical Society of Korea. This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. 225류영우, 김정구 한국음향학회지 제 43 권 제 2 호 (2024) 226 I. 서 론 능동소나는 수중에서 은밀하게 기동하는 물체를 탐지하기 위해 음파를 송신하여 표적에서 반사되어 돌아오는 신호를 탐지한다. 그러나 수신된 신호에는 표적의 반향음 외에도 해저면/해수면에서 반사되는 잔향음, 생물 소음 및 기타 잡음이 포함되어 있어 표 적인식을 어렵게 한다. 수백 kHz의 고주파 음파를 송신하여 고해상도 영 상을 획득하여 해저면 탐사, 근거리 소형물체 탐색 을 수행하는 측면주사소나와 달리, 수 kHz의 음파를 이용하여 수 km의 표적을 탐지하는 중주파수 소나 는 획득되는 영상의 방위-거리 해상도가 낮을 뿐 아 니라, Fig. 1과 같이 방위-거리 전시화면에서 백색으 로 표시된 표적 외의 수많은 신호들이 탐지되어 이 들 중에서 표적을 구분하는 일이 매우 어렵다. 기존의 능동소나는 운용자가 설정한 문턱값 이상 의 신호를 탐지한다. [1,2] 계절, 해역, 해상교통량 등 시- 공간에 따라 변하는 다양한 환경에서 적절한 문턱값 을 설정하는 것은 매우 어려우며, 이는 표적의 미탐 지 혹은 다수의 오탐지로 이어져, 소나 운용자가 표 적을 인식하기 어렵게 한다. 이를 극복하기 위해 다 수 오탐지 발생 환경에서 오경보율을 예측하는 연 구, [3] 다수 표적 및 비균질 환경에서 탐지의 밀도를 고려하여 문턱값을 설정하는 Constant False Alarm Rate(CFAR) 연구 [4,5] 가 수행되었다. 또한 시-공간적 으로 불규칙적으로 발생하는 잡음 탐지를 배제하고 표적을 추적하기 위한 추적 필터 및 자료결합 연 구, [6,7] 허프 변환을 이용한 클러터 제거 연구, [8] 군집 화 기반의 클러터 제거기법 [9] 등의 연구가 수행되었 으나 표적과 비표적의 불균형성으로 상당수의 오탐 지가 발생하는 환경에서는 그 한계가 존재한다. 본 논문에서는 탐지 신호의 방위-거리 에너지 분 포 영상을 데이터의 불균형성을 고려한 방식으로 분 류기를 학습하여 표적과 비표적을 구분하고 추적 기 법을 적용함으로써, 표적의 오구분을 최소화하고 비 표적을 제거하여 능동소나 운용자의 표적 인식을 용 이하게 하였다 영상 기반의 식별에 널리 사용되는 심층학습의 합 성곱신경망 기법을 적용한 분류기의 학습을 위해 탐 지 데이터의 에너지 분포를 영상화하였다. 표적과 약 200배 ~ 300배의 비표적으로 구성된 데이터의 불 균형을 고려하여 서로 다른 비표적 데이터를 이용하 여 학습한 200개의 분류기의 정확도를 산출하고, 우 수한 분류기를 선정하여 기존의 다층 처리 구조에 적용하였다. I장 서론에 이어 II장에서는 기존의 문턱값 기반의 표적 탐지 및 추적 기법의 한계에 대해 기술하였다. III장에서는 제안한 탐지 신호의 에너지 분포 영상과 불균형 데이터를 이용한 심층학습 기반의 표적/비 표적 구분과 추적 기법의 연계에 대해, IV장에서는 실제 동해에서 획득한 해상실험 데이터를 이용한 성 능검증 결과를 제시하였다. 그리고 V장에서 결론을 맺는다. II. 문턱값 기반 표적 탐지 기법 능동소나는 음파를 송신 후 반향음이 돌아오는 시 간 정보를 이용하여 표적 거리를 파악한다. 표적 탐 지를 용이하게 하기 위해 고출력 송신과 수신시의 지향 이득을 높이기 위해 주로 수십 개의 센서로 구 성된 원형 부배열, 그 부배열 여러 개가 수직으로 적 층된 원통형의 배열소나를 이용한다. 배열소나에서 송신하여 표적 및 수중환경에서 반 향되는 수신신호의 능동소나 다층처리는 Fig. 2와 같 이 크게 탐지와 표적관리로 나눌 수 있다. 먼저 탐지는 전처리, 빔형성, 정합처리, 규준화를 거쳐 문턱값을 이용하여 탐지결과를 생성한다. 이득보상과 같은 전처리를 거친 센서 신호는 Eq. Fig. 1. (Color available online) Detection display of active sonar.소수 불균형 데이터의 심층학습을 통한 능동소나 다층처리기의 표적 인식성 개선 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 227 (1)과 같이 시간영역에서의 지연합 빔형성기를 통해 전 방위 360°에 대한 고해상도 지향빔 출력 를 생성 한다. 이 때 부엽 방위 등 타 방위에서 수신되는 간섭 신호를 배제하기 위한 가중치를 적용한다. × ∆ ,(1) 여기서 은 j번째 지향방위의 n번째 출력, i는 센 서 번호, M은 빔형성에 사용되는 센서의 개수, 는 부엽억제를 위해 센서에 적용하는 가중치, 은 i 번째 센서의 n번째 신호, ∆ 는 j번 빔의 i번 센서의 시간지연 표본수이다. 빔형성기 출력에 대해 신호처리 이득을 얻기 위해 Eq. (2)와 같이 지향빔 출력 와 송신펄스 의 능동 신호처리을 통해 방위별 능동소나 탐지 데이터 를 생성한다. .(2) 는 j번째 지향방위의 k번째 출력, n은 입력 데이 터의 표본으로 과 는 정합처리에 사용되는 샘플 의 시작과 끝에 해당한다. 또한 능동신호처리에서는 능동소나 탐지 데이터 를 주변 영역의 평균 잡음을 추정하여 나눔으로써 방위-거리별 규준화된 탐지 데이터를 산출 후, log scale로 변환하여 Fig. 1과 같이 전시하여 결과를 제시 한다. 다음으로 표적관리부에서는 생성된 탐지 결과를 이용하여 추적 및 연관, 궤적관리를 수행하여 순간 적인 탐지결과를 배제하고, 시간적으로 지속 유지되 는 궤적만을 남긴다. 능동소나의 탐지 결과에는 표적 외에도 다양한 반 향음이 포함되어 있어 상당수의 비표적 탐지가 존재 한다. 이처럼 환경에서 극히 소수의 표적을 인식하기 위해 여러 번 핑을 송신하여 연속적으로 발생하는 탐 지 데이터를 연계하여 표적 궤적을 생성 및 관리함으 로써 단기간에 사라지는 비표적 궤적과의 차별화하 여 운용자에게 소수의 표적 후보를 제시하는 것이다. 실제 해상실험에서 획득한 능동소나 탐지자료 (Fig. 1)는 소나 탑재 함정을 중심으로 거리 10 km까 지 해당되는 영역의 자료로 세로축 128개 방위, 가로 축 약 3,100개의 거리 출력으로 구성된 2차원 데이터 를 나타낸 것이다. 이 탐지 자료에서 방위축으로 7 pixel, 거리축으로 11 pixel 크기의 추출 창을 이용하 여 첨두값을 추출하는데 표적 외에도 상당한 비표적 의 탐지가 발생한다. 예를 들어 Fig. 3에서는 탐지자 료(약 40만 pixel)에서 1 %에 가까운 3,450개가 첨두 치로 추출되고, 탐지결과 생성에 일반적으로 사용되 는 문턱값(6 dB)을 적용하였을 때, 519개의 탐지 데이 터가 발생하였는데 이를 적색 십자 마크로 나타내었 다. 실험에 동원된 실제 수중 표적은 검정색 박스로 표시한 하나이며, 나머지는 비표적 탐지이다. Fig. 2. (Color available online) Conventional active SONAR multi-layer processing. Fig. 3. (Color available online) Target detection result with threshold (ex).류영우, 김정구 한국음향학회지 제 43 권 제 2 호 (2024) 228 III. 심층학습을 통한 분류기의 학습과 능동소나 다층 처리기의 개선 최근 영상처리 분야에서 인공지능 기술을 통한 탐 지, 분류, 세분화 성능이 획기적으로 향상되면서, 능 동소나에서도 표적과 비표적의 특징 차이를 분석하 여 기계학습을 통해 표적과 비표적을 구분하는 연구 가 수행되었다. [10-12] 탐지자료의 중심과 거리에 따라 영역을 세분화하 여 그 에너지 크기와 비율을 특징 정보로 하여 구분 하는 접근법으로 비표적 탐지 결과를 상당 수 제거 하여 추적의 입력을 줄여 궤적의 난립을 억제하는 연구 또한 수행되었다. [13] 본 연구에서는 표적과 비표적의 방위-거리 에너 지 분포 영상을 이용한 심층학습 분류기를 추가하여 Fig. 4와 같이 능동소나 다층 처리기를 개선하였다. 탐지 데이터를 심층학습을 위한 입력으로 사용하 기 위해, 6 dB ~ 48 dB 범위의 탐지 결과를 0 ~ 255의 값 을 갖는 8비트 영상으로 변환하였다. Fig. 5에서 표적 영상의 에너지 분포 형상에서 방위(세로축)는 센서 배열의 방위지향 특성에 따라, 거리(가로축) 는 송신 펄스와 수신 신호의 정합기 출력에 따르나, 비표적 의 경우는 탐지 자료의 중심에만 에너지가 분포하거 나, 센서 배열의 방위지향특성 및 정합처리기의 거 리 출력과 무관하게 나타난다. 방위-거리 에너지 분포 영상을 이용한 지도학습 기반 표적/비표적 분류기의 구현을 위해 동해상에 서 수행한 해상실험을 통해 획득한 220 핑의 데이터 에 문턱값을 적용하여 탐지 데이터를 추출하였으며, 실험 일지 및 GPS 로그 분석 등을 통해 수동으로 220 개의 표적과 약 4.4만개의 비표적으로 구분하였다. 각 탐지 데이터의 에너지 분포를 영상화하기 위한 창의 크기는 센서 배열의 방위지향특성과 송신 펄스 길이를 고려하여, 방위 15 픽셀, 거리 25픽셀로 설정 하였으며, 심층학습을 위한 입력 데이터를 학습용 50 %, 검증용 25 %, 평가용 25 %로 나눠 분류기를 훈 련, 검증 후, 평가 데이터를 이용하여 그 성능을 분석 하였다. 표적/비표적 분류기의 학습은 Fig. 6. 과 같이 input- [convolution/ReLU/pooling]-[convolution/ReLU/pooling] -[affine/ReLU/Softmax]-output의 11개 층을 갖는 합성 곱 신경망(CNN)을 이용하였으며, 비용함수는 softmax, 최초 학습률은 0.001, 최적화 방식은 Adam, 학습 횟 수는 100 epochs로 설정하였다. 앞서 언급한 바와 같이 실험 데이터는 소수의 표 적과 약 200배의 비표적으로 구성된 불균형 데이터 이며, 각각의 주변잡음 대비 신호 크기의 비율[이후 Signal to Noise Ratio(SNR)]에 따른 분포비를 Fig. 7에 나타내었다. 표적과 비표적의 누적분포함수를 Fig. 8에 나타내 었으며, 비표적의 높은 SNR 기준을 누적분포 75 % 인 13 dB 이상, 표적의 낮은 SNR 기준을 누적분포 25 % 인 28 dB 이하로 설정하였다. 해당 구간에서는 표적 과 비표적이 혼재되어 분포함을 확인할 수 있다. 이처럼 표적 대비 200배 이상의 비표적 데이터를 고려한 분류기의 학습 시, 불균형 데이터를 그대로 Fig. 4. (Color available online) Enhanced multi-layer processor with classification. (a) (b) Fig. 5. Echo shape examples, (a) non-targets (b) targets.소수 불균형 데이터의 심층학습을 통한 능동소나 다층처리기의 표적 인식성 개선 The Journal of the Acoustical Society of Korea Vol.43, No.2 (2024) 229 이용하거나 표적과 동일한 수의 비표적을 이용한 학 습은 불가하므로 비표적의 수를 표적의 수와 동일하 게 설정하여 200개 세트로 분할하여 순차적으로 학 습하였다. 또한 훈련/검증/평가에 사용할 표적과 각 비표적 데이터 세트의 SNR을 고르게 분포시키기 위해, Table 1과 같이 설정하여 학습을 수행하였다. 학습된 200개의 분류기 중 추적과 연계할 분류기 선정을 위해 표적의 오분류율과 비표적 제거율의 가 중합을 이용하였다. 본 연구는 표적의 오분류 최소 화에 중점을 두면서, 비표적을 제거하는 것이 목표 이므로 가중치는 각각 0.75와 0.25로 설정하였다. 선정된 분류기를 통해 각 핑에서 비표적 탐지자료 를 배제 후, 연속되는 핑에서 표적궤적 관리를 수행 하였다. 비표적 탐지 특징인 불규칙성으로 인한 궤 적 미생성과 단기 유지로 연속적인 궤적의 수가 한 정됨으로써, 운용자의 표적 인식성을 개선하였다. 추적 필터로는 칼만 필터(Kalman Filter)를 적용하였 으며, 상태 변수로는 방위, 방위변화율, 거리, 거리변 화율을 이용하였다. 핑 간의 연계기법은 최근접 연 계를 이용하였으며, 연계/미연계에 따른 궤적 신뢰 도를 통해 신규 궤적의 생성과 삭제를 수행하였다. IV. 성능분석 3장에서 소수 불균형 데이터에 적합한 분류기를 학습하여 능동소나의 다층처리 구조에 추가하였으 며 연구 목표인 표적 인식성의 향상을 검증을 위해 Fig. 6. Deep Learning network for classification. Fig. 7. (Color available online) SNR distribution of target and non-target. Fig. 8. (Color available online) CDF of target and non-target SNR. Table 1. SNR of Data set for training/validation/test. TrainingValidationTest High12.5 %6.25 %6.25 % Medium25 %12.5 %12.5 % Low12.5 %6.25 %6.25 % Sum50 %25 %25 %Next >