< Previous8 자연,터널 그리고 지하공간 현재는 기본 자격만 갖추어지면 일정기간 교육을 수료하고 유지관리를 할 수 있는 자격이 주어지고 있다. 터널의 설계 및 건설의 경험이 없는 기술자에게 터널의 유지관리를 수행할 수 있는 가능성을 열어준 것으 로 생각된다. 터널의 설계 및 건설에 대한 실무 경험이 있는 기술자들이 터널의 유지관리를 수행한다면 좀 더 탄탄하고 건실한 유지관리가 수행될 것으로 판단된다. 우리학회는 터널 설계 및 건설 분야에만 집중되 었다고 해도 과언이 아닐 것이다. 현재 유지관리 분야는 타 학회가 주도적인 위치를 선점하여 활동하고 있 다. 그동안 축적된 터널 설계 및 건설기술을 기반으로 유지관리가 수행된다면 터널 시설물의 안전성 확보 및 수명연장 가능성이 더욱 더 높아질 것으로 생각한다. 인간은 항상 다양하게 변화하는 미래를 생각하고 미래를 대비하고 있다. 우리학회 뿐 만 아니라 회원 각 개인도 미래에 대하여 대비하고 준비하여야 할 것이다. 현재에 안주한다면 다가오는 미래에서 생존할 수 없을 것이다. 우리선배님들이 터널 기술 발전과 향상을 위하여 꾸준히 노력하였듯이 학회 및 회원 분들도 터널 및 지하공간 분야에서 최고로 자림매김하기 위하여 도전하고 매진하여야 할 것이다. 한국터널지하공간학회 특임부회장(교육) 한국건설기술연구원 선임연구위원 김 동 규Vol. 25, No. 4 9 1. 서 론 SOC 디지털화는 향후 4차산업 기반의 인프라 디지털 관리체계 구축의 핵심적 과제로, 2020년부터 국가적으로 추진 이 되고 있다. SOC 디지털화의 항목 중 핵심 기술로 디지털 트윈을 뽑을 수 있으며, 디지털 트윈을 구축하면 가상환경 상에서 현실 구조물과 동일한 형상 데이터를 기반으로 다양한 SOC의 디지털 정보를 결합하여 체계적인 정보의 관리 및 다양한 의사결정이 가능하다. 디지털 트윈 기술은 일반적으로 BIM(Building Information Modeling) 기술을 활용하여 구조물을 3D로 모델링하게 된다. 현재는 건축분야뿐만 아니라 SOC 분야에서도 BIM의 적용이 의무화되고 있으며, 철도분야에서 새롭게 발주되는 사업에서도 BIM의 적용이 증가하고 있다. 신규발주되는 사업의 경우에는 BIM 적용을 통해 프로젝트 수행 중 3D 모델 생성이 가능하며, 준공 시 디지털 트윈의 구축이 용이하다. 디지털 트윈의 구축과 활용 기술이 점진적으로 정착하게 되 면, 구축된 SOC 디지털 트윈 모델을 기반으로 구조물의 유지관리를 진행하게 될 것이며, 향후에는 SOC의 운영기관에서 전사적 시스템이 디지털 트윈 기반으로 바뀌게 될 것으로 예상된다. 디지털 트윈 기반으로 SOC 관리를 하게 될 때, 가장 큰 문제 중 하나는 기존 건설된 구조물을 양질의 3D 모델로 구축 하는 것이다. BIM이 의무화된 신규 건설 구조물과 다르게 현재 건설되어 있는 방대한 양의 SOC를 디지털화하는 것은 별도의 국가 예산을 투입하여 진행이 되어야 하므로, 상당한 예산과 노력이 수반되는 일로 예상된다. 본고에서는 이러한 기존 철도구조물을 3D 모델을 구축하는데 있어, AI 기술을 활용하여 효율적이고 양질의 3D 모델을 생성하는 기술에 대 해 현재 연구 중인 새로운 방법을 소개하고자 한다. AI기반 기존 철도구조물 디지털 SOC 구축 기술 연구 박정준 한국철도기술연구원 선임연구원 유영무 한국도로교통연구원 책임연구원10 자연,터널 그리고 지하공간 AI기반 기존 철도구조물 디지털 SOC 구축 기술 연구 2. 기존 구조물 3D모델링 기술 개요 2.1 사진 기반 3D 모델 생성 여러 장의 사진을 조합하여 대상이 되는 물체를 3차원으로 재구성하는 기술인 포토그래머트리(photogrammetry)는 다양한 산업 분야에 적용되고 있다. 2차원인 사진 자료는 단면적인 정보라는 한계를 가지는데 포토그래머트리 기술은 이를 극복하여 3차원으로 자료를 재구성함에 따라 대상을 3D 모델을 구축할 수 있도록 한다. 이러한 유용성 때문에 건설 을 비롯한 다양한 분야에서 포토그래머트리 기술을 도입하고 적용하는 사례가 증가하고 있다(그림 1). <그림 1> 도로 확장공사구간에 대한 지형자료 구축(출처: DroneDeploy) 대상 구조물에 대한 2D 이미지를 촬영할 때 인력에 의해서도 가능하지만 보통 드론 등의 UAV를 활용하여 촬영을 하 기 때문에 광범위한 면적에 대해서도 용이하게 촬영이 가능하다. 또한 3D 모델링 시에도 상용 프로그램(Pix4D, Context Capture 등)을 활용하면, 자동화된 3D 모델링 프로세스가 가능하며, 여러분야에서 적용이 활발하다. 철도 구조물의 3D 모델링에 사진 기반 3D 모델링 기술의 적용성을 확인하기 위해서 경부고속철도 일부 구간을 대상 으로 드론을 활용하여 사진을 촬영하고 Bentley社의 ContextCapture 프로그램을 활용하여 3D 모델링을 수행하였다(그 림 2). 전체적인 구조물의 형상 및 주변 지형에 대해서 확인하기는 용이하나(그림 2(b)), 삼각망 구성을 통한 모델링이 진행되어 구조물의 표면이 매끄럽지 않고 매우 울퉁불퉁한 결과물(그림 2(d))을 보여주었다. 또한 드론을 통해 사진을 촬영하기 때문에 교량의 측면과 하부의 3D 모델링은 제대로 이루어지지 않았다(그림 2(c)). 철도시설물의 유지관리를 위 한 3D 모델링 결과물은 정확한 치수와 형상이 확보되어야 하므로, BIM 기반의 유지관리를 위한 모델링 방법으로는 부적 합한 면이 많은 것으로 판단했다. Vol. 25, No. 4 11 (a) 드론 촬영 포인트(b) 3D 모델 구축 결과 (c) 교량 3차원 모델링 하부(d) 교량 표면 모델링 <그림 2> 사진 자료를 기반으로 구축한 3D 모델 예시 2.2 point cloud data 기반 3D 모델 생성 앞서 서술한 사진 자료를 기반으로 한 3차원 모델링의 단점을 보완할 수 있는 방법으로 Lidar 스캐닝을 통한 대상물 체에 대한 점군 데이터(PCD, point cloud data)를 계측하여 3D 모델링을 생성하는 방법이 있다. Lidar 스캐너를 활용한 3차원 PCD 계측은 대상 구조물에 형상에 대해서 정확한 치수 정보(수 mm 단위의 오차)를 획득할 수 있는 장점이 있다. 이를 기반으로 한 3D 모델은 정확한 수치를 가지기 때문에 유지관리용 3D 모델로 적합한 것으로 알려져 있다. 높은 정확성이 보장되기 때문에 그림 3과 같이 오래된 건축물의 3D 모델 구축에 사용되는 경우가 있으며[1,2], 철도분 야에서 운행 중인 역사의 플랫폼 개량 시 정확한 공사를 계획하기 위해서 사전에 계측을 수행하여 3D 모델을 만드는 사 례 등이 있었다. 이러한 장점에도 불구하고 PCD 기반의 3D 모델이 일부 사례에만 적용이 되는 이유는 PCD를 3D 모델 로 구축하는데 많은 시간과 노력, 비용이 소요되기 때문이다. PCD를 mesh data로 만들기 위해서는 일반적으로 voxel grid를 통해 면으로 만드는 과정이 필요한데 이러한 과정에서 실제 구조물과 달리 면이 매끄럽지 못하고 굴곡이 지는 왜 곡현상이 발생하게 된다. 이를 실제와 같이 매끈한 면으로 만들기 위해서는 인력을 통해 하나하나 면을 확인해가며 작업 을 수행해야 하므로 많은 시간과 노력이 필요하다. 또한 PCD 데이터는 위치좌표(x, y, z)와 색상정보(RGB)만을 가지고 있기 때문에 이를 기반으로 3D 모델을 만든 후에는 인력이 각 객체가 구조물의 어떤 요소(예를 들어 기둥, 천장, 바닥 등)인지를 정의해야 하는 과정이 필요하다.12 자연,터널 그리고 지하공간 AI기반 기존 철도구조물 디지털 SOC 구축 기술 연구 (a) 창경궁 명정전의 3차원 모델링(b) 안동 도산서원 상덕사의 3차원 모델링 <그림 3> PCD를 기반으로 구축한 문화재 3D 모델 예시[4] 3. 딥러닝 기반 PCD 객체 인식 연구 3.1 딥러닝 알고리즘 앞서 언급했듯이 PCD기반 3D 모델링은 사진기반 모델링에 비하여 정확도가 높지만 비용과 시간의 소요가 크다는 단 점을 가진다. 이러한 단점을 극복하고 적용성을 증대하기 위해서는 3D 모델링의 자동화가 이루어지는 것이 필요하다. 이를 위해서 우선적으로 PCD에서 의미있는 객체를 인식하는 것이 필요하며, 이와 같은 딥러닝 기반의 PCD의 객체 인식 연구는 다양한 분야에서 연구가 이루어지고 있다. 특히 자율주행분야에서 많은 연구가 이루어지고 있으며, 차량에 장착 된 Lidar에서 얻어진 PCD에서 사람, 차량 및 도로 구조물 등의 사물을 인식하기 위해서 딥러닝 알고리즘을 사용한다 [3]. 그러나 자율주행분야에서는 분석해야 할 데이터는 차량의 전방의 일정한 영역에 한정되어 있고, 빠른 실시간 처리 가 중요하므로, 계측하는 PCD 데이터의 품질이 비교적 낮고, PCD를 격자형태로 변환하여 처리한다. 이러한 과정은 방 향성이 없고 높은 정확성을 요구하는 건축·토목 구조물을 인식 분야에서 적용하기 한계가 있다. 딥러닝을 활용하여 3D 모델, 3D Scene, 그리고 다수의 물체를 구별하는 segmentation 기술도 많이 개발되고 있다. 몇 가지 대표적인 사례들을 살펴보면 다음과 같다. ShapeNet 등은 동물의 신체 부위 또는 의자, 책상, 자전거 등 사물의 부품을 CNN(convolution neural network)을 사용하여 자동 분할하는 기술이며[5,6], PointNet과 ScanNet은 deep hierarchical feature learning을 사용하여 metric space에 있는 포인트 클라우드 데이터를 구분하는 기술로 벽과 바닥 그리고 가구들에 적용시켰다[7,8]. 이전 장에서도 언급했듯이 3차원 데이터는 일반적으로 voxel grid로 변환시켜 저장하는데 이 과정에서 많은 계산과정 이 필요하며 왜곡현상도 발생하게 된다. 위에서 소개한 PointNet[8]은 이러한 계산과정을 생략하고 CNN을 사용하여 PCD를 가공없이 바로 사용하여 물체를 구분하는 방법이다. PointNet은 단일 객체의 종류 구별(object classification), 객체의 요소 구분(part segmentation), 주변 환경과 다양한 객체들이 혼재된 상황에서 객체를 구별하여 인식(semantic segmentation) 등 다양한 분야에 적용될 수 있으며 계산과정이 효율적이다. 이중 semantic segmentation은 주변 지형Vol. 25, No. 4 13 조건을 포함한 전체 구조물이 모두 계측된 PCD로부터 구조물의 구성요소별 분할에 적용하기 용이하다. 그림 4는 실내 공간에서 PointNet을 활용한 semantic segmentation의 결과이다. <그림 4> PointNet의 Semantic segmentation의 결과[8] 3.2 철도구조물 학습 DB 구축 딥러닝을 활용한 철도구조물 구성요소의 분할을 수행하기 위해서는 우선 철도구조물에 대한 학습 및 평가용 PCD를 확보해야 한다. 이를 위해 Lidar를 활용하여 청원군-세종시 전동면 일대에 위치한 철도종합시험선로의 교량 4개와 터널 1개에 대한 현장 계측을 수행하였다. 표 1에 계측을 수행한 철도종합시험선로의 교량, 터널 현황을 제시하였다. 계측에 사용된 Lidar 사양은 표 2와 같다. Lidar가 사용하는 레이저 광선은 직진성을 가지므로 측정하고자 하는 부분이 물체에 의해 가려지면 레이저광이 도달할 수 없으므로 측정이 불가능하다. 따라서 최대한 가림현상(occlusion)이 발생하지 않 는 방향에서 측정하였다. <표 1> 철도종합시험선로 교량 및 터널 현황 철도종합시험선로 시험 제1교시험 제2교시험 제3교시험 제6교시험 제1터널 형식RPF 거더IPC, IT 거더IPC 거더SPC 라멘NATM + 개착 교폭단선단선단선단선단선 길이(m)70380602555114 자연,터널 그리고 지하공간 AI기반 기존 철도구조물 디지털 SOC 구축 기술 연구 <표 2> 본 연구에서 활용된 Lidar의 제원 사용기기레이저성능사진 RIEGL VZ-400 Class 1 Laser Product (near infrared) - 측정거리: max 600m - 측정속도: 122k pts/sec - 정확도: 5mm(100m 타켓 측정시) - 반복도: 3mm - 관측방법: 상대측위 - 관측시간(1포지션): 3분 내외 - 자체 수평 보정: ±10° - 포지션: 144 - 데이터취득 속도(pts/sec): 122,000 계측 대상 구조물인 교량과 터널은 크기가 매우 크기 때문에 Lidar를 이용해 한 번에 스캔하기가 불가능하므로 여러 차례에 걸쳐 스캔한 PCD들을 하나의 완전한 3차원 모델로 재구성하는 후처리 과정이 필요하다. 후처리과정은 일반적으 로 다음과 같은 순서로 이루어진다. 1) 각 지점별 PCD 확인 2) 모든 지점의 PCD 정합 3) 사진 데이터를 활용한 RGB mapping 4) 노이즈 제거 및 object segmentation 5) 데이터 추출 3.2.1 각 지점별 PCD 확인 계측은 구조물의 길이, 형상, 요구되는 계측 정밀도 수준 등에 따라 적절한 측정 지점 수를 결정하여 진행하고 각 지 점의 데이터 정합과정을 거쳐 하나의 전체적인 형상을 완성하게 된다. 따라서 각 지점에서 계측된 PCD에 이상이 없는지 확인하는 과정이 선행되어야 한다. 3.2.2 모든 지점의 PCD 정합 각 지점에서 계측된 PCD를 확인한 후에 전체 구조물을 하나의 PCD로 통합하는 정합과정을 수행하였다. 정합을 수행 함으로써 계측된 모든 지점에 대한 점의 위치 데이터(x, y, z좌표)를 하나의 파일로 통합할 수 있다. 3.2.3 사진 데이터를 활용한 RGB mapping PCD의 위치 데이터(x, y, z 좌표) 이외에 색상 데이터(RGB 데이터)를 활용하기 위해서는 사진 데이터를 PCD 위치 좌 표에 mapping하는 과정이 필요하다. 사진 데이터와 정합 과정을 마친 PCD에서 동일한 지점을 활용하여 사진의 RGB Vol. 25, No. 4 15 데이터를 PCD의 위치 데이터와 병합하여 위치 데이터와 색상 데이터가 결합된 PCD를 획득할 수 있다. 그림 5는 시험선 의 RGB mapping 작업과 그 결과를 보여준다. (a) 교량(b) 터널 <그림 5> 시험선의 RGB mapping 결과 3.2.4 노이즈 제거 및 학습 DB 구축 RGB mapping까지 수행한 PCD를 딥러닝에 적용할 수 있는 학습 데이터로 가공하기 위해 노이즈를 제거하고 구조물의 구성 요소별로 분리하는 작업이 필요하다. 노이즈 제거 및 분리 작업은 수작업으로 이루어지며 하나의 해석 단위가 될 구 역으로 분절한 후 구성 요소별로 분리하는 작업을 반복하여 수행한다. 이러한 반복 작업을 통해 학습 DB를 구축하였다. 3.2.5 데이터 추출 분리가 완료된 각 요소별로 최종적으로 데이터를 추출하는데 딥러닝에 적용하기 쉽도록 ASCII 형태로 추출하며 각 PCD의 위치 데이터(x, y, z 좌표)와 색상 데이터(RGB 데이터)를 추출하게 되며, 최종적으로 각각의 점별로 6개의 특성 값(x, y, z, r, g, b) 도출하였다. 3.3 실제 철도 교량 적용 결과 앞서 교량 실측을 통해 획득한 PCD에 추가로 시험선 설계 시의 6개 교량(1교, 2교, 3교, 6교, 7교, 8교)에 대한 3D 모 델링 데이터로부터 생성한 PCD를 추가하여 학습 DB를 구축하였다. 설계 시의 교량 형상과 준공된 교량 형상이 약간 상 이하여 계측 PCD와 모델링으로부터 변환된 PCD가 일치하지는 않았다. 교량을 하나의 span별로 나누어 학습용 폴더를 구축하였으며 교량 상부, 교각, 기타객체의 3가지 카테고리로 labeling하여, PointNet을 활용하여 학습과 테스트를 진 행하였다. 그 결과는 평균 정확도(mean accuracy)와 평균 IOU(mean Intersection Over Union) 수치로 표 3과 같이 산정되었는데 각각의 수식은 다음과 같다.16 자연,터널 그리고 지하공간 AI기반 기존 철도구조물 디지털 SOC 구축 기술 연구 (1) (2) 여기서, N은 분류할 카테고리의 수, TPi, FPi, FNi는 각각 i번째 클래스에 대한 true positive, false positive, false negative를 의미한다. 그림 6은 시험선 교량의 segmentation 결과를 나타낸 것이다. 그림 6에서 녹색은 교량의 상부를 나타내며, 파랑은 교각, 검정은 기타객체를 의미한다. 전반적으로 각 객체의 segmentation이 명확히 된 것을 확인 할 수 있으며, 교량 상부와 교각의 연결부위에서는 약간의 오차가 발생하는 것을 확인할 수 있었다. 정확도 결과를 보면 모 <표 3> 교량별 테스트 결과 시험선 제1교 시험선 제2교 시험선 제3교 시험선 제6교 모델링 제1교 모델링 제2교 모델링 제3교 모델링 제6교 모델링 제7교 모델링 제8교 Mean accuracy 0.9930.9290.9860.9720.9990.9980.9850.9960.9971.000 Mean IOU0.9370.7930.9290,9530.9770.9780.7350.9960.9741.000 (a) 시험선 제1교(b) 시험선 제2교 (c) 시험선 제3교(d) 시험선 제6교 <그림 6> 시험선 교량 계측 데이터 테스트 결과(녹색: 교량 상부, 파랑: 교각, 검정: 기타) Vol. 25, No. 4 17 든 교량이 92.9% 이상의 높은 정확도를 보였으며 mIoU 수치 역시 모든 교량에서 73.5% 이상의 결과를 보여 높은 분류 정확도를 보였다. 3.4 실제 철도 터널 적용 결과 철도 터널의 semantic segmentation을 위해 실제 계측한 터널 1개의 PCD에 서로 다른 가상의 터널 8개의 모델링 데 이터로부터 변환한 PCD를 추가하여 학습 DB를 구축하였다. 터널은 약 20m 단위로 나누어 학습용 폴더를 구축하였으며, 라이닝, 배수구, 레일, 침목, 전기설비, 바닥부의 총 6개 의 카테고리로 labeling하였다. 다만, 모델링 데이터와 달리 실측 데이터는 자갈궤도와 침목을 구분하여 labeling하는 것이 불가능에 가깝기에 구분없이 바닥부로 하였다. <표 4> 터널별 테스트 결과 시험선 터널1-1 시험선 터널1-2 모델링 터널1 모델링 터널2 모델링 터널3 모델링 터널4 모델링 터널5 모델링 터널6 모델링 터널7 모델링 터널8 Mean accuracy 0.9900.9850.9850.9960.9990.9960.9970.9900.9960.991 Mean IOU0.9220.9050.9310.9720.9820.9830.9890.9420.9560.942 (a) 모델링 1터널(b) 모델링 2터널 (c) 모델링 4터널(d) 시험선 터널 <그림 7> 시험선 터널 테스트 결과(녹색: 라이닝, 노랑: 배수구, 파랑: 침목, 빨강: 레일 회색: 바닥부, 검정: 전차선)Next >