Journal of the Society of Naval Architects of Korea
[ Research Paper ]
Journal of the Society of Naval Architects of Korea - Vol. 62, No. 2, pp.77-87
ISSN: 1225-1143 (Print) 2287-7355 (Online)
Print publication date 20 Apr 2025
Received 15 Oct 2024 Revised 04 Nov 2024 Accepted 03 Dec 2024
DOI: https://doi.org/10.3744/SNAK.2025.62.2.77

이미지 기반 선체 변형 영역의 분석 및 시각화: 거리 추정과 곡률적 해석의 융합적 접근

김민지 ; 송상호 ; 장화섭
(사)한국선급 AI융합센터
Image-Based Analysis and Visualization of Hull Deformation Regions: An Integrated Approach Using Depth Estimation and Curvature Analysis
Minji Kim ; Sangho Song ; Hwasup Jang
AI Convergence Center, Korean Register

Correspondence to: Hwasup, Jang, janghs@krs.co.kr

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Detecting deformations in ship hull structures is crucial for maritime safety and ship maintenance. Conventional deformation detection techniques tend to be costly, time-consuming, and often require complex equipment. This study proposes an efficient and accurate method for detecting ship hull deformations using a monocular camera. The method involves capturing images of the deformed hull surface, estimating depth through image analysis, and converting the estimated depth data into a point cloud. The point cloud is then used to establish a reference plane from the projected points, and deviations and curvature relative to this plane are measured to identify deformed areas. The proposed technique demonstrates its validity by comparing the results with actual deformation regions. Despite relying on only a single image, the method shows high accuracy and the potential for detecting deformations across various ship hull types. The efficiency of deformation detection is further improved by image analysis techniques that calculate the curvature of the deformed hull. Furthermore, the method shows the potential to handle unlabeled data, providing a significant advantage over deep learning models that typically require large datasets, as it can function effectively with just one image.

Keywords:

Deformation, Depth estimation, Monocular image, Curvature, Pointcloud

키워드:

변형, 깊이 추정, 단일 이미지, 곡률, 포인트 클라우드

1. 서 론

선박의 구조적 변형은 해상 안전, 선체의 내구성, 운항 효율성 등에 직접적인 영향을 미치는 중요한 요인이다. 선박에서 변형 관리는 설계 단계에서부터 건조, 운항 중 유지보수에 이르기까지 전 과정에 걸쳐 지속적으로 이루어져야 한다. 특히, 선체 구조물이 설계된 사양에 맞게 제작되고 일정한 품질 기준을 유지하는 것은 조선 공정에서 생산성 향상뿐만 아니라 선박의 안전성과 수명을 결정짓는 핵심 요소로 작용한다 (Gwon, 2017). 따라서 변형 관리는 단순히 생산 과정의 효율성을 높이는 것을 넘어, 선체가 운항 중 다양한 외부 요인에 의해 발생하는 변형을 예방하고 조기에 탐지할 수 있는 기반을 마련한다.

운항 중 선체 변형은 주로 해양 환경에서 발생하는 파도, 바람, 부식 등 외부 요인으로 인해 유발된다. 이러한 변형은 시간이 지남에 따라 축적되어 구조적 약화를 초래하며, 이는 해상 사고의 위험을 높이고 선박의 수명에 부정적인 영향을 미칠 수 있다. 따라서 조선 공정에서의 초기 변형 관리와 함께, 선체 운항 중 발생하는 변형을 조기에 탐지하고 정밀히 관리하는 것은 선박의 안전성과 내구성을 확보하는 데 필수적이다. 그러나 현재 사용되는 변형 탐지 기술은 주로 고가의 장비와 숙련된 인력에 의존하며, 시간과 비용 측면에서 상당한 부담을 초래한다.

현재 변형 계측 방식으로는 줄자를 이용한 수동 계측, 광파기를 활용한 블록 단위의 치수 계측, 그리고 레이저 스캐너를 이용한 정밀 계측 방식이 주로 사용되고 있다. 수동 계측은 초기 비용이 적고 간단하지만, 인적 오류 가능성과 신뢰성의 문제가 있다. 광파기는 수동 계측이 불가능한 블록 단위 치수 계측이 가능하지만, 국부적인 과대 변형 탐지에는 부적합하며, 협소한 공간에서는 사용이 제한적이다. 레이저 스캐너는 고해상도 3D 데이터를 생성하여 정밀한 변형 계측이 가능하나, 장비의 비용이 비싸고 선박 내부의 좁은 공간에서는 효율적이지 않다. 이렇게 기존의 변형 관리 방법은 고정된 형태의 기준과 제한된 데이터 활용에 기반을 두고 있어, 실제 조선 공정과 운항 중 선체의 복잡한 구조적 특성을 효과적으로 반영하지 못하는 한계가 있다 (Nam et al, 2021). 따라서, 이러한 한계를 극복하기 위해 기존 방법보다 효율적이고 간단한 변형 탐지 기술에 대한 연구가 필요하다.

최근 컴퓨터 비전과 딥러닝 기술을 기반으로 이미지의 깊이 정보를 학습하여 추정하는 방법론이 개발됨에 따라, 단일 이미지로부터 3차원 물체의 깊이를 추정하고 재구성하는 것이 가능해졌다(Lee et al., 2022; Heo et al., 2024). 이를 활용하면 추가적인 하드웨어나 복잡한 장비 없이도 선체를 3차원 형태로 재구성할 수 있으며, 운항 중 촬영된 단일 이미지로부터 외부의 변형된 영역을 탐지할 수 있다. 이러한 기술은 조선 공정에서의 초기 변형 관리뿐만 아니라 운항 중 발생하는 변형을 관리하는 데 적합한 대안을 제시할 수 있다.

이러한 배경에서 본 연구는 단일 이미지로부터 추정한 깊이 정보를 활용하여 선체 변형 영역을 효율적으로 탐지하는 새로운 접근법을 제안하고자 한다. 따라서, 본 연구에서는 다음과 같은 주요 차별점을 강조하였다. 첫째, 2D 이미지에서 깊이 정보를 추출하기 위해 사전에 학습된 딥러닝 모델을 사용하였으나, 이 모델은 선박 구조의 특수성을 반영하지 못한다는 한계를 가진다. 이에 따라 본 연구에서는 전처리 기법을 추가하여 선체 변형에 적합한 깊이 기반 포인트 클라우드를 생성함으로써 깊이 정보의 정확도를 개선하였다.

둘째, 선체와 같은 구조는 완만한 곡면을 이루고 있어 다른 변형 탐지 모델의 경우 이러한 곡면을 변형으로 오인할 가능성이 있다. 이를 방지하고자 본 연구에서는 곡면 구조의 기준면을 생성하여 이를 기준으로 실제 변형이 발생한 영역을 탐지하도록 설계하였다.

셋째, 불균형한 데이터의 특성을 고려하여, 삼각형 메쉬 대신 KDTree 기반의 곡률 계산을 적용하여 불규칙한 데이터 분포에서도 안정적인 곡률 추정이 가능하도록 하였다. 또한, 변형 탐지의 정확도를 더욱 높이기 위해 기준면과의 거리를 결합한 변형 탐지 지표를 설정하여, 곡률뿐만 아니라 기준면에서의 거리 정보를 포함하여 변형의 정도를 분석하고 시각화하였다.

본 연구는 정성적, 정량적 평가를 통해 실제 변형 이미지와의 약 80% 이상의 일치 정도를 통해 유의미한 결과를 보여주었다. 이에 복잡한 과정과 고가의 장비에 대한 의존성을 줄이고, 실용적이면서도 효율적인 선체 변형 탐지 방법을 제시하고자 한다.


2. 선체 변형 탐지 기법

선박의 안전 운항을 위해서는 선체의 구조적 무결성을 유지하고 철저히 관리해야 한다. 이와 관련하여 국제해사기구(Interna tional Maritime Organization, IMO)는 선박의 5년 주기 정기 검사를 통해 선체 변형에 대한 철저한 규제를 시행하고 있다 (IMO, 1974). 이 정기 검사에는 선체 구조의 상태를 평가하기 위해 내부 탱크, 선박 외벽, 갑판, 해치 등 외부 구조물의 시각적 검사(Inspection survey)뿐만 아니라, 부식 방지 시스템의 상태 점검, 선체 두께 측정 등의 다양한 검사를 포함한다 (IMO, 1993, 2012).

선박이 이러한 검사를 통과하고 통과증서를 받기 위해서는 선체 변형 검사 또한 필수적이다. 이때 선체 변형을 탐지하기 위해 다양한 기술이 사용되며, 현장에서 주로 활용되는 방법으로는 비파괴검사(NDT, Non-Destructive Testing), 레이저 스캐닝, 광학 및 비전 검사, 초음파 측정 등이 있다 (ABS, 2020). 그러나 이러한 전통적인 방법들은 고가의 장비와 긴 검사 시간이 요구되어 경제적 부담이 크다는 한계가 있다. 이러한 문제를 해결하고자, 검사 효율성을 높이기 위한 연구가 활발히 진행되고 있다.

2.1 장비를 사용한 선체 변형 탐지

Fig. 1Table 1에서 보듯이, 현업에서 선체 변형을 확인할 때 사용하는 비파괴검사, 초음파 변형 측정 검사, 레이저 스캐너나 광학기를 이용한 검사는 각 상황에 적절히 사용될 수 있다 (Kalghatgi et al, 2023).

Fig. 1

Existing method of deformation detection

Comparison of hull deformation detection method (in site)

먼저, 비파괴검사는 초음파, X선, 열화상, 자기 탐상, 육안검사 등 다양한 물리적 원리를 활용하여 대상물체에 영향을 주지 않고 기하학적 특성을 측정하고 결함을 탐지하는 방법이다 (IACS UR W35, 2023). 이는 변형을 탐지하는 직접적인 방법은 아니지만, 선체의 외부뿐만 아니라 내부의 결함을 탐지함으로써 구조적 약화를 확인할 수 있으며, 이는 변형 가능성을 간접적으로 평가할 수 있다. 그러나 이 방법은 전문적인 장비와 숙련된 인력을 요구하며, 특히 본 연구의 범위인 선체의 외부 변형 탐지에는 복잡한 과정과 같은 비효율성을 초래하기 때문에 적합하지 않다 (Singh et al., 2024). 변형을 확인하는 가장 직관적인 방법은 수동 계측이며, 이는 줄자와 같은 측정 도구를 사용하여 직접 측정하는 방식인데 복잡한 장비가 없어 다양한 조건에서 활용이 가능하지만, 명확한 기준이 없고 정확도가 낮아 신뢰성을 확보하기 어렵다. 레이저 스캐닝 방법은 선체를 정밀하게 스캔하여 3D 모델을 생성해, 선박의 인수 시 형태와 비교하여 차이를 정밀 측정하여 변형을 탐지한다. 이 방법은 비교적 복잡하지 않은 과정으로 높은 정확도의 세밀한 결과를 볼 수 있지만 역시 측정 장비의 높은 가격과 고용량의 데이터를 처리하는 데 있어 시간이 오래 걸리고 기준 데이터가 정의되어 있어야 하기 때문에 효율성이 떨어진다. 광파기를 이용한 선체 변형 측정 방법은 수동 계측이 불가능한 블록 단위의 치수 계측에 효과적이다. 그러나 국부적인 과도 변형을 계측하는 데는 적합하지 않으며, 외부환경에 대해 강건성이 낮아 검사 당시 빛의 상태나 공간의 제약과 같은 외부적인 요인에 영향을 크게 받는다. 마지막으로, 초음파 변형 측정 방법은 선체 표면에 초음파 트랜스듀서(transducer)를 부착하여 초음파 신호를 재료에 투과시켜 반사되는 신호를 분석하여 변형을 감지하는 기술로, 실시간 모니터링이 가능하지만 신호 감도의 변화에 예민하고 측정을 위해 항상 표면을 깨끗하게 유지해야 하기 때문에 정확한 결과를 얻기 힘들다 (Bae et al, 2009).

2.2 디지털화된 선체 변형 탐지 기술

최근에는 선체 변형 검사의 효율성을 높이기 위해 디지털 기술을 변형 탐지에 도입하고 있다. 특히 컴퓨터 비전과 센서 기술의 발전으로 고해상도 이미지를 활용한 비접촉식 검사와 실시간 모니터링이 가능해져, 기존 방식의 물리적 제약을 극복할 수 있는 새로운 방법들이 연구되고 있다. 이러한 기술들은 선체 변형을 더욱 빈번하고 효율적으로 관리할 수 있게 함으로써 선박의 안전성을 높이고 유지보수 비용을 절감하는 데 기여할 수 있다.

예를 들어 선체의 주요 구조적 요소에 부착된 다양한 센서로부터 얻은 데이터를 융합하여 구조적 상태를 모니터링하는 연구가 있었으며 (Silva-Campillo et al, 2023; Chen et al, 2023), GPS나 GNSS의 위치 추적 기능을 활용하여 선체에 발생하는 물리적 변화를 감지하는 연구도 있었다 (Halliday et al, 2017; Wu et al, 2019). 그러나 전자의 경우, 선체의 복잡한 구조로 인해 데이터의 정확성이 센서 배치에 의존적이고 센서 유지보수에 어려움이 있다. 후자의 경우에는 GNSS 신호가 해양 환경에서 외부 간섭에 취약하여 강건성 확보가 어렵고 멀티 센서 융합 분석을 위한 컴퓨팅 처리의 한계가 존재한다. 이외에도 센서 없이 3D 스캐닝을 통해 사전에 획득한 포인트 클라우드 데이터를 기반으로 컴퓨터 비전 기술을 활용하여 아연판의 변형 위치를 탐지하는 방법도 있었다 (Song et al, 2022).

이러한 방법들은 비교적 제한된 자원 내에서 효율적인 변형 탐지 방안을 제시했지만, 여전히 유지보수가 필요한 각종 센서와 장비를 전제로 하고 고차원의 데이터와 사전 정의된 데이터가 필수적이라는 한계가 존재한다. 따라서, 본 연구에서는 접근이 쉬운 일반 단안 카메라 이미지를 사용하면서 사전 데이터가 없이도 변형을 탐지하고 그 정도를 시각화하는 방법을 제안하려 한다.


3. 선체 변형 탐지 프로세스

3.1 선체 변형 데이터 분석

IMO 규정에서는 선체 변형에 대한 명확한 정의는 없으며, 주로 구조적 무결성과 관련된 검사 및 평가 기준만을 제시하고 있으나, 일반적으로 선체 변형은 선박의 구조가 외부 하중, 파도, 바람, 무게 분포 등의 다양한 요인에 의해 원래의 형태에서 변하는 현상으로 정의된다 (IMO, 1993, 2012).

선체 변형의 형태는 Fig. 2처럼 글로벌 변형(global deformation)과 로컬 변형(Local deformation), 그리고 설계 시 변형된 상태(as-designed shape)로 나눌 수 있다. 글로벌 변형은 선체 전체에 걸쳐 나타나는 구조적 변화로, 선박의 휘어짐이나 굽힘 상태를 의미하며 주로 단일 면에서 발생하는 경향이 있다. 반면, 로컬 변형은 선체의 특정 영역에서 발생하는 국부적인 변형으로, 여러 구조가 교차하는 복합적인 면에서 나타날 가능성이 높다 (Zhou et al, 2023). 특히, 곡블록은 곡면 구조로 인해 국부적인 곡률 변화와 연관된 변형이 자주 관찰되는 반면, 평블록은 넓은 면적에서 발생하는 휨 변형이 주로 나타난다. 마지막으로, 설계 시 변형된 상태(as-designed shape)는 선박 건조 시의 본래 변형된 초기 형상으로, 변형으로 간주하지 않는다. 따라서, 이 연구에서는 초기 형상인 선체의 기준면과 유사한 경향성을 보이다가 특정 지점에서 급격하게 다른 형태로 변화된 지점을 변형이라고 정의하였다.

Fig. 2

Definition of deformation in this study

이를 기반으로 본 연구에서는 Fig. 3과 같이 각 이미지에서 선체의 전체적인 기준면을 생성한 뒤, 이 기준면과 비교하여 곡률이 급격하게 변화하는 부분을 변형으로 간주하였다. 곡블록의 경우, 곡률 변화가 뚜렷하게 나타나는 영역에서 변형이 집중되는 경향이 있었으며, 평블록에서는 기준면과의 거리 편차가 주요 변형 지표로 작용하였다. 변형 영역을 정밀하게 분석한 결과, 변형의 중심부는 완만한 곡률을 보이는 반면, 주변 영역에서는 곡률 변화가 급격해지는 패턴이 관찰되었다. 따라서 기준면은 변형의 중심부와 유사한 경향을 가질 가능성이 높으며, 이를 통해 변형 영역을 식별 가능할 것으로 예상하였다.

Fig. 3

Criteria for deformation detection in this study

3.2 깊이 정보 생성

깊이 정보는 변형을 탐지할 때 대상 물체의 3차원적인 형태와 구조를 파악하는데 필수적이며, 선체의 변형은 주로 기준표면의 고저 차이와 왜곡된 부분에서 나타나기 때문에 깊이 정보를 활용하면 변형의 위치와 면적, 정도를 확인할 수 있다. 단안 카메라 이미지의 깊이 정보를 추정하기 위해서 다양한 방법이 사용되어왔지만, 대상의 이미지를 다른 각도로 촬영한 이미지가 추가로 필요하거나 (Godard, 2017), 이미 레이블 되어 있는 이미지를 사용하여 훈련된 모델로 (Ranftl, 2020), 본 연구의 대상인 레이블링(labeling) 되어 있지 않은 다양한 선체 구조의 변형을 탐지하기에는 적합한 모델이 될 수 없다.

따라서 본 연구에서는 레이블이 되어 있지 않은 이미지에 깊이를 자동으로 생성하는 모델 Depth-Anything을 적용하였다 (Yang, 2024). Depth-Anything은 약 6,000만 개의 깊이 데이터셋을 학습한 모델로, 이 모델을 사용함으로써 모든 선박이 사전에 학습되어 있지 않더라도 Fig. 4처럼 검사원이 촬영한 이미지 한 장만으로도 대략적인 깊이 정보 추정이 가능하다.

Fig. 4

Depth estimation with depth-anything

하지만, 이 연구에서는 선박을 대상으로 한 깊이 추정을 위해 Depth-Anything 모델을 직접 사용하기보다는 데이터 전처리 과정을 추가하였다. Depth-Anything 모델은 사람, 동물, 자동차, 나무 등의 일반적인 객체를 학습 데이터로 사용하여 깊이를 추정하는 모델이기 때문에, 선체와 같은 특수 구조물에 대해 높은 정확도를 보장하지 못할 가능성이 있다. 이에 따라 선체의 고유한 형상을 반영하여 깊이 추정의 정확도를 향상하기 위해, 데이터 전처리 과정을 추가로 수행하였다.

이 전처리 과정은 선체의 특성을 고려한 데이터 조정을 통해 정확도를 높이고자 하였으며, 변형 탐지를 위한 데이터셋에 적합하도록 조정하기 위해서 식 (1)과 같은 계산 과정을 거쳤다.

y=genz±dgenz, GTz*w(1) 

genz는 Depth-Anything 딥러닝 모델을 통해 생성된 깊이로, Z 값을 의미한다. 이렇게 생성한 깊이 정보의 추정 값(genz)과 그레이스케일(Gray-scale)로 변환한 실제 이미지의 데이터 값(GTz)을 비교하여 추정 값(genz) 데이터를 조정한다. 식 (1)Fig. 5처럼 깊이 정보를 생성한 값(genz)과 실제 데이터(GTz) 사이의 거리가 멀면 더 멀리, 가까우면 더 가깝게 가중치를 부여하여 교차되어진 각 면의 분할이 더욱 명확해지도록 한다. 식 (1)의 가중치 w은 각 점마다 다르게 부여하는데 이 값은 DBSCAN의 군집 내 기준점의 주변 점의 거리를 대비하여 조정되도록 하였다. 전체적인 과정은 Fig. 6을 참조할 수 있다.

Fig. 5

Th e adjusted depth with Z value

Fig. 6

The process of generating adjusted depth

가중치의 값을 얻는데 사용되는 클러스터링 밀도 기반 알고리즘은 DBSCAN (Density-based Spatial Clustering of Applications with Noise) 을 사용하였으며, 각 점들의 특정 반경을 기준으로 하여 주변 점을 찾아 군집을 생성한다 (Ester et al, 1996). 이 군집(Cluster) 내 점들의 내적 거리(average intra-cluster distance)를 구하는 수식은 (2)와 같으며, 이 값으로 가중치 w를 결정한다.

AID=1Ni=1Nj=1Ndxi,xj(2) 

N은 군집 내부 모드 점 데이터의 개수, x1, x2는 군집 내부의 무작위로 선택된 두 점이며, d(x1, x2)는 두 점의 유클리드 거리(Euclidean distance)를 의미한다.

식 (3)을 통해 학습된 깊이 추정 모델을 기반으로 실제 데이터와 비교하여 더욱 정확한 깊이 정보 생성이 가능하였다. 특히, 변형 영역에 대해서 가중치를 주었기 때문에 Fig. 2의 로컬 변형처럼 여러 면을 거쳐서 나타나는 변형에서 각 면 분할이 명확해짐으로써 기준면 대비 시각화가 강조되었다.

3.3 공분산 행렬을 이용한 곡률 계산

곡률은 수학적으로 정의된 개념으로, 변형의 정도를 객관적으로 수치화할 수 있어 데이터 간 비교가 쉽고 변형이 발생한 위치나 영향을 체계적으로 분석할 수 있다. 따라서 본 연구에서는 곡률을 활용하여 선체 변형의 특정 영역이 얼마나 휘어졌는지 평가하고, 이를 변형의 정도를 판단하는 지표로 사용하였다.

일반적으로 삼각형 메쉬를 이용한 곡률 계산이 많이 사용되지만, 선체 깊이 정보는 대용량 데이터이며, 깊이를 추정한 모델이기 때문에 데이터 밀도가 불균형하다. 따라서, KDTree 구조를 사용하여 국소적인 곡률까지 효율적으로 계산하였다. (Bentley et al, 1975) KDTree는 고차원 공간에서 이웃 탐색을 효율적으로 수행하는 트리 기반의 자료구조로, 특히 밀도가 불균형한 대용량 3차원 데이터에서 각 점의 이웃을 빠르게 찾는 데 적합하다.

식 (5)부터 (7)은 KDTree를 통해 k개의 이웃 점들을 찾은 후, 그 점들로부터 공분산 행렬을 구해 곡률을 계산하는 식이다. N(pi)는 점 pk의 이웃 점들의 집합이며, 각 점의 벡터 (xi, yi, zi)를 말한다. 식(3)μ는 이웃 점들의 좌표 평균으로, 곡률 계산의 기준이 되는 중심점을 구한다. 식(4)의 (pi - μ)는 각 점의 좌표와 평균 좌표 사이의 차이 값으로 점 간 거리이며, 이 값을 이용해 공분산 행렬 C를 구하고 각 성분은 이웃 점들의 분포 상태를 설명할 수 있다. C에 대한 고유값 분해를 통해 이웃 점들이 분포되어 있는 각 축에 따른 고유값 λ1, λ2, λ3를 계산하여 작은 순으로 정렬하고 이 중 가장 작은 곡률 값인 λ3은 점이 가장 적게 분포된 방향이다. 마지막으로 가장 작은 고유값과 모든 고유 값을 사용해 최종 곡률 값은 식 (5)과 같이 정의된다. 이 고유 값이 작을수록 해당 방향으로 휘어져있는 것으로 볼 수 있으며, λ1, λ2, λ3의 비율에 따라 공간이 얼마나 휘어져 있는지 정도의 파악도 가능하다.

μ=1Ni=1Npipip1, p2, pk(3) 
C=1Ni=1NPi-μPi-μT(4) 
κ=λ3λ1+λ2+λ3(5) 

3.4 추정 평면 생성

3.1에서 정의한 변형은 본래 선체의 기준면 대비 얼마나 곡률 값이 변화하는지에 따른 값으로, 선체의 기준면을 기준으로 해야 하지만 실제 선박의 모든 선체 데이터를 가지고 있는 것은 사실상 불가능하기 때문에, 본 연구에서 개발한 방법을 통해 기준면을 생성하였다.

RANSAC(RAndom SAmple Consensus)은 이상치(Outlier)가 존재하는 데이터에서도 특정 모델을 추정하기 위한 알고리즘으로, 전체 데이터의 전체 경향성을 반영하여 데이터 모델을 추정한다 (Fischler et al, 1981). 기준면을 생성하기 위해서 3.2의 클러스터링을 수행하면서 이상치는 제외하고, 선체 기준면의 후보가 될 수 있는 나머지 데이터 값을 사용해 추정 평면을 생성하였다. 추정 평면은 전체 데이터의 Z축 방향을 기준으로, 곡률이 작으면서 Z값이 작은 값과 큰 값으로 나누어 평면을 2개 생성한다. 이는 Fig. 7의 좌측처럼 변형데이터를 포함한 전체 데이터를 사용하여 추정 평면을 1개로 추정하는 것보다, Z값을 상위 값과 하위 값으로 분류하여 선체 기준면과 변형으로 추정되는 면을 2개 생성함으로써 변형의 정도를 더욱 세밀하게 파악할 수 있기 때문이다.

Fig. 7

Comparison of single and double estimated planes for deformation

점 데이터 집합(D)는 식 (6)처럼 점 i의 (x, y, z)값과 해당 데이터에서 계산된 곡률 값(c)으로 정의한다. 이 중 곡률 값이 하위 30%로 낮으면서 Z 값은 하위 30% 값과 상위 30% 값을 기준으로 데이터를 분할하여 2개의 평면을 생성할 데이터를 필터링한다. 그리고 식 (8)에서 하위 30%인 Z 값으로 구성된 데이터 집합(Dlow)과 상위 30% 인 Z 값으로 구성된 데이터 집합(Dhigh)에서 각각 무작위로 3개의 포인트를 선택하여 평면 방정식을 사용한다. 마지막으로 식 (9), (10)을 사용해 평면과 점 데이터 사이의 거리를 계산하는 과정을 반복하여 데이터의 경향을 가장 잘 나타내는 모델을 선택하여 식 (11)의 최종적인 2개 평면 planelow, planehigh을 추정할 수 있다.

D=x1, y1, Z1, c1,  x2, y2, Z2, c2, x3, y3, Z3, c3xi, yi, Zi, ci(6) 
Pz, 30=Percentile Z, 30Pz, 70=Percentile Z, 70Pc, 30=Percentile c, 30(7) 
Dlow =xi,yi,Zi,ciZPz,30 and ciPc,30Dhigh =xi,yi,Zi,ciZPz,70 and ciPc,70(8) 
Z=ax+by+d(9) 
dx, Dlow or high=axi+byi-zi+da2+b2+1(10) 
Planelow=alowx+blowy+clowPlanehigh=ahighx+bhighy+chigh(11) 

3.5 추정 평면과의 거리 및 곡률

3.3과 3.4에서 깊이 추정 점 데이터에서 곡률과 Z값을 기준으로 선체의 기준면을 생성하였다. 다음으로, 선체의 기준면으로부터 얼마나 변형되었는지를 평가하기 위해 곡률과 추정 평면과의 거리를 결합한 방법을 제안하려 한다. 추정된 선체 평면은 식 (12)와 같은 형태로 표현되는 평면을 기준으로 점 데이터가 기준면으로 떨어진 거리와 앞선 식 (5)과 같은 국소 곡률 값을 결합하여 식 (13)의 새로운 척도를 정의하였다. 다만, 곡률(κ)에 대한 값이 거리 값에 대해 매우 작기 때문에 가중치를 더하였다.

dx, planelow or high=axi+byi-zi+da2+b2+1(12) 
Combined metric     =dx, planelow or high+κ*w(13) 

본 연구에서 정의한 변형 탐지의 기준은 단순히 변형된 곳을 탐지하는 기준면으로부터의 거리뿐만 아니라 곡률 값과 함께 판별함으로써 완만한 선체에 나타날 수 있는 복합적인 변형과 국부적으로 심하게 휘어진 변형 정도를 시각화하는데 더욱 효과적이다.


4. 실험 및 결과 분석

4.1 적용 시나리오

선체 변형 탐지의 전체적인 과정은 Fig. 8에서 참고할 수 있다. 검사원이 변형이 의심되는 선체의 특정 영역을 촬영하여 이미지를 서버에 업로드하면, 사전 학습된 모델을 통해 깊이 정보가 생성된다. 이후 실제 이미지에서 얻은 깊이 정보와 모델이 생성한 깊이 정보를 비교하여 점 데이터의 조정을 수행한다. 변형 탐지를 위해 KDTree 구조를 사용하여 곡률을 계산하고, RANSAC 알고리즘을 적용하여 곡률과 Z값을 기반으로 추정 평면을 생성한다. 이 평면을 선체의 기준면으로 설정하고, 평면과의 거리 및 곡률을 동시에 고려한 새로운 변형 탐지 기준을 통해 변형된 영역을 시각화한다. 시각화된 결과에서 빨간색은 깊은 변형을, 파란색은 경미한 변형을 나타내며, 이를 통해 검사원은 변형의 정도를 한눈에 파악할 수 있다.

Fig. 8

Total Process of in this study

4.2 실험 결과

실험 이미지 데이터는 Fig. 9에서 분류한 변형 영역의 위치와 상태를 기반으로 선체의 외부와 내부의 변형 영역을 선급 검사 보고서에서 발췌하여 무작위로 선정하였으며, 선종에 따라 분류하지는 않았다.

Fig. 9

The results compared with other studies in this research

다양한 선체 변형에 대한 본 연구의 알고리즘을 적용한 결과는 Fig. 9를 참고할 수 있다. 실제 이미지(ground truth)와 깊이 학습 모델을 사용하여 변형 영역을 가시화한 결과(depth estimated), 그리고 본 연구에서 제안한 변형 탐지 방법(this study)의 결과를 비교하였으며, 변형 탐지의 정성적 평가를 위해 정도에 따라 색상 매핑을 통해 가시화하였다.

  • • Ground Truth: 실제 변형이 있는 선체의 이미지를 촬영하여 변형 정도를 육안으로 평가하였다. 이 이미지는 검사원이 변형이 있는 선체의 영역을 직접 촬영한 것으로, 실험 결과에 대한 참조 데이터로 사용되었다.
  • • Depth Estimated: 사전에 학습된 Depth-Anything 딥러닝 모델을 통해 각 이미지의 깊이 정보를 자동으로 생성하였다. 이 깊이 정보는 실제 변형을 반영하지 못하는 경우도 있었지만, 전반적으로 선체의 표면에 대한 대략적인 깊이 구조를 제공하였다.
  • • This Study: 제안된 방법을 사용하여 변형 영역을 분석한 결과이다. KD-Tree를 사용해 곡률을 계산하고, RANSAC을 사용해 추정 평면을 생성한 후 곡률과 Z값을 기반으로 변형을 시각화하였다. 빨간색은 큰 변형을 나타내고 파란색은 변형이 적은 영역을 나타내며, 이를 통해 변형이 발생한 영역을 쉽게 확인할 수 있었다.

특히, This Study의 결과에서는 선체 내부의 구조적 변형이 발생한 부분이 빨간색으로 명확하게 시각화되어 변형 영역을 쉽게 구분할 수 있었다. 그러나 선체 내부의 사다리와 같은 구조물에 의해 생긴 그림자도 변형으로 인식되어 일부 오류가 발생하였다. 또한, 외부 압력에 의해 발생한 변형과 선체 본래의 곡선 구조 사이에 명확한 구분이 이루어지지 않아, 기존 휘어진 부분과 변형이 혼동된 경우도 있었으며, 배경에 해당하는 부분이 변형된 영역으로 잘못 탐지된 경우도 있어, 이에 대한 개선이 필요함을 확인할 수 있었다. 반면에, 선체 외부에서는 부식이 발생한 작은 국소 영역까지 빨간색으로 표시되어, 미세한 곡률까지 탐지할 수 있는 가능성을 보여주었다.

4.3 결과에 따른 평가

정량적 평가는 Table 2를 참고할 수 있다. 실제 선박의 깊이 정보를 본 연구의 결과와 비교하는 데 한계가 있기 때문에, Fig. 10과 같이 검사원이 변형이라고 표시한 영역과 본 연구에서 변형으로 탐지된 붉은 영역을 수치화하여 일치 정도를 비교하였다. 정확도를 계산하는 방법은 식 (14)와 같이 두 이미지의 전체 픽셀 수에 대해 겹치는 픽셀 수를 백분율로 나타내어 두 이미지 간의 유사도를 효과적으로 수치화하였다. Table 2와 같이 평균적으로 약 80%의 정확도를 보였으며, 나머지 20%의 차이는 픽셀 단위로 비교함에 따라 검사원이 표시한 영역과 완벽하게 일치하지 않아 발생한 손실이 일부 포함되어 있는 것으로 해석할 수 있다.

PAccuracy%=CH×W×100(14) 

Probability of overlap with actual deformation

Fig. 10

Comparison of estimated deformation areas with ground truth and surveyor markings

PAccurancy는 본 논문에서 정의한 정량적 평가의 지표로 두 이미지 간 유사도를 의미한다. C는 두 이미지 간 겹치는 픽셀 수이며, HW는 기준 이미지의 높이와 넓이를 의미한다.

또한, 색상으로 시각화된 선체 영역의 변형 정도를 계산함으로써 선체의 상태를 평가하는 데 중요한 역할을 한다. 아래의 시나리오 제안을 통해, 제안된 척도를 활용하여 변형이 심한 부분을 객관적으로 파악하고, 이를 기반으로 유지보수와 안전 점검의 기준을 마련할 수 있다.

  • 1. 데이터 전처리:
  • - 선체 촬영 이미지를 기반으로 제안한 척도인 식 (13)를 계산하여 각 점에 대한 combined_metric 값을 생성한다.
  • 2. 클러스터링을 통한 색상 구분:
  • - 포인트 데이터의 색상을 ‘Red’, ‘Orange’, ‘Yellow’, ‘Green’, ‘Light blue’, ‘Blue’의 6가지 주요 색상으로 클러스터링한다.
  • - 점을 가장 가까운 색상의 군집으로 나누고 초기 클러스터의 색상 중심값은 위의 6가지 색상(RGB 값)으로 설정한다.
  • 3. 클러스터별 combined_metric 계산:
  • - 각 색상 클러스터에 포함된 점들의 combined_metric 값을 평균하여 해당 클러스터의 평균 combined_metric 값을 구한다.
  • - 클러스터 평균값을 기준으로 변형의 정도를 평가한다.
  • 4. 변형 위험도 판단:
  • - 전체의 평균 combined_metric 값을 기준으로, 군집별 평균 combined_metric 값보다 많이 클수록 해당 영역을 변형 위험도가 높은 영역으로 판단한다.
  • - ‘Red’나 ‘Orange’는 변형 위험도가 상대적으로 높은 영역을 나타내는 것으로 해석할 수 있다.
  • 5. 시각화 및 결과 분석:
  • - 시각화하여 각 클러스터를 대표 색상으로 표시하고 변형 위험도가 높은 클러스터에 대해 경고 표시를 추가할 수 있다.

이와 같은 과정으로, 변형 위험도가 높은 영역을 색상으로 쉽게 확인하고, 평균 combined_metric 값을 활용하여 변형의 정도를 정량적으로 판단할 수 있다. Table 3Fig. 9의 이미지 6을 기준으로 각 색상에 대한 군집 내 평균 값을 계산한 값이며, ‘Blue’에서 음수가 나온 이유는 선체 기준면과의 거리 값이 매우 작기 때문으로 볼 수 있다.

Mean value of combined metric for each cluster (Image 6)


5. 결 론

5.1 결론 및 향후 연구

기존의 선체 변형 탐지는 고가의 장비와 숙련된 인력에 대한 의존이 높아 검사 범위와 빈도를 확대하기 어려운 한계가 있었다. 이러한 한계를 극복하고 선박 유지보수의 효율성을 높이기 위해 디지털 기술과 머신러닝을 활용한 자동화된 변형 탐지 연구가 활발히 이루어지고 있으며, 이러한 자동화 방식을 통해 선체 변형을 저비용으로 간편하게 탐지할 수 있는 방법에 대한 수요가 증가하고 있다.

이에 본 연구에서는 디지털 기술을 활용한 한 방법으로, 단안 카메라 이미지를 사용하여 선체 변형을 탐지하는 알고리즘을 제안하였다. 단일 시점에서 촬영된 2D 이미지는 입체적 정보를 제공하는 데 한계가 있지만, 이를 해결하기 위해 깊이를 추정하는 딥러닝 모델을 적용하여 3D 정보를 생성하였다. 하지만 이 모델은 일반적인 이미지 학습을 기반으로 하기 때문에 선박 구조의 특수성을 충분히 반영하지 못한다는 점이 있었다. 이를 해결하기 위해 본 연구에서는 변형 탐지에 적합한 포인트 클라우드를 생성하기 위한 전처리 기법을 제안하여, 선박과 같은 복잡한 곡면 구조에 최적화된 깊이 정보를 확보하였다.

또한, 기존 탐지 모델들이 설계 시 원래 형상인 곡면 변형을 모두 변형으로 감지하는 것과 달리, 본 연구에서는 선체 곡면의 기준 평면을 설정함으로써 실제 변형된 영역만을 정밀하게 탐지할 수 있도록 설계하였다. 추가로, 선체 변형 탐지 과정에서 발생할 수 있는 오류를 최소화하기 위해, 본 연구는 곡률과 기준 평면 간의 거리 정보를 결합한 새로운 평가 척도를 제안하였다. 이 척도는 변형의 정도에 따라 색상으로 시각화하여, 변형을 위험도에 따라 체계적으로 분류할 수 있는 기준을 제공할 수 있다. 또한, 데이터 불균형 문제를 해결하고 다양한 변형 형태를 더욱 정확하게 반영하기 위해 삼각형 메쉬 대신 KDTree 기반 곡률 측정 방식을 활용하였다. 이를 통해 복잡한 선체 구조에서 발생하는 다양한 변형을 효과적으로 분석할 수 있었다.

실제 검사 결과와 비교했을 때, 본 연구에서 제안한 방법은 약 80%의 정확도를 기록하였으며, 이는 변형 탐지의 정밀도를 높이는 데 실질적인 기여를 할 수 있음을 보여준다. 나머지 20%는 오탐지한 부분 외에 검사원이 육안으로 표시한 변형 영역과의 픽셀 단위 비교에서 발생한 차이가 포함되는 것으로 해석할 수 있다.

본 연구는 선체의 변형 영역을 민감하게 감지할 수 있음을 보여주었으나, 그림자나 배경과 같은 무관한 요소들이 변형으로 잘못 인식되는 문제도 있었다. 이러한 한계는 변형 탐지 시스템의 신뢰성에 영향을 미칠 수 있으며, 향후 연구에서는 이러한 요소들을 필터링할 수 있는 알고리즘 개선을 통해 더욱 정교하고 실용적인 변형 탐지 시스템을 구축할 수 있을 것으로 기대된다.

Acknowledgments

본 논문은 2024년도 해양수산부 및 해양수산과학기술진흥원 연구비 지원으로 수행된 ‘자율운항선박 기술개발사업(20200615)’의 연구결과입니다.

This research was supported by the ‘Development of Autonomous Ship Technology(20200615)’ funded by the Ministry of Oceans and Fisheries(MOF, Korea).

References

  • American Bureau of Shipping, 2020. Advisory on structural health monitoring: The Application of sensor-based approaches, ABS Guideline.
  • Bae, J.H., Lee. J.H., Paeng, D.K., IM, Y.G. and Park. J.W., 2009. The hull communication network of ship using supersonic and thereof, South Korea Patent, KR10200900 89942A.
  • Bentley, J.L., 1975. Multidimensional binary search trees used for associative searching. Communications of the ACM, 18 (9), 509-517. [https://doi.org/10.1145/361002.361007]
  • Chen, S., Wang, J., Zhang, C., Li, M., Li, N., Wu, H., Liu, Y., Peng, W. and Song, Y., 2023. Digital twin technologies and applications for structural health monitoring. Sensors, 23(4), 1877. [https://doi.org/10.3390/s23041877]
  • Ester, M., Kriegel, H.P., Sander, J. and Xu, X., 1996. A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD), pp.226-231.
  • Fischler, M.A., and Bolles, R.C., 1981. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 24(6), 381-395. [https://doi.org/10.1145/358669.358692]
  • Godard, C., Mac Aodha, O. and Brostow, G.J., 2017. Unsupervised monocular depth estimation with left-right consistency. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.6602-6611. [https://doi.org/10.1109/CVPR.2017.699]
  • Gwon, G.Y., 2017. Analysis of trends in shipbuilding dimensional management. Society for Computational Design and Engineering, 23(1), pp.15-21.
  • Halliday, W.D., Insley, S.J., Hilliard, R.C., de Jong, T. and Pine, M.K., 2017. Displacement and frequency response measurements of a ship using GPS and fibre optic-based sensors. Applied Geomatics, 9(2), pp.115-124.
  • Heo, S.H., Kang, M.J., Choi, J.W. and Park, J.H., 2024. Design of a mapping framework on image correction and point cloud data for spatial reconstruction of digital twin with an autonomous surface vehicle. Journal of the Society of Naval Architects of Korea, 61(3), pp.143-151. [https://doi.org/10.3744/SNAK.2024.61.3.143]
  • IACS UR W35: International Association of Classification Societies (IACS), 2023. Requirements for NDT Suppliers (UR W35), London: IACS.
  • IACS UR Z10: International Association of Classification Societies (IACS), 2009. Unified Requirements for Hull Structure Surveys (UR Z10). London: IACS.
  • International Maritime Organization (IMO), 1974. International Convention for the Safety of Life at Sea (SOLAS). London: IMO.
  • International Maritime Organization (IMO), 1993. International Safety Management (ISM) Code. London: IMO.
  • International Maritime Organization (IMO), 2012. Performance Standard for Protective Coatings for Dedicated Seawater Ballast Tanks in All Types of Ships and Double-Side Skin Spaces of Bulk Carriers (MSC.337(91)). London: IMO.
  • Kalghatgi, S.G., Seratella, C. and Hagan, J.B., 2023. Life cycle of ships and offshore structures: Hull inspection and maintenance system. Encyclopedia of Life Support Systems (EOLSS), Report No. E6-177-OC-01.
  • Lee, D.K., Ji, S.H. and Park, B.Y., 2022. PointNet and RandLA-Net algorithms for object detection using 3D point clouds. Journal of the Society of Naval Architects of Korea, 59(5), pp.330-337. [https://doi.org/10.3744/SNAK.2022.59.5.330]
  • Nam, B.W., 2021. A study on recognition of unstructured hull block and utilization of 3D shape information for application of augmented reality in ship accuracy control. Incheon, INHA University.
  • Ranftl, R., Bochkovskiy, A. and Koltun, V., 2020. Vision transformers for dense prediction. arXiv preprint, arXiv:2012.09852, . [https://doi.org/10.1109/ICCV48922.2021.01196]
  • Silva-Campillo, A., Pérez-Arribas, F. and Suárez-Bermejo, J.C., 2023. Health-monitoring systems for marine structures: A Review. Sensors, 23(4), 2099. [https://doi.org/10.3390/s23042099]
  • Singh, I., Arora, V., Babu, P. and Mulaveesala, R., 2024. Novel statistical analysis schemes for frequency-modulated thermal wave imaging for inspection of ship hull materials. NDT, 2(4), pp.445-455. [https://doi.org/10.3390/ndt2040027]
  • Song, S.H., Lee, G.H., Han, K.M. and Jang, H.S., 2022. Application of point cloud based hull structure deformation detection algorithm. Journal of the Society of Naval Architects of Korea, 59(4), pp.235-242. [https://doi.org/10.3744/SNAK.2022.59.4.235]
  • Wang, Z., Bovik, A.C., Sheikh, H.R. and Simoncelli, E.P., 2004. Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4), pp.600-612. [https://doi.org/10.1109/TIP.2003.819861]
  • Wu, D., Jia, Y., Wang, L. and Sun, Y., 2019. Ship hull flexure measurement based on integrated GNSS/LINS. Frontiers of Optoelectronics, 12(3), pp.332-340. [https://doi.org/10.1007/s12200-019-0867-8]
  • Yang, L., Kang, B., Huang, Z., Xu, X., Feng, J. and Zhao, H., 2024. Depth anything: Unleashing the power of large-scale unlabeled data. arXiv preprint, arXiv:2401, 10891, . [https://doi.org/10.1109/CVPR52733.2024.00987]
  • Zhou, W., Zhao, Y., Yuan, H. and Wang, X., 2023. Study of the hull structural deformation calculation using the matrix displacement method and its influence on the shaft alignment. Journal of Marine Science and Engineering, 11(8), 1495 [https://doi.org/10.3390/jmse11081495]
김 민 지

송 상 호

장 화 섭

Fig. 1

Fig. 1
Existing method of deformation detection

Fig. 2

Fig. 2
Definition of deformation in this study

Fig. 3

Fig. 3
Criteria for deformation detection in this study

Fig. 4

Fig. 4
Depth estimation with depth-anything

Fig. 5

Fig. 5
Th e adjusted depth with Z value

Fig. 6

Fig. 6
The process of generating adjusted depth

Fig. 7

Fig. 7
Comparison of single and double estimated planes for deformation

Fig. 8

Fig. 8
Total Process of in this study

Fig. 9

Fig. 9
The results compared with other studies in this research

Fig. 10

Fig. 10
Comparison of estimated deformation areas with ground truth and surveyor markings

Table 1

Comparison of hull deformation detection method (in site)

Method Explanation Characteristics (+ : strengths, - : weaknesses)
NDT
(Non-Destructive Testing)
By examining the internal or external state of the material without causing damage. (radiographic testing, magnetic particle testing, visual testing etc) + Detecting internal defects
- high cost & indirect evaluation & low efficiency
Manual measurement By directly measuring hull deformations using simple tools such as measuring tapes or calipers + Low initial cost & Intuitive
- Lack of accuracy & Limited for complex structures
Laser Scanner (3D) By utilizing laser scanning to create a three-dimensional point cloud of the hull's surface, enabling high-resolution detection of surface deformations + High accuracy & Detailed
- High equipment costs & Data processing time
Optical Device By utilizing optical sensors to detect deformations and damages on the hull. Through vision technology, image processing, and analysis + Cost-effective & Rapid & Wide Area Coverage
- External environment(Lighting, small space, etc)
Ultrasonic Deformation Measurement By checking change in ultrasonic signals are analyzed to detect internal structural deformations or defects. + Internal & External (including thickness variations)
- Depending on the surface condition & Material

Table 2

Probability of overlap with actual deformation

No. Depth estimated
0 78.44%
1 76.23%
2 81.19%
3 83.12%
4 78.14%
5 70.46%
6 87.83%
7 80.44%
8 83.56%
9 81.23%
AVG. 80.64 %

Table 3

Mean value of combined metric for each cluster (Image 6)

Color RGB Mean combined_metric
Red (1,0,0) 80.48
Orange (1,0.5,0) 64.83
Yellow (1,1,0) 50.64
Green (0,1,0) 35.12
Light Blue (0,1,1) 14.44
Blue (0,0,1) -3.68
AVG. - 40.31