포인트 클라우드 기반 선체 구조 변형 탐지 알고리즘 적용 연구

2.1 변형 정의

선체 변형은 Fig. 1과 같이 다양한 형태로 나타나며 손상 정도를 정량화된 수치로 명확히 파악하기 힘들다. 선체 변형은 Damage Assessment After Accidental Events (International Ship and Offshore Structures Congress (ISSC), 2009)에 따르면 어떤 영역의 과부하 또는 사고로 인해 관찰되는 형태로 좌굴로 인한 움푹 패임 또는 팽대부로 나타나는 종류로 아래 Table 1과 같이 정의하고 있다.

Fig. 1

Hull failure, deformation cases

Table 1

Types of residual deformations

변형은 보강재, stiffener 사이 또는 stiffener를 포함한 panel 등 발생 위치에 따라 명칭을 세밀히 구분하고 있다. 하지만 이는 형태와 위치에 따른 명칭일 뿐 변형 특성은 ‘눌려서 들어간 곳’, ‘패임’, ‘부푼 것’ 등 유사성을 가지고 있다.

용접에 의한 변형의 경우 면내, 면외, 좌굴 변형으로 구분한다. 면내는 횡·종 수축, 회전변형, 면외는 각·종굽힘 변형이 대표적이다. (Park, 2004) 일반적으로 선체 구조 변형 대부분은 용접 공정에서 발생하나 본 연구에서는 내외부 충격에 의한 손상인 구조 변형 즉, 국부적 변형을 탐지하는 것을 목표로 삼는다. 따라서 ‘Indention’과 ‘Bulge’를 대표 변형 종류로 기준, 한정하여 변형 탐지 알고리즘을 적용하고자 했다.

2.2 실험체 제작 변수 및 결과

실제 선박에서 발생한 변형과 유사한 실험체를 제작하고자 했다. 실험체는 재질과 크기, 구조 형상과 변형 크기, 깊이 등을 제작 변수로 설정하였으며, 재질은 실험체 제작 도구 문제와 제작 용이성을 고려하여 아연판, zinc sheet 20x20 cm, 0.3T를 선정하였다. 구조 형상은 선체 공간 특성을 고려해 ‘판, plate’, ‘ㄱ 형강, angle’, ‘ㄷ 형강, channel’ 형태 3가지를 기본 형태로 정의하였다.

변형은 고무망치를 활용, 수작업으로 단조 성형했다. 변형 크기는 최소 반지름 5 mm 이상, 깊이는 재질의 두께와 힘의 허용치 안에서 무작위로 별도의 조건 없이 제작했다. 이후 선체와 비슷한 질감 및 색감을 표현하기 위해 적갈색 방청 도료를 칠해 마무리했다.

변형 구조의 영문명 앞 글자와 제작 순서를 쌍으로 조합하여 Plate 형 P1~P4 실험체 4종, Angle 형 A1~A2 실험체 2종, Channel 형 C1 실험체 1종, 총 7종의 실험체를 제작했다. 상세 사양은 Table 2에 정리하고 Fig. 3에 제작 결과를 나타냈다.

Table 2

Artificial deformation structure specification

Fig. 2

Zinc plates

Fig. 3

Final specimens

3.1 3차원 스캐너

3차원 스캐너는 기본적으로 선체 구조결함의 크기와 질감, 그리고 변형의 정도 등과 같은 물리적 특성을 고해상도, 고정밀의 데이터로 취득 가능한지를 고려했으며, 실제 선박에서의 운용 가능성, 휴대 편의성, 무게 그리고 자체 데이터 처리 등 조건을 만족하는 장비를 선정하고자 했다.

Artec Leo는 비접촉식의 이동 가능한 스캐너로 수직 공진 표면 발광 레이저, Vertical Cavity Surface Emitting Laser (VCSEL) 방식과 자체 처리 가능한 프로세서를 가지고 있을 뿐 아니라 앞에서 언급한 사양을 만족하여 연구에 적합한 장비로 판단하였다.

Fig. 4

3D scanning by artec ‘leo’

실험체 스캔은 실험체의 변형 정도와 세밀한 질감을 정확히 취득하기 위해 스캐너 자체에서 제공되는 Hight Definition (HD) 스캔을 활용해 기본 데이터 밀도의 약 4배의 다각형, polygon을 취득하도록 하였다. 상세한 스캐너 사양은 Table 3에 나타냈다.

Table 3

3D scanner technical specification

3.2 데이터 취득 및 후처리

스캐너로 취득한 데이터는 여러 프레임으로 구성되어 있다. 한 프레임의 polygon 데이터에는 스캔 대상, 주변 환경, noise 일부가 포함되어 Fig. 5와 같은 과정으로 획득한 데이터 후처리를 진행하였다.

• 1) Erase: 필요 데이터를 제외한 나머지 요소 제거
• 2) Global registration: 각 프레임의 전역 정합을 통한 정렬
• 3) Sharp fusion: 정합 프레임의 3D 모델화
• 4) Isotropic remeshing: 3D 모델 등방성 polygon remeshing
• 5) Texture: 모델 색, 질감 표현

Fig. 5

Overview of 3D data processing

첫 번째는 각 프레임에서 필요 없는 부분을 제거하는 단계로 스캔할 때 구조물이 놓인 책상 표면 그리고 스캔 오류 등으로 생긴 각종 noise 등이 해당한다.

두 번째 단계인 ‘Global registration’은 여러 프레임을 정렬하여 정합하는 과정으로 고해상도, 고정밀의 3D 모델을 만듦에 있어 매우 중요한 단계이다. 일반적으로 포인트 클라우드 간 정합 알고리즘으로 알려진 Iterative Closest Point (ICP)는 Local registration 방법으로 불린다. 두 개의 포인트 클라우드 데이터 중 대상 데이터를 원본에 매우 근접하게 일치시키는 정합 방법으로 Besl and McKay (1992)에서는 목표 포인트 클라우드인 P에서 원본 포인트 클라우드인 Q에 대응되는 p, q의 변환 행렬 T를 목적 함수 E(T)로 최소화함으로서 갱신되며, 식 (1)과 같다. 관련 연구로는 Chen and Medioni (1992), Park (2017), Zhou (2018) 등이 있다.

Global registration의 경우 정렬을 위한 초기화 과정이 필요하지 않으므로 빠른 정렬이 가능하지만, Local registration 방법 대비 상대적으로 약한 정합 결과를 보여준다. 다양한 방법이 있지만, 대게 Fast Point Feature Histograms (FPFH)를 활용해 정합을 수행한다. FPFH는 Point Feature Histograms (PFH) 기반으로 PFH는 특정 점 p에서 일정 반경 r 이내의 k개의 점으로부터 점 쌍을 구성하게 되고, 점 쌍인 p_i, p_j와 연관된 법선 벡터 n_i, n_j으로부터 고정 좌표 uvw 프레임을 식 (2)와 같이 정의할 수 있다. 여기서 아래첨자 _t는 대상, target, _s는 원본, source를 의미한다.

해당 프레임을 이용해 식 (3)과 같이 표면 법선 벡터와의 관계를 수치화할 수 있다. 계산된 특징 벡터는 단위계단함수에 의해 히스토그램으로 표현되어 각 포인트의 특징, feature로 사용된다.

FPFH는 PFH에서 속도를 크게 개선한 방법으로 주변 점들 사이에 특징 벡터를 계산, 재활용하는 방식으로 식 (4)와 같다. 여기서 PFH를 Simplified Point Feature Histograms (SPFH)로 표현하여 FPFH와 구분했다.

따라서 각 점에서의 FPFH를 활용해 대상과 원본 포인트 클라우드에서 유사한 히스토그램 특징을 보이는 위치로 이동을 통해 Global registration을 수행할 수 있다 (Point Cloud Library, 2020a, b). 이와 같은 연구로는 Rusu (2009), Grant and Bethel (2014), Weinmann (2016), Golyanik (2020) 등이 있다.

세 번째 단계로 정합 이후 프레임을 3D 모델화하기 위해 전용 프로그램에서 제공되는 방법 중 가장 세밀한 방법인 Sharp fusion을 수행했다. 매개변수인 3D resolution은 두 점 사이의 최소거리로 해당 값이 낮아질수록 더 높은 해상도를 얻을 수 있으나 모사된 변형 형상의 경우 초고해상도를 요구하는 대상이 아님을 고려해 0.5 mm로 설정하여 모델을 재구성했다.

네 번째 단계로 만들어진 모델은 Fig. 6과 같이 삼각형의 격자, triangular mesh로 구성되어 있으나 크기와 거리 등이 일정하지 않으므로 등방성 격자, isotropic mesh로 간격을 0.5 mm로 재구성하여 모델 구조를 정리했다. 마지막으로 texture의 경우 탐지 알고리즘의 성능과는 무관하나 손상 정보 관리 측면에서 사실적인 모델의 색과 질감을 저장하고자 했다. 이러한 과정을 거친 뒤 polygon으로 이루어진 3D 모델 표현과 정점, vertex로서 포인트 클라우드를 표현할 수 있는 파일 형식인 PLY(Polygon File Format)로 추출하였다. 각 스캔 모델의 특성은 Table 4에 후처리 과정별 모습을, 대표 모델로 P1 모델을 Fig. 7에 나타냈다.

Fig. 6

Sharp fusion mesh(left) and isotropic mesh(right) at P1 model’s specific deform area

Table 4

3D scanning model property

Fig. 7

Post-Processing P1 model: raw scan(left), erase, global registration, sharp fusion(middle), isotropic remeshing, texturing(right)

이후 실험체와 모델 주요 수치 비교를 통해 모델의 정확도를 검토했다. 주요 수치는 각 모서리 길이, 변형 영역 크기 등으로 실험체의 물리적 수치와 모델의 점-점 좌표 간 거리를 비교해 오차 범위가 1 mm 내의 정확도를 가진 모델을 사용했다.

Fig. 8

Example of key distance measurements in the P1 model

4.1 제안 알고리즘: 유한 공간 포인트 클라우드 이상치 추정법

제안하는 알고리즘은 3차원 공간을 8개 자식으로 나누는 팔진 트리, Octree와 이상치를 포함한 데이터 집합에서 최대로 일치되는 합리적 모델을 추정하는 반복적인 알고리즘인 RANdom SAmple Consensus (RANSAC)을 조합하여 활용한다.

팔진 트리, Octree라고 불리는 자료구조는 포인트 클라우드와 같은 3차원 객체를 계층적 구조로 공간을 효과적으로 분할 할 수 있다. 트리는 Node, Edge, Root Node, Leaf Node, Internal Node로 표현되며 각 요소의 설명은 Table 5와 같다.

Table 5

Octree elements description

Octree는 매개변수인 최대 깊이 값을 지정한 뒤 전체 포인트 클라우드를 포함하는 최대 공간(정육면체) 크기를 계산한다. 해당 공간을 8 등분하여 각 데이터를 나뉜 공간에 할당시킨 다음 각 공간에서 최대 깊이에 도달하지 않았다면 다시 하위 8개의 공간 요소로 등분한다. 이렇게 재귀적으로 최대 깊이에 도달할 때까지 반복한다. 따라서 Fig. 9과 같이 마지막 Leaf Node에 의해 유한개의 공간으로 구성될 수 있다.

Fig. 9

Apply octree depth level 7 to P1 model(16,067 leaf node)

모델의 특정 Leaf Node에 속한 점 집합에는 정상 표면 특성을 가진 데이터와 Indention과 Bulge 변형 특성을 가진 데이터가 같이 속해있다. 점 집합에서 변형 특성은 정상 표면 특성과는 다른 일종의 이상치, Outlier로 볼 수 있으며, 이를 구분하는 방법으로 RANSAC을 이용한다.

RANSAC은 이상치가 포함된 데이터 집합에서 최대로 일치되는 합리적 모델을 추정하는 반복적인 알고리즘으로 무작위로 뽑은 데이터들로부터 이들을 만족하는 모델 매개변수를 구한 뒤 모델과 일치되는 데이터 개수가 가장 많도록 N번 반복하여 최대로 일치하는 모델을 찾아낸다.

본 연구에서는 데이터를 구분하기 위한 모델로 ‘평면’을 활용한다. 즉, Leaf Node 데이터 집합에서 최대로 일치되는 평면 모델 추정으로 Inlier와 Outlier를 구해낸다. 이후 각 점에서 평면과의 거리 오차를 기반으로 변형 영역을 시각화한다. Octree와 RANSAC 알고리즘 조합을 통한 이상치 추정 과정을 ‘유한 공간 포인트 클라우드 이상치 추정법’으로 명하고 진행 과정을 Fig. 10에 도식화했다.

Fig. 10

Overview of deformation detection algorithm in point cloud

4.2 탐지 결과

Octree는 ‘최대 깊이’로 스캔 모델의 공간 개수가 결정되고, 이는 RANSAC의 ‘반복 횟수’와 ‘최소 데이터 개수’ 등의 매개변수와 함께 Leaf Node 점 데이터 집합에서 최대 일치 평면 모델의 강건성을 좌우한다. 이에 따라 매개변수 조합을 통해 탐지 알고리즘 결과를 비교하였다.

Octree 매개변수인 최대 깊이에 대한 최적값을 확인하기 위해 기본 8등분 공간 깊이 1을 제외한 깊이 2~7에서 RANSAC 매개변수는 1,000회 반복, 최소 데이터 3개로 정한 뒤 변형 탐지 알고리즘을 적용하였다. 깊이 3, 4, 5에서 빨간색으로 표시된 Outlier를 비교적 정확히 특정하고 있으며, 깊이 2, 6, 7은 Outlier로 특정한 부분이 적고 모델의 모서리 부분에 일부가 존재하는 등 상대적으로 약한 탐지 성능을 보였다.

이후 최대 깊이를 4로 고정하고 반복 계산 횟수를 2, 5, 10, 100, 500, 1,500회로 설정해 결과를 확인했다. 2, 5회에서는 평면 모델이 충분한 반복 계산을 거치지 못해 일부 구간에서 부정확한 탐지 성능을 보였다. 하지만 10회 이상부터는 육안 구별이 힘든 정도의 유사한 결과를 보여주었다. 이는 통계적으로 식 (5)와 같이 반복 횟수를 N, 한 번에 뽑는 데이터 개수를 m, 입력 데이터에서 Inlier의 비율을 α라고 하면 확률 p를 구할 수 있고, 여기서 Inlier 비율을 80 %라고 했을 때, 확률 99.9 %를 위해 필요한 반복 횟수는 식 (6)과 같이 약 10회임을 계산을 통해 알 수 있다 (Darkpgmr, 2013).

Inlier 비율을 50 % 설정했을 경우 약 51회의 반복 계산만이 필요하고 공간 등분으로 인한 점 집합의 데이터 개수가 전체 데이터 개수 대비 매우 적은 수준이기 때문에 계산 시간(P1 모델 기준 100회 약 0.81초, 500회 1.14초)과 확률 정도를 고려해 100회의 반복 계산을 적정 횟수로 판단했다. 최소 데이터 개수는 3, 5, 7, 9 순서로 비교했으나 탐지 결과에 큰 차이가 없었다. 반복 횟수와 마찬가지로 점 집합의 데이터 개수가 적어 많은 수의 데이터를 뽑을 필요는 없으므로 평면 모델을 구성하기 위한 최소 점 개수인 3개로 설정했다.

시각화는 각 Leaf Node에 속한 각각의 점 데이터와 평면 모델과의 점-평면 거리를 식 (7), 식 (8)을 이용해 Root Mean Square Error (RMSE)를 기반으로 contour를 적용했다.

단순히 Outlier를 보는 경우 시각적으로 깊이 4가 정확한 탐지 성능을 보여주었으나 contour를 적용할 경우, 깊이 4에서의 contour보다 깊이 5에서 공간 등분이 더 많아짐에 따라 더욱 세밀한 시각화를 보여줬다. 깊이 6, 7에서는 점 집합의 데이터 개수가 적어 점-평면 거리에서 RMSE 값이 모호해짐에 따라 contour 경계가 흐려지는 경향을 보였다. Fig. 11에 P1 모델을 대표로 매개변수 조합별 양상을 나타냈다.

Fig. 11

Change parameter conditions in P1 model

결과적으로 단순히 Outlier를 확인하기 위한 용도라면 깊이 수준 4로 충분하지만, 실제 변형 영역의 명확한 시각화를 위해서는 깊이 수준 5가 범용적임을 확인했다.

Fig. 12은 Plate 모델에 변형 탐지 알고리즘을 적용한 것으로 변형의 크기와 개수에 상관없이 변형 영역을 잘 탐지하고 있다. 특히 P2 모델에서 작은 찍힘 또한 시각화되고 있음을 확인할 수 있다.

Fig. 12

Deformation detection of plate model

Fig. 13는 Angle 모델의 경우 구조물이 꺾이는 모서리 부분 또한 같이 탐지되고 있으나 Plate와 마찬가지로 변형 영역을 잘 탐지하고 있다. A1에서는 모서리에서의 변형이 실제 변형 영역 대비 상대적으로 큰 범위를 가져 정작 보고자 하는 영역의 경계가 흐릿하게 보이는 경우가 발생했다. A2 모델은 상단부의 변형도 찾아내는 등 Plate가 아닌 구조 형태에서도 만족스러운 탐지 성능을 보였다.

Fig. 13

Deformation detection of angle model

Fig. 14은 Channel 모델로 Indention과 Bulge가 복합적으로 존재하는 모델이다. 이러한 경우에도 알고리즘은 변형 영역을 탐지했으나 Bulge에서의 contour 경계가 모호함을 확인할 수 있었다.

Fig. 14

Deformation detection of channel model