FPFH 기반 기하학적 특징 증강을 이용한 조선소 3D 딥러닝 데이터셋 경량화 및 객체 탐지 성능 분석

1. 서 론

조선소는 실내외 환경이 공존하고 대형 구조물과 다양한 설비가 밀집된 복잡한 공간으로 구성되어 있으며 일반적인 2D 데이터 기반 객체 탐지 기술은 복잡한 산업 환경에서 깊이 정보의 부족, 시야 제한 등의 문제로 인하여 충분한 성능을 발휘하기 어려운 문제점이 있다. 반면 3D 데이터인 포인트 클라우드는 객체의 형상 및 공간 정보를 보다 정밀하게 표현할 수 있어 조선소와 같은 복잡한 산업 환경에서 객체 탐지를 수행하는데 적합한 데이터 형태이다. 하지만 3차원 포인트 클라우드를 활용한 객체 탐지에도 해결해야 할 도전 과제가 있으며 조선소와 같이 광범위한 산업 환경에서 3D 스캐닝을 통해 계측된 3차원 포인트 클라우드는 고해상도의 매우 큰 용량을 가지고 있어 데이터의 저장, 전송, 처리, 학습에 따른 요구 비용 및 자원이 증가하게 된다. 특히 딥러닝 기반의 3차원 포인트 클라우드 객체 탐지 아키텍처는 대용량의 데이터 처리 및 연산을 요구하기 때문에 데이터의 품질을 유지하면서도 경량화가 가능한 기법이 필요하다.

이에 본 연구에서는 3차원 포인트 클라우드로 이루어진 객체의 주요 특징을 추출하고 이를 기존 다운샘플링 데이터에 결합함으로써 객체 탐지 성능 향상을 위한 특징 증강 딥러닝 데이터셋 구축 방안을 제안하였다. 특징 추출에 활용된 FPFH(Fast Point Feature Histogram)는 3차원 포인트 클라우드의 기하학적 특징(geometric feature)을 분석할 수 있는 대표적인 방법이며 이는 지역 특징을 정량화하는 방법으로 각 포인트의 법선 벡터와 인접 포인트의 공간적 관계를 분석하여 33차원의 특징 히스토그램을 생성한다. 이러한 특징 추출 기법을 적용한 특징 증강(feature augmentation)은 객체의 풍부한 정보를 포함하면서도 경량화를 이룰 수 있을 것으로 판단되며 이는 딥러닝 기반 객체 탐지 아키텍처를 보다 효과적으로 학습시킬 수 있을 것으로 판단된다.

최근 조선소에서는 3D 스캐닝 기술을 활용한 품질 검사 및 자동화 연구가 활발히 이루어지고 있다. LNGC(Liquefied Natural Gas Carrier) 화물창 내부의 형상 검증을 위해 편평도(flatness) 분석을 수행하여 정도관리를 수행하였으며 선미부 블록에 대한 가상 조립과 치수 측정을 통해 편차(deviation)를 분석하는 방안이 제안되었다 (Park, 2023). 유사하게 Lee et al. (2023) 연구에서는 복합재료 선박의 제작 공정에서 목업, 몰드, 최종 선체 제작 단계에서 각각의 형상 편차를 분석하여 품질 관리에 적용한 사례가 보고되었다. 또한 3차원 포인트 클라우드를 활용한 객체 탐지 연구도 조선소 자동화 분야에서 점점 증가하고 있다. LNGC 화물창의 비계 시스템(scaffolding system)을 자동으로 탐지하여 공정 자동화를 지원하는 방안이 제안 되었으며 (Lee et al., 2021), Xie et al. (2024) 연구에서는 조명과 날씨 변화에 따른 카메라 기반 탐지 시스템의 한계를 극복하기 위해 3차원 포인트 클라우드를 활용하여 PointPillar, SECOND, PV-RCNN 등의 딥러닝 아키텍처를 적용하는 모듈형 시스템을 제안한 연구도 보고되었다.

3차원 포인트 클라우드에 대한 FPFH 관련 연구로는 LiDAR 기술을 통해 산림 조사 및 연구에 활용되었으며 고해상도 데이터로 인한 저장 및 계산의 부담으로 인해 기존 단순화(simplification) 방법을 활용하였다. 하지만 산림 환경에 중요한 잎의 면적 정보를 보존하지 못하는 한계가 있었으며 이로 인해 FPFH와 Poisson disk sampling을 활용한 새로운 경량화 기법을 개발하여 잎의 형태를 유지하며 면적 정보 손실을 최소화하는 방법을 제안하였다 (Hu et al., 2023). 또한 3D 스캐닝 기술은 항공기 제조 산업의 패널 형상 측정에 적용되었으며 마찬가지로 항공기 패널, 엔진 블레이드 등 고정밀 부품에 대한 고밀도 3차원 포인트 클라우드의 효율적인 처리가 요구되었다. 이에 따라 FPFH에 주성분 분석 기반 차원 축소를 결합한 효율적인 경량화 기법을 제안하여 데이터의 크기를 줄이면서도 중요한 특징 정보를 보존하는 방법을 개발하였다 (Gan et al., 2024). 유사하게 자율주행 시스템의 환경 인식을 위한 의미론적 분할(semantic segmentation)에 적용되었으나 정확도가 높은 모델의 경우 일반적으로 많은 계산 비용을 요구하여 경량화 및 최적화를 필요로 하였다. 이에 FPFH와 반사 강도(reflectance intensity)를 추가 특징으로 활용한 경량 모델의 성능 향상 방법을 제안하였으며 특징 추가는 연산 비용 대비 성능 향상 효과가 큰 것으로 나타났다 (Hashimoto et al., 2024). 뿐만 아니라 산업용 로봇 및 자동화 시스템의 객체 인식을 위해 3차원 포인트 클라우드 기반 인식 기법에 적용한 사례가 있으며 FPFH와 VFH(Viewpoint Feature Histogram)을 결합하여 기존의 표면 특징을 강화하고 추가적인 방향 정보를 통해 객체의 인식 정확도가 향상된 것을 확인하였다 (Chen et al., 2016). 또한 항공 영상, 차량 탑재 LiDAR, 지상 스캐닝 등 다양한 센서에서 계측된 3차원 포인트 클라우드 융합 데이터의 경우 해상도 차이, 국부 왜곡 등으로 인한 정합(registration) 성능이 떨어지는 문제가 발생하였다. 이에 FPFH 기반 가상 대응점(virtual corresponding point)을 생성하여 정합 성능 향상을 입증하였다 (Zheng et al., 2021). 이와 같이 기존의 FPFH 관련 연구의 경우 특징 분석 또는 경량화에 초점을 맞춘 연구들이 진행되었으며 이러한 점에 있어 본 연구의 FPFH의 활용 방안은 유사하다. 하지만 특징 및 비특징 포인트를 분류하고 딥러닝 기반 데이터셋 증강에 활용함으로써 객체 탐지의 정확도를 유지 또는 향상시켜 학습 효율성을 개선하는 점에서 새로운 접근 방식이라 할 수 있다. 이에 따라 본 연구의 궁극적인 목표는 조선소 환경에서 계측한 3차원 포인트 클라우드를 대상으로 FPFH 기반 특징 추출 기법을 활용하여 기존 다운샘플링 방법으로 경량화된 데이터셋에 기하학적 특징을 증강시킴으로 딥러닝 데이터셋을 구축하는 것이다. 이에 대한 효과를 검증하기 위해 구축된 특징 증강 딥러닝 데이터셋을 3차원 객체 탐지 아키텍처를 통해 학습하였으며 원본 데이터셋 및 기존 다운샘플링 데이터셋과 비교하여 경량화에 따른 객체 탐지 성능 향상을 정량적으로 분석하였다.

2. 이론적 배경

2.1 3차원 포인트 클라우드의 다운샘플링

3차원 포인트 클라우드는 수많은 포인트로 구성되어 처리 비용이 높기 때문에 효율적인 활용을 위하여 포인트의 수를 줄이는 다운샘플링의 적용이 필수적이다. 일반적인 다운샘플링 방법으로는 Random, Uniform, Voxel grid down-sampling의 세 가지를 들 수 있다. 먼저 Random down-sampling은 일정 비율의 무작위로 포인트를 선택하여 간소화하는 방법이다. 이는 작동 원리가 단순하여 대용량 데이터에 빠르게 적용할 수 있고 임의 추출로 전체 분포를 대체로 보존하는 경향이 있다. 따라서 구현이 쉽고 계산 효율이 높아 무작위로 추출한 임의의 부분 집합으로도 전체 포인트의 분포 특징을 어느 정도 반영할 수 있다. 하지만 중요하지 않은 포인트를 남기고 핵심 구조를 이루는 포인트를 제거할 위험이 있어 지역적인 형상이나 경계와 같은 중요 특징에 대한 손실이 발생할 수 있다. 또한 반복 추출 시 결과가 달라 재현성이 낮으며 균일한 공간 분포를 보장하지 않아 기하학적 지역 구조의 왜곡이 발생할 우려도 있다.

다음으로 Uniform down-sampling은 전체 포인트 클라우드에 걸쳐 고른 간격으로 포인트를 선택하여 간소화 하는 방법이다. 즉 포인트를 일정한 간격으로 추출하며 파라미터에 따라 n번째 포인트를 순서대로 선택하는 방식이다. 따라서 구현이 쉽고 포인트 인덱스를 기준으로 선택하므로 계산 복잡도가 낮아 대용량 데이터에도 비교적 빠른 속도로 처리할 수 있다. 또한 순서에 따라 추출하므로 원본 데이터의 전반적인 형태나 구조를 대략적으로 유지하는 경향이 있다. 하지만 여전히 섬세한 구조나 작은 객체의 추출 시 미세 구조를 놓치게 될 위험이 있으며 간격이나 추출 순서를 부적절하게 설정하면 정보 손실이 발생할 수 있다.

Voxel grid down-sampling은 3차원 공간을 일정한 크기의 복셀(voxel)로 분할하고 각 복셀 안에 속한 포인트 중 하나를 대표로 선택하거나 평균 위치로 대체하는 방법이다. 즉 주어진 복셀 크기에 따라 포인트 클라우드 공간을 세분화한 후 각 복셀마다 한 포인트만 남기는 방식으로 포인트를 간소화한다. 따라서 간단한 파라미터(예: voxel size)로 다운샘플링 정도를 조절할 수 있으며 공간적 해상도를 균일하게 낮춤으로써 전체 형상을 효과적으로 유지할 수 있다. 또한 밀도가 높은 영역에서는 포인트 수를 크게 줄이고 낮은 영역에서는 기존 포인트를 보존하게 되어 효율적인 데이터 압축이 가능하다. 하지만 복셀 크기보다 작은 세부 구조는 하나의 복셀로 뭉뚱그려지므로 세밀한 지형이나 얇은 경계선 등이 사라질 수 있으며 복셀 내 모든 포인트를 하나의 대표 포인트로 치환하기 때문에 원본 포인트의 정밀한 위치나 국소 패턴은 일부 왜곡될 수 있다.

Fig. 1(a)는 조선소 선박블록 객체의 원본 데이터이며 이를 각각 Random, Uniform, Voxel grid down-sampling을 적용하여 그 결과를 Fig. 1(b), (c), (d)에 비교하여 나타내었다. 그 결과 Random down-sampling과 Uniform down-sampling의 경우 선박블록의 늑골(frame)과 같은 세부 구조부재의 형상이 손실된 것을 확인하였으며 반면에 Voxel grid down-sampling의 경우 구조부재의 형상이 상대적으로 뚜렷하게 유지된 것을 확인하였다. 이와 같이 다운샘플링 방법은 각각 목표하는 바가 다르기 때문에 이로 인한 정보 손실 양도 상이하다. 일반적으로 단순한 방법일수록 연산이 빠르지만 중요한 세부 특징이 사라질 위험이 있고 복잡한 방법일수록 특징을 잘 보존하지만 비용이 크다. 이러한 점을 고려하여 데이터의 지역 특징과 전역 구조를 최대한 유지하면서도 효율적인 다운샘플링을 달성하는 것이 주요 과제이다.

Fig. 1

Comparison of shipblock object visualization results using existing down-sampling methods

기존 다운샘플링 방법들은 포인트 수를 줄이는데 초점을 맞추었기 때문에 정밀한 형상 정보가 손실되어 기하학적 지역 구조의 왜곡이나 중요 특징 손실 문제가 발생한다. 이러한 형상 왜곡이나 정보 손실은 다운샘플링 데이터를 활용한 딥러닝 아키텍처의 학습 성능 저하로 이어질 수 있으며 분류(classification)나 분할(segmentation) 과제에서 원본 대비 정확도가 떨어지거나 추가적인 학습 데이터셋을 필요로 하게 만드는 요인이 될 수 있다.

본 연구에서는 이러한 한계를 극복하기 위하여 FPFH 기반의 형상 특징 추출 기법을 제안하였으며 FPFH 기반의 기하학적 형상을 추출함으로써 특징이 증강된 다운샘플링 데이터셋을 구축하였다. 이는 단순히 포인트를 줄이는 것이 아니라 특징 보존을 통하여 다운샘플링 후에도 원본 데이터의 주요 특징 정보를 유지하도록 하였으며 나아가 이러한 특징 위주의 포인트 추출은 딥러닝 아키텍처의 특징 증강 효과를 제공하고 학습의 유리한 데이터를 구성 할 수 있을 것으로 판단하였다.

2.2 Fast Point Feature Histograms (FPFH)

FPFH는 3차원 포인트 클라우드의 지역적인 특징을 정량화하는 기법으로 각 포인트의 기하학적 관계를 히스토그램 형태로 생성하며 포인트 간의 기하학적 구조를 보존하면서도 연산량을 감소시키는 특징을 가지고 있다. FPFH를 계산하기 위해서는 먼저 SPFH(Simplified Point Feature Histograms) 계산이 필요하며 이는 세 가지 주요 핵심 각도를 기반으로 계산되며 기준점(p_i)와 인접점(p_j) 그리고 각각의 법선 벡터(u, n_j)로 나타낼 수 있다.

첫 번째 방위각 차이(azimuthal angle difference, α)는 기준점과 인접점 사이 법선 벡터의 상대적 회전 방향을 나타내는 각도이다. 이는 기준점에서 인접점으로 향할 때 법선 벡터가 지역적으로 얼마나 회전했는지를 정량화하여 두 포인트 간 상대적 위치 변화를 반영한다. 이를 식 (1)에 나타내었으며 기준점과 인접점 사이의 벡터(p_i-p_j)와 기준점의 법선 벡터(u)의 외적을 통해 얻은 v와 인접점 p_j의 법선 벡터 n_j의 내적을 이용하여 방향 변화를 계산한다.

$\[ \alpha =v\cdot n_j \]$

(1)

두 번째 고도각 차이(elevation angle difference, ϕ)는 기준점의 법선 벡터와 인접점으로 향하는 벡터 간의 상대적인 기울기 변화를 나타내는 각도이며 이는 기준점에서 인접점으로 이동할 때 법선 벡터가 공간적으로 얼마나 기울어지는지를 정량화한다. 특히 높이 방향 변화를 반영하여 두 포인트 간의 고도 차이를 효과적으로 표현한다. 이를 식 (2)에 나타내었으며 기준점의 법선 벡터(u)와 두 포인트 사이의 벡터(p_i-p_j)의 내적을 이용하여 높이 변화를 계산하고 분모의 ∥p_i-p_j∥로 거리 정규화를 수행한다.

$\[ \varphi =\left(u\cdot \left(p_i-p_j\right)\right)/‖p_i-p_j‖ \]$

(2)

마지막 상대적 법선 방향 차이(relative normal orientation angle, θ)는 두 포인트의 법선 벡터가 서로 얼마나 유사한 방향을 가지고 있는지 측정하는 각도로 기준점과 인접점의 법선 벡터가 서로 이루는 각도의 차이를 나타낸다. 앞서 두 개의 각도는 특정한 기준 방향을 기준으로 회전하는 값이었지만 이 각도는 단순히 두 벡터가 이루는 각도를 계산한다. 식 (3)을 통해 서로 수직한 축을 기준으로 법선 벡터의 상대적 회전을 계산한 w⋅n_j와 u⋅n_j를 이용하여 두 벡터 사이의 각도를 계산한다.

$\[ \theta =\text{arctan} \left(w\cdot n_j, u\cdot n_j\right) \]$

(3)

• 여기서,
• 　u : 기준점 p_i의 법선 벡터
• 　v : 기준점과 인접점 사이의 연결 벡터와 u의 외적
• 　w : u와 v의 외적 벡터
• 　n_j : 인접점 p_j의 법선 벡터

하지만 SPFH는 개별 포인트에서만 히스토그램을 계산하므로 주변 포인트의 정보를 반영하지 못하는 한계가 있다. 이는 각 포인트마다 독립적으로 SPFH를 계산하면 기하학적인 구조를 반영하는데 부족할 수가 있다. 이에 따라 FPFH는 인접한 포인트의 SPFH를 가중 평균하여 주변 정보까지 반영하여 더 향상된 특징 벡터를 형성하였으며 식 (4)에 FPFH 계산을 위한 수식을 나타내었다. 앞서 계산된 SPFH에 거리 기반의 가중치를 합산하였으며 이에 따라 인접점과의 거리가 멀면 가중치가 작아지고 가까워지면 더 큰 영향을 미치도록 하였다 (Rusu et al., 2009).

$\[ FPFH\left(P_q\right)=SPFH\left(P_q\right)+\frac{1}{k}\sum SPFH\left(P_i\right)/d_{ij} \]$

(4)

• 여기서,
• 　- SPFH(P_i) : 기준점 p_i 의 SPFH 벡터
• 　- k : 기준점 p_i 의 이웃 개수
• 　- d_ij : 기준점 p_i 와 인접점 P_j 사이의 거리

Fig. 2(a)는 기준점과 인접점의 관계를 나타내었으며 Fig. 2(b)에는 앞서 SPFH를 구성하는 세 가지 핵심 각도인 방위각 차이(α), 고도각 차이(ϕ), 상대적 법선 방향 차이(θ)의 기하학적 정의를 나타내었다. 이 세 가지 각도 정보는 33차원 히스토그램으로 표현하기 위하여 11개의 특정한 구간(bin)에 나누어 저장된다. 각 포인트의 SPFH 계산 시 세 가지 각도 값은 미리 정의된 11개의 bin 중 하나에 누적되는 방식으로 저장되며 예를 들어 특정 α가 90^o로 계산되면 이 값이 속하는 해당 구간의 bin이 카운트되어 누적되는 방식이다. 이처럼 세 가지 각도 정보가 각각 11개의 bin에 할당 되므로 SPFH는 총 33차원의 벡터로 형성되며 일반적으로 하나의 히스토그램으로 표현된다.

Fig. 2

Overall procedure of FPFH feature computation

2.3 딥러닝 아키텍처

PointNet은 정렬되지 않은(unordered) 3차원 포인트 클라우드를 MLP 구조로 직접 처리하는 최초의 접근 방안을 제시하였다. 또한 포인트의 순서에 무관한(permutation invariance) 표현을 학습할 수 있어 심플한 구조에도 불구하고 분류 및 분할 작업에 강건하고 우수한 성능을 나타내었으며 T-Net을 통해 회전이나 이동과 같은 강체 변환에 대해서도 크게 변화하지 않도록 설계되었다. 하지만 이웃 포인트와의 인접 관계나 세부 기하학적 구조 정보를 활용하지 못하여 지역(local) 특징을 포착하지 못한다는 한계점이 존재하였다.

이에 따라 PointNet++에서는 계층적(hierarchical)으로 확장한 신경망으로 반복적인 특징 추출을 적용함으로써 다중 스케일의 특징 계층을 형성하였다. 즉 이웃 포인트의 지역 구조를 점진적으로 학습하였으며 샘플링(sampling)과 그룹화(grouping) 연산을 통해 지역 구조의 하위 집합을 만들고 각 지역에 PointNet 기반의 서브네트워크를 적용하여 지역 특징을 추출하였다. 이렇게 얻어진 지역 특징들은 다시 상위 레벨에서 주변 지역 특징들과 통합되어 더 큰 문맥(context)을 갖는 특징으로 추상화되며 최종적으로 최상위 계층에서는 전체 형상을 대표하는 전역 특징을 산출하였다.

이후 기존 PointNet++에 최신 데이터 증강과 최적화 기법을 적용하고 학습 용량을 늘림으로써 아키텍처의 특별한 구조 변경 없이도 성능을 크게 향상시킨 PointNeXt가 개발되었다. 이는 MLP 기반 단순한 구조도 개선된 학습 전략과 효율적으로 MLP 병목 구조를 처리한 모델 스케일 업으로 높은 성능을 달성할 수 있다는 것을 밝혔다. 다만 PointNeXt는 근본적인 아키텍처 혁신 보다 기존 모듈의 재구성에 의존하였기에 표준 MLP 기반 네트워크의 내재적 한계를 극복하지 못했다 (Qian et al., 2022).

이러한 배경으로 본 연구에서는 고차원 벡터 표현을 통한 새로운 3차원 포인트 클라우드 추상화(Vector-oriented Point Set Abstraction, VPSA) 기법이 적용된 PointVector를 활용하였다. VPSA 모듈은 기존 SA 모듈을 확장한 형태로 포인트의 특징을 스칼라가 아닌 3차원 벡터로 변환하고 이웃 포인트 특징을 집계하여 방향성을 부여한 것으로 기존 MLP 구조의 방향성이나 구조적 관계를 충분히 포착하지 못한 한계를 극복하였다.

이러한 PointVector는 기본적으로 PointNeXt의 전체 아키텍처를 계승하며 내부의 지역 특징 추출 블록을 VPSA로 치환한 구조를 가진다. 즉 PointNeXt에서는 매 단계마다 Set Abstraction (SA) 모듈과 InvResMLP 모듈이 사용되나 PointVector에서는 InvResMLP 모듈을 LocalVector 모듈로 대체하여 벡터 기반 특징 추출이 적용된다. Fig. 3은 전체 아키텍처를 나타내고 있으며 입력된 3차원 포인트 클라우드는 SA 모듈을 통해 다운샘플링 및 특징 추출이 되고 LocalVector 모듈을 통해 이웃 포인트의 벡터 특징을 집계한 뒤 Feature Propagation으로 다시 업스케일링하고 Segmentation Head에서 각 포인트에 대한 분할(segmentation) 클래스를 예측하여 결과를 산출한다.

Fig. 3

PointVector architecture (Deng et al., 2023)

3. 방법론

3.1 FPFH를 적용한 특징 추출

FPFH 기반 3차원 포인트 클라우드의 기하학적 특징 및 비특징점을 분류하기 위한 과정을 Fig. 4에 나타내었으며 FPFH 계산에 필요한 라이브러리는 Open3D를 활용하여 알고리즘을 구현하였다. 이중 FPFH 특징 히스토그램의 생성은 3차원 포인트 클라우드 처리 분야에 널리 사용되는 전형적인 절차라 할 수 있으며 (Hu et al., 2023) 이를 활용하여 특징점과 비특징점으로 분류하는 과정은 본 연구의 차별점이라 할 수 있다.

Fig. 4

Flowchart of FPFH-based feature extraction

먼저 후처리가 완료된 PLY 포맷의 원본 데이터(raw data)를 활용하였다. FPFH 계산을 위해서는 각 포인트의 표면의 방향을 나타내는 법선 벡터(normal vector)가 필요하며 이는 FPFH의 경우 법선 벡터를 기반으로 기하학적 특성을 계산하기 때문이다. 3차원 포인트 클라우드의 법선 벡터를 추정하기 위해서는 각 포인트 주변의 인접 포인트(neighbor points)를 찾는 것이 핵심이며 본 연구에서는 가장 가까운 인접 포인트를 효율적으로 검색하기 위하여 KD-Tree(K-Dimensional Tree)를 활용하였다. KD-Tree는 다차원 공간에서 가장 가까운 이웃 포인트를 효율적으로 검색 하도록 이진트리 기반의 공간 분할 구조로 설계되었으며 주로 최근접 이웃 검색(Nearest Neighbor Search, NNS), 클러스터링 등 3차원 포인트 클라우드 처리와 같은 응용 분야에 활용되고 있다. 이에 따라 KD-Tree 기반의 검색 반경 내에서 인접 포인트를 식별하고 정확한 추정을 위해 충분한 포인트가 수집 되도록 하였다.

다음으로 법선 벡터를 추정하기 위하여 KD-Tree를 통해 검색된 인접 포인트와 기준 포인트 분포에 주성분 분석(Principal Component Analysis, PCA)을 적용하였다. 3차원 포인트 클라우드에 주성분 분석을 수행하면 3개의 직교하는 주성분 벡터가 계산된다. 이는 각 특정 방향의 포인트 분포를 나타내며 가장 큰 분산을 가지는 벡터는 포인트가 가장 넓게 퍼져 있는 방향(주표면 방향)을 나타내며 가장 작은 분산을 가지는 벡터는 포인트가 가장 적게 퍼져 있는 방향(법선 방향)을 나타낸다. 즉, 가장 작은 분산을 가지는 방향이 곧 주변 포인트의 표면에서 수직인 방향이므로 법선 벡터로 추정하여 활용된다. 따라서 모든 포인트에 대한 주성분 분석을 수행하고 법선 벡터를 추정하였다.

다음으로 2.2절에 설명한 바와 같이 FPFH 기반 33차원 히스토그램을 계산하기 위하여 먼저 SPFH를 계산하였으며 세 가지 핵심 각도인 방위각 차이, 고도각 차이, 상대적 법선 방향 차이를 계산하기 위하여 앞서 주성분 분석으로 추정된 법선 벡터를 활용하였다. 이와 같이 SPFH를 통해 세 가지 각도를 각각 11개의 bin으로 나누어 저장하여 총 33차원의 히스토그램을 형성하였으며 주변 포인트와의 관계를 충분히 반영하기 어렵다는 SPFH의 한계를 극복하기 위하여 인접한 포인트와의 SPFH를 가중 평균한 FPFH 특징 벡터를 형성하였다.

FPFH를 통해 모든 포인트에 대한 특징이 하나의 히스토그램으로 표현되었으며 이는 해당 포인트의 기하학적 지역 특징을 정량화한 데이터라고 할 수 있다. 이처럼 정량화된 특징 히스토그램을 활용하여 상대적으로 특징이 뚜렷한 특징 포인트(feature point)와 그렇지 않은 비특징 포인트(non-feature point)를 분류하였다. 이를 분류하기 위한 지표로는 데이터의 불확실성을 측정하는 엔트로피(Entropy)를 활용하였다. FPFH에서 엔트로피는 각 포인트의 33차원 히스토그램 분포 균일도를 측정하는데 사용되며 이를 통해 3차원 포인트 클라우드 내에서 엔트로피가 높은 포인트와 상대적으로 낮은 포인트로 분류하였다. 엔트로피가 높은 포인트는 해당 FPFH 히스토그램이 여러 bin에 걸쳐 분포되어 있는 영역을 의미하고 엔트로피가 낮은 포인트는 해당 FPFH 히스토그램의 특정 bin에 집중되어 있는 영역을 의미한다.

즉, FPFH 히스토그램의 엔트로피를 계산하면 포인트에 포함된 영역의 기하학적 특징을 정량적으로 평가할 수 있으며 본 연구에서는 여러 bin에 걸쳐 분포되어 있는 영역을 기하학적 지역 특징으로 판단하여 엔트로피가 높은 포인트를 특징 포인트로 선정하여 추출하였다. 이 과정에서 엔트로피 임계값(threshold)을 1.00, 0.97, 0.94, 0.91로 변경하여 특징 포인트 분포의 변화를 분석하였다. 결과적으로 3차원 포인트 클라우드 내의 모든 포인트에 대한 FPFH 히스토그램을 계산한 후 특징 포인트와 비특징 포인트를 분류하기 위하여 엔트로피를 계산함으로써 임계값을 기준으로 특징 포인트를 추출하였다. 분류된 3차원 포인트 클라우드는 각 객체 별로 다시 PLY 포맷의 파일로 저장하였으며 객체 탐지 딥러닝 아키텍처의 학습 및 검증 데이터로 활용하였다.

Fig. 5 (a), (b), (c), (d)는 조선소 현장의 작업자 객체를 대상으로 FPFH 기반 33차원 히스토그램을 임계값에 따라 특징 포인트와 비특징 포인트로 나눈 결과를 나타내었다.　각각 엔트로피가 임계값 보다 낮은 비특징 포인트, 임계값 보다 높은 특징 포인트를 의미한다. 특징 포인트의 경우 목, 팔, 다리 위주의 곡률 변화가 큰 포인트가 추출 되었으며 비특징 포인트는 상대적으로 곡률 변화가 작은 가슴, 복부 위주의 포인트가 추출된 것을 확인하였다. 이처럼 임계값에 따라 추출된 특징 포인트의 수의 조절이 가능하고 본 연구에서는 전체 데이터셋의 50% 다운샘플링을 위해 임계값 0.97의 특징 포인트를 활용하였으며 다른 객체 또한 동일한 방법으로 기하학적 특징을 추출하였다.

Fig. 5

Geometric point extraction based on FPFH

3.2 조선소 딥러닝 데이터셋 구축

본 연구의 조선소 딥러닝 데이터셋 구축을 위한 과정을 네 가지 단계로 나누어 Fig. 6에 나타내었다. 먼저 광대역 LiDAR 스캐너를 활용하여 조선소 내 16곳의 지점에서 계측을 수행하였으며 16곳의 각기 다른 지점에서 계측된 3차원 포인트 클라우드를 확보하였다. 두 번째로 16개 데이터를 하나의 좌표계로 배치하는 데이터 정합(registration)과 노이즈를 제거하기 위한 데이터 정리(cleaning) 과정은 상용 프로그램(Leica Cyclone)을 활용하였으며 의미론적 영역(semantic area)에 대한 후처리(post-processing)를 수행하였다. 세 번째로 후처리가 완료된 원본 데이터를 딥러닝 아키텍처에 적용하기 위하여 의미론적 공간(semantic space)으로 구분하였으며 각 객체 별로 분할하는 작업은 Geomagic Design X를 활용하여 수작업으로 진행하였다. 마지막으로 레이블을 할당하였으며 의미론적 요소(semantic elements)로 레이블이 할당된 객체는 ground, worker, lift, ladder_1, ladder_2, foothold, support_1, support_2, steel plate, scaffold, shipblock, shop, rack으로 총 13개의 범주로 구성하여 데이터셋을 구축하였다 (Jung and Lee, 2025).

Fig. 6

Overview of the main process for constructing a shipyard deep learning dataset

Fig. 7에는 차례대로 의미론적 분할(semantic segmentation)을 통해 분할된 각 객체의 Random, Uniform, Voxel grid down-sampling 및 FPFH 기반 기하학적 특징 데이터를 가시화하여 나타내었다. 이는 앞서 3.1절의 특징 추출 방법을 적용한 결과이며 각각 원본 데이터를 기반으로 추출하였다. 또한 딥러닝 학습을 위한 데이터셋의 경우 Random+FPFH, Uniform+FPFH, Voxel grid+FPFH로 나누어 구축하였다.

Fig. 7

FPFH based extracted features for shipyard objects

4. 특징 증강 결과 및 분석

Table 1 상단에는 기존 다운샘플링 기법과 FPFH 기반 기하학적 특징 증강 여부에 따른 각 객체 별 포인트 수를 나타내었다. 원본 데이터는 총 88,028,273개의 포인트를 포함하고 있으며 다운샘플링 데이터셋은 50% 수준으로 축소하였다. 일반적으로 적절한 다운샘플링은 노이즈를 줄이면서도 중요한 형상 특징을 보존할 수 있어야 하며 이에 FPFH 기반 기하학적 특징을 증강한 Random+FPFH, Uniform+FPFH, Voxel grid+FPFH 데이터셋은 기존 다운샘플링 기법을 통한 30% 포인트와 FPFH 기반 특징 추출을 통한 20% 포인트를 결합하여 구축되었다. 이때 Random 및 Uniform down-sampling의 경우 일정한 비율로 포인트를 감소시킬 수 있으나 Voxel grid down-sampling은 복셀의 크기에 따라 포인트가 감소되기 때문에 객체 별 포인트 분포에 차이가 발생하였다. 이처럼 기하학적 특징 증강으로 인해 객체 별 포인트 수는 달라졌으나 전체 포인트 수는 유사하게 감소하였다.

Table 1

Comparison of point counts and object detection IoU across different point cloud processing methods

Table 1 하단 및 Fig. 8은 각 데이터셋에 따른 객체 별 IoU(%)와 mIoU를 나타내었다. 원본 데이터셋 기준 mIoU는 66.47%이며 기존 다운샘플링 기법만 적용된 데이터셋의 경우 Random(63.98%), Uniform(64.66%), Voxel grid(64.96%)로 모두 감소하였으며 이는 포인트 수의 감소에 따른 형상 특징 손실로 인해 객체 탐지 성능이 감소한 것으로 판단된다. 반면 특징 증강 데이터셋 Random+FPFH와 Uniform+FPFH는 각각 +6.79%(70.77%), 69.72%(+5.06%)로 크게 향상되어 원본 데이터셋 이상의 성능을 보였으나 반면 Voxel grid+FPFH는 65.14%(+0.18%) 다소 미미한 개선 효과를 보였다.

Fig. 8

Comparison of object detection performance

특히 worker, support_1, lift 객체에서 기하학적 특징 증강의 효과가 큰 것으로 나타났다. 이 객체들은 다양한 곡률 변화로 인한 특징을 포함하고 있어 FPFH 기반 기하학적 특징 증강의 효과가 뚜렷이 나타나는 것으로 판단된다. 원본 데이터셋 worker 객체의 IoU가 61.01%인데 비해 기존 다운샘플링 기법만 적용한 경우 각각 42.24%, 47.61%, 37.25%로 원본 데이터셋에 비해 모두 성능이 급락한 것으로 나타났으나 기하학적 특징 증강 시 Random+FPFH은 +32.40%(74.64%) 상승하였고 Uniform+FPFH는 +21.77%(69.38%) 상승하여 원본 데이터셋 이상의 객체 탐지 성능을 보여주었다. 한편 Voxel grid+FPFH는 +13.85%(51.10%) 상승하였으나 원본 데이터셋 이상의 성능에는 미치지 못하였으며 이는 Voxel grid 데이터셋이 이미 기하학적 특징을 포함하고 있기 때문으로 판단된다.

다음 원본 데이터셋 support_1 객체의 IoU가 49.64%인데 비해 기존 다운샘플링 기법만 적용한 경우 52.84%, 59.43%, 44.87%로 Voxel grid 데이터셋을 제외한 Random, Uniform 데이터셋의 성능이 향상되었으며 기하학적 특징을 증강한 데이터셋의 경우 Random+FPFH, Uniform+FPFH, Voxel grid+FPFH 각각 +14.73%(67.57%), +7.50%(66.93%), +12.51%(57.38%)로 모두 큰 폭으로 객체 탐지 성능이 향상된 것을 보여주었다. 또한 원본 데이터셋과 비교하여도 객체 탐지 성능이 크게 향상되었다.

다음으로 원본 데이터셋의 lift 객체 IoU는 72.53%이며 기존 다운샘플링 기법만 적용한 경우 각각 69.53%, 72.38%, 66.83%로 다소 차이는 있지만 원본 데이터셋에 비하면 모두 성능이 하락한 것으로 나타났다. 하지만 기하학적 특징을 증강한 경우 +11.69%(81.22%), +6.48%(78.86%), +5.14%(71.97%)로 모두 향상되었으며 Random+FPFH, Uniform+FPFH 데이터셋은 원본 데이터셋 보다 높은 성능을 나타내었다.

foothold 객체의 경우 원본 데이터셋 IoU는 81.55%로 비교적 높게 나타났으며 기존 다운샘플링 기법만 적용한 경우 83.46%, 78.74%, 82.31%로 큰 폭의 성능 향상 및 저하는 보이지 않았으며 전반적으로 유사한 성능을 보였다. 반면 기하학적 특징 증강 시 -2.76%(80.70%), +5.45%(84.19%), -1.25%(81.06%)를 보이며 Uniform+FPFH 데이터셋만 원본 데이터셋에 비해 높은 성능을 보여주었으며 나머지 데이터셋은 특징 증강 효과가 제한적인 것으로 나타났다.

대표적인 평면 구조물인 steel plate 객체의 경우 원본 데이터셋 IoU가 74.04%이며 기존 다운샘플링 기법만 적용한 경우 59.76%, 62.19%, 71.40%로 Random, Uniform 데이터셋의 경우 객체 탐지 성능이 급격히 하락하였으며 Voxel grid 데이터셋의 경우 상대적으로 하락폭이 작았다. 기하학적 특징 증강 시 +10.27%(70.03%), +8.93%(71.12%), -16.00%(55.40%)로 앞서 foothold객체와 유사하게 Voxel grid 데이터셋은 특징 증강의 효과가 제한적인 것으로 나타났으며 모두 원본 데이터셋 성능에 미치지 못하였다.

이처럼 foothold, steel plate와 같이 평면 구조를 포함하는 객체의 경우 Voxel grid down-sampling으로 인해 이미 내부 평면의 포인트가 과도하게 축소된 상태에서 모서리와 같이 곡률 변화가 큰 FPFH 기반 기하학적 특징 증강이 오히려 특징 불균형을 초래한 것으로 판단된다. 이로 인해 모서리를 과도하게 표현하고 평면 정보를 과소 표현하여 특징 증강이 제한적이거나 부정적인 영향을 미친 것으로 판단된다.

ladder_2 객체의 경우 원본 데이터셋 IoU 56.08%에 비하면 기존 다운샘플링 데이터셋은 각각 57.65%, 55.37%, 69.22%로 Voxel grid 데이터셋의 IoU는 기하학적 특징을 증강한 데이터셋 보다 더 우수한 성능을 보였으며 이는 Voxel grid 데이터셋이 ladder_2 객체 전반의 구조적 특징을 충분히 표현하였기 때문으로 보인다. 기하학적 특징을 증강한 경우 Random+FPFH와 Uniform+FPFH는 +4.63%(62.28%), +4.76%(60.13%) 향상되었으나 Voxel grid+FPFH는 –8.63%(60.59%) 감소하였으며 이는 특징 증강이 오히려 성능 저하를 초래할 수 있음을 보여주었다. 그러나 원본 데이터셋에 비해 모든 특징 증강 데이터셋의 성능이 향상된 것을 보여주었다.

support_2 객체도 원본 데이터셋 IoU 81.18%로 높게 나타났으며 기존 다운샘플링 기법만 적용 시 각각 83.13%, 83.42%, 81.11% 전반적으로 유사한 성능을 보였다. 기하학적 특징 증강 시 +8.10%(91.23%), +4.72%(88.14%), -1.57%(79.54%)를 나타내며 Random+FPFH와 Uniform+FPFH는 원본 데이터 이상의 성능을 보였으며 Voxel grid+FPFH는 특징 증강 시 중복되는 특징 편향으로 인해 성능이 제한된 것으로 판단된다.

다음으로 rack 객체의 경우 원본 데이터셋 IoU가 73.10%로 나타났으며 기존 다운샘플링 기법 적용 시 77.51%, 76.23%, 80.76%로 모두 성능이 향상되는 경향을 보였다. 기하학적 특징 증강 시 +2.50%(80.01%), +0.80%(77.03%), -3.01%(77.75%)로 나타났으며 Voxel grid+FPFH의 경우 특징 증강으로 인해 오히려 성능이 저하된 것을 확인하였으나 원본 데이터셋에 비하면 모두 성능이 향상되었다.

이처럼 ladder_2, support_2, rack 객체와 같이 Voxel grid down-sampling으로 이미 높은 성능을 보인 경우 FPFH 기반 기하학적 특징 증강은 특징의 중복성 또는 특징 편향을 초래하여 모서리와 같은 특징에 과도하게 의존함으로써 다른 측면의 중요한 특징을 무시하여 성능 저하를 초래한 것으로 판단된다.

scaffold 객체의 경우 원본 데이터셋 IoU가 35.04%로 낮게 나타났으며 기존 다운샘플링 기법 적용 시 32.66%, 28.55%, 33.59%로 전반적으로 성능이 하락하였다. 반면 기하학적 특징 증강 시 +1.05%(33.71%), +5.00%(33.55%), +3.85%(37.44%)로 모두 성능 향상 효과를 나타내었으나 Voxel grid+FPFH 데이터셋만 유일하게 원본 데이터셋 이상의 성능을 보여주었다.

다음으로 원본 데이터셋의 ladder_1 객체 IoU는 원본 데이터셋을 포함한 모든 데이터셋에서 객체를 탐지하지 못하였다. 이와 같은 객체는 부피에 비해 적은 포인트 수로 이루어져있어 밀집도가 낮고 상대적으로 매우 가느다란 특징으로 인해 충분히 학습되지 못한 것으로 판단된다. 반면에 ground, shipblock, shop 객체와 같이 상대적으로 크기가 크고 많은 수의 포인트를 포함하고 있는 객체의 경우 특징 증강 없이도 이미 높은 IoU를 나타내었으며 이는 원본 데이터가 이미 충분한 특징을 보유하고 있기 때문에 특징 증강의 효과가 적은 것으로 판단된다.

앞서 결과들을 종합하면 객체의 형상 특징과 기존 다운샘플링 방법에 따라 FPFH 기반 기하학적 특징 증강 효과가 상이한 것으로 나타났다. foothold, steel plate와 같이 평면 구조를 가진 객체의 경우 지역적인 특징이 뚜렷하지 않고 평면의 표면 형상이 중요한 객체이므로 FPFH 기반의 기하학적 특징 증강의 효과가 제한적이었으며 Voxel grid 데이터셋과 결합 시 오히려 객체 탐지 성능을 감소시키는 결과를 초래하였다. 반면에 복잡한 구조 및 모서리가 강조된 객체(worker, support_1, lift)의 경우 기존 다운샘플링으로 인한 중요 특징의 손실 위험이 높아 특징 증강이 이러한 손실을 보완하여 객체 탐지 성능 향상이 뚜렷한 것으로 나타났다. 본 객체 탐지 결과는 객체의 형상 특징과 적용되는 다운샘플링 방법의 특성을 고려한 적절한 특징 증강 전략의 중요성을 보여주었으며 특정 형상 객체에는 특징을 효과적으로 복원하고 강화하여 딥러닝 아키텍처에 풍부한 표현을 제공하는 반면 다른 형상 객체에는 신중한 적용이 필요함을 보여주었다.

5. 결 론

본 연구에서는 FPFH 기반 3차원 포인트 클라우드 특징을 추출하고 기존 다운샘플링 데이터와 결합하여 특징이 증강된 딥러닝 데이터셋을 구축하는 방안을 제안하였으며 이를 조선소 산업 환경의 딥러닝 데이터셋 구축에 적용하여 객체 탐지 정확도에 미치는 영향을 분석하였다. 이는 단순히 데이터셋의 경량화를 넘어 객체의 주요 형상 정보를 보존하고 강화함으로써 데이터의 품질을 향상시키는 접근 방식이다. 그 결과 원본 데이터셋이나 기존 다운샘플링 데이터셋에 비해 일부 객체에서 IoU가 유의미하게 향상된 것을 확인하였으며 특히 다양한 곡률 변화를 포함하는 worker, support_1 객체의 경우 IoU가 크게 향상되는 효과를 확인하였다. 이는 FPFH를 통해 추출된 풍부한 기하학적 특징이 데이터셋의 표현력을 높여 객체의 고유한 형태를 충분히 학습할 수 있도록 기여했기 때문으로 분석된다. 이러한 결과는 대용량 3차원 포인트 클라우드를 효율적으로 처리하여 딥러닝 학습 자원 및 비용을 절감하고 조선소 자동화 기술 개발에 기여할 수 있을 것으로 기대된다. 하지만 모든 객체 유형에 대해 기하학적 특징이 일관되게 성능 향상을 가져오는 것은 아니며 일부 객체에서는 오히려 원본 데이터셋보다 성능이 하락하는 결과를 나타내었다. 이는 과도한 정보 손실이 특징 증강으로도 충분하지 않기 때문으로 추정된다. 또한 비교적 단순한 평면 구조를 포함하는 객체(foothold, steel plate)의 경우 특징 증강 효과가 제한적이거나 미미한 성능 저하를 유발하였으며 이는 FPFH가 복잡한 기하학적 특징 추출에는 유리하지만 단순한 평면 특징에는 효과를 발휘하지 못하고 모서리 위주의 특징을 추출하기 때문으로 보인다. 이에 따라 향후에는 FPFH 특징 증강 기법의 효과를 높이기 위하여 객체의 특성을 고려한 특징 추출 및 증강 기법을 모색할 계획이며 기하학적 특징 증강의 효과가 미미한 객체의 경우 위상학적 특징을 추가하여 객체 탐지 성능을 향상시키고자 한다.

Acknowledgments

본 연구는 2025년도 교육부 및 전라남도의 재원으로 전라남도RISE센터의 지원을 받아 수행된 지역혁신중심 대학지원체계(RISE)의 결과입니다.(2025-RISE-14-002)

References

• Chen, C.S., Chen, P.C. and Hsu, C.M., 2016. Three-dimensional object recognition and registration for robotic grasping systems using a modified viewpoint feature histogram. Sensors, 16(12), 1969. [https://doi.org/10.3390/s16111969]
• Deng, X., Zhang, W., Ding, Q. and Zhang, X., 2023. PointVector: A vector representation In point cloud analysis. arXiv preprint arXiv:2205.10528v3, [cs.CV]. [https://doi.org/10.1109/CVPR52729.2023.00912]
• Gan, Z., Ma, B. and Ling, Z., 2024. PCA-based fast point feature histogram simplification algorithm for point clouds. Engineering Reports, 6, e12800. [https://doi.org/10.1002/eng2.12800]
• Hashimoto, H. and Enokida, S., 2024. Relationship between semantic segmentation model and additional features for 3D point clouds obtained from on-vehicle LIDAR. Proceedings of the 19th International Conference on Computer Vision Theory and Applications (VISAPP 2024), Rome, Italy, 27-29 February. [https://doi.org/10.5220/0012374400003660]
• Hu, C., Ru, Y., Fang, S., Zhou, H., Xue, J., Zhang, Y., Li, J., Xu, G. and Fan, G., 2023. A tree point cloud simplification method based on FPFH information entropy. Forests, 14(8), 1507. [https://doi.org/10.3390/f14071507]
• Jung, K.S. and Lee, D.K., 2025. Analysis of object detection accuracy based on the density of 3D point clouds for deep learning-based shipyard datasets. International Journal of Naval Architecture and Ocean Engineering, 17, 100648. [https://doi.org/10.1016/j.ijnaoe.2025.100648]
• Lee, D.K., Ji, S.H. and Park, B.Y., 2021. Object detection and post-processing of LNGC CCS scaffolding system using 3D point cloud based on deep learning. Journal of the Society of Naval Architects of Korea, 58(5), pp.303-313. [https://doi.org/10.3744/SNAK.2021.58.5.303]
• Lee, D.K. and Park, B.Y., 2023. A case study for 3D scanning-based quantitative quality control during key stages of composite small craft production. International Journal of Naval Architecture and Ocean Engineering, 15, 100534. [https://doi.org/10.1016/j.ijnaoe.2023.100534]
• Park, B.Y., 2023. A digital quality control method for ships based on point cloud data considering 3D scanning characteristics. Ph.D. Thesis. Mokpo National Maritime University.
• Qian, G., Li, Y., Peng, H., Mai, J., Hammoud, H., Elhoseiny, M. and Ghanem, B., 2022. PointNeXt: Revisiting PointNet++ with improved training and scaling strategies. Advances in Neural Information Processing Systems, 35, pp.23192-23204.
• Rusu, R.B., Blodow, N. and Beetz, M., 2009. Fast Point Feature Histograms (FPFH) for 3D registration. Proceedings of the 2009 IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, 12-17 May, pp.38-45. [https://doi.org/10.1109/ROBOT.2009.5152473]
• Xie, Y., Nanlal, C. and Liu, Y., 2024. Reliable LiDAR-based ship detection and tracking for autonomous surface vehicles in busy maritime environments. Ocean Engineering, 312, 119288. [https://doi.org/10.1016/j.oceaneng.2024.119288]
• Zheng, L. and Li, Z., 2021. Virtual namesake point multi-source point cloud data fusion based on FPFH feature difference. Sensors, 21(16), 5441. [https://doi.org/10.3390/s21165441]