카메라의 색상 정보를 라이다의 점군데이터에 투영시키기 위해서는 두 센서 간의 기하학 정보가 필요하며, 카메라 자체의 왜곡을 포함한 내부 고유 파라미터 정보를 얻기 위하여 캘리브레이션을 수행하였다. 특히, 카메라-라이다 간의 캘리브레이션은 두 센서 간의 상대적 회전 및 평행 이동 정보가 포함된 두 센서 사이의 외부 파라미터[R|t]를 구하는 것이다. 이를 위해 ArUco 마커를 이용하여 3차원 공간에서의 점 대응을 이용한 카메라-라이다 캘리브레이션을 수행하였다 (Dhall et al., 2017). 그리고 카메라 이미지 내의 각 픽셀에 대응되는 라이다 점군데이터에 카메라의 RGB 색상 정보 값을 대입함으로 카메라-라이다 투영을 수행하였다.

카메라의 특성상 외부 조도 변화에 따라 이미지 내 색상 정보는 민감하게 변하며, 저조도 환경에서 획득한 이미지에서 추출한 색상 정보를 라이다의 점군데이터에 직접적으로 투영시키면 객체 본연의 색상 정보를 반영하는데 한계가 있다 (Zhang et al., 2022). 무인수상선에 탑재된 카메라를 이용하여 획득한 저조도 환경의 이미지 밝기를 자동으로 보정하기 위해 감마 보정(gamma correction) 및 히스토그램 스트레칭(histogram stretching) 기법을 순차적으로 적용하였다. 감마 보정 기법은 입력된 이미지에 비선형적 변환 함수를 적용하여 출력 이미지의 대비를 개선하는 기법으로 다음 식 (1)을 이용하여 이미지를 변환할 수 있다 (Kusuma and Santoso, 2022).

위의 식에서 I는 입력 이미지를 나타내며 I'는 감마 보정이 적용된 출력 이미지를 나타낸다. 보정되어 출력된 이미지는 명암대비가 낮아지고 히스토그램이 특정 구간으로 밀집되어 전반적으로 흐려지는 효과가 이미지에 나타나는 단점이 있다. 흐려진 이미지의 색상 정보를 활용하여 라이다 융합을 통해 정합한다면 정확한 색상 표현이 어려워지기 때문에 명암 대비를 높여 흐려진 이미지의 색상 정보를 선명하게 보정하는 전처리 기법 적용이 필요하다.

히스토그램 스트레칭 기법을 추가로 적용하여 이미지의 색상 정보를 보정하였다. 히스토그램 스트레칭은 히스토그램의 최솟값(minimum)과 최댓값(maximum)을 이용하여 히스토그램을 전 구간으로 분포시키는 기법으로 명암 대비가 높아지고 선명한 이미지로 보정된다 (Kaur and Sohi, 2017). 히스토그램 스트레칭은 이미지의 전체 픽셀값 범위에서 이미지의 최솟값과 최댓값을 결정하고 최솟값을 0으로, 최댓값을 255(0~1로 정규화하면 1)로 매핑하여 이미지의 특정 구간에 밀집된 히스토그램을 전 구간 범위로 확장하는 것으로 식 (2)와 같은 식을 통해 정의할 수 있다.

여기서, I'는 감마 보정이 적용된 이미지이고, I''는 히스토그램 스트레칭이 적용된 출력 이미지이다. 그리고 G_min은 픽셀값 중 최솟값이며 G_max는 최댓값에 해당한다.

본 연구에서 제안된 매핑 프레임워크의 성능을 검증하기 위해 개발한 무인수상선은 Fig. 2와 같이 선체의 길이가 2m급인 쌍동선 타입의 쌍축, 쌍타형으로 설계되었다. 그리고 Fig. 3은 무인수상선의 시스템의 구성도를 나타내며, 항법 및 제어 시스템, 추진 시스템, 통신 시스템, 인식 시스템 등으로 구성되어 있다. 항법 및 제어 시스템에서는 탑재된 GNSS-compass와 IMU 센서를 이용하여 무인수상선의 위치와 자세 정보를 계측하고, 사전에 정의된 경유점을 자율적으로 추종하는 유도 및 제어 기법이 구현되어 있다. 추진 시스템은 쌍축, 쌍타형으로 추진기와 방향타의 제어 명령에 따라 속도 및 각도를 제어하도록 구현되었다. 그리고 통신 시스템은 원격으로 무인수상선의 기본적 상태 모니터링을 가능하도록 2.4GHz 대역의 무선 LAN 모듈과 비상 운항 시의 긴급 원격 제어를 위한 RF 통신 모듈을 포함하고 있다. 인식 시스템은 주로 3차원 공간 정보를 생성하는 용도로, 카메라(blackfly S USB3)와 라이다(ouster OS1-64)로 구성하였다. 탑재 라이다는 최대 120m 범위의 거리 측정이 가능하고, 수직으로 45도 범위의 스캔이 가능하다. 시스템의 운영체제는 각 모듈 간의 연계성과 확장성을 고려한 로봇운영체제(ROS, Robot Operating System)를 기반으로 구성하였다.

Fig. 2 
System overview of the developed ASV

Fig. 3 
Hardware system diagram of the ASV

무인수상선을 운용하는 영역 내의 디지털 트윈 공간을 자동으로 생성하기 위해 무인수상선이 자율적으로 운항하며 탑재된 카메라 및 라이다를 이용하여 데이터를 확보하도록 자율운항 시스템을 구축하고 경유점 추종을 위한 유도 및 제어 기법을 구현하였다. 운용하는 영역 내에서의 운항 범위와 인식 시스템의 운용 한계를 고려하여 경유점을 선정하였다. 선정한 경유점을 순차적으로 추종하기 위해 시선각(LOS, Line Of Sight) 유도 기법을 기반으로 식 (10)과 식 (11)을 통하여 현시점에서의 경유점을 추종하기 위한 무인수상선의 목표 침로를 산출하였다 (Park et al., 2023; Heo et al., 2023). 각 식에서 사용된 주요 인자와 좌표계는 Fig. 4와 같이 정의하였다.

Fig. 4 
Coordinates for waypoint guidance and tracking approach

여기에서, x_asv, y_asv 및 xwpc, ywpc는 무인수상선과 목표 경유점의 위도와 경도의 단위를 Universal Transverse Mercator (UTM) 좌표계로 변환한 2차원 평면에서의 위치를 의미하며, 단위는 미터(m)로 나타낸다. 그리고 ψ_asv는 현시점에서 무인수상선에 대한 선수각 정보를 나타낸다. 좌표계 x축을 기준으로 현재 목표 경유점의 각도는 ψ_d로 나타내고, ψ_e는 무인수상선의 현재 선수 각을 기준으로 목표 경유점까지의 각도 오차를 나타내며, 이 오차는 시선각 오차로 정의하였다.

경유점 간의 직선거리를 최대한 유지하며 3차원 공간 정보를 확보하기 위해서 수선 거리(cross track) 유도 기법을 동시 적용하였다. 이전의 경유점 xwpp, ywpp에서 현재 목표 경유점 xwpc, ywpc으로 이동할 때, 두 경유점 간의 직선과 현재 무인수상선 위치와의 수선 거리를 오차인 수선 거리 오차(CTE, Cross Track Error)로 정의하고, 다음 식 (12)~(14)를 통하여 산출하였다.

산출된 시선각 오차 및 수선 거리 오차를 최소화하는 침로 제어 명령을 생성하기 위해 PD 제어기를 다음 식 (15)와 같이 구현하였다.

여기에서 KlosP와 KlosD, KcteP와 KcteD는 각각 시선각 오차 및 수선 거리 오차에 대한 비례와 미분제어 게인이며, T_cte는 거리 단위에서 각도 단위로 변환하는 상수를 나타낸다.

개발한 무인수상선을 이용하여 설계한 매핑 프레임워크를 통해 디지털 트윈 공간에서 활용할 3차원 공간 정보를 생성하는 실험은 대전 방동저수지 수역에서 수행하였다. Fig. 5와 같이 실험 공간에서는 인공 구조물인 교량 2개가 한쪽 면에 접해있고 그 외에는 숲과 나무로 둘러싸여 있는 공간에서 무인수상선의 운용 가능한 범위 내에서 총 13개의 경유점을 설정하여 자율적으로 운항하며 인식 및 항법 센서의 데이터를 취득하는 실험을 수행하였다. Fig. 5에서 점선으로 표현된 경유점 간 직선 구간의 경우는 라이다의 탐지 범위를 벗어나 점군데이터가 없는 영역을 나타낸 것이며, 실선으로 표현된 구간의 데이터를 활용하여 3차원 공간 정보를 생성하였다.

Fig. 5 
A Snapshot image of the field test environment and the predefined waypoints for inland water experiments

본 연구에서 개발한 무인수상선의 자율운항에 관한 기본 성능을 검증하는 실험을 진행하였다. 선회 시험의 경우 무인수상선의 최대 선회경의 전술직경이 각 3.6L과 3.75L이었으며, 무인수상선의 선체 길이(L=2m)의 5배가 넘지 않은 것을 확인하였다. 지그재그 시험의 경우 좌현과 우현 각각 10°/10°의 1차 오버슈트 각(overshoot angle)과 2차 오버슈트 각의 차이가 15도를 초과하지 않았고, 20°/20°의 1차 오버슈트 각은 25도를 초과하지 않았다. 따라서 선회 시험 및 지그재그 시험을 통하여 IMO에서 제시하는 조종성 기준에 부합함을 확인하였다(Table 1).

자율운항을 위한 경유점 추종 제어 시험을 위해 각 경유점 도달 여부를 결정하는 허용반경(acceptance radius)은 무인수상선의 선체 길이의 3배인 6m로 설정하였다. 시험 결과(Fig. 6)에서의 검은색 실선은 연속된 경유점을 직선으로 연결한 최적 경로를 나타내며, 빨간색 점선은 구현된 유도 및 제어 기법에 따라 무인수상선이 운항한 궤적을 나타낸다. 목표 경유점에 도달하여 새로운 목표 경유점으로 운항하는 과정에서 궤적의 오차가 발생하는 것을 볼 수 있으나 기준 경로에 대한 수선 거리의 평균 제곱근 오차(RMSE)는 1.225m로 선체 길이를 고려하면 2m 이내의 오차 범위를 갖으므로 구현한 유도 및 제어 기법의 성능이 좋은 것을 확인하였다. 그리고 경유점 추종 제어 실험에서 PD 제어기의 게인을 찾기 위하여 가변하며 실험을 수행하여 적합한 제어 게인을 선정하였다.

Fig. 6 
Field test results of the proposed waypoint guidance and tracking approach

무인수상선이 자율운항 과정에서 교량에 근접하거나 빛을 마주 보고 운항하는 상황에서 카메라의 조도가 낮아지는 상황이 빈번하게 발생하였다. 또한, 카메라 렌즈의 밝기 설정 시에는 실외에서의 실험임을 고려하여 빛의 수면 반사 등과 같은 빛의 잡음을 최소화하기 위해 실제 밝기보다 다소 어둡게 설정하였다. Fig. 7에서 상단에 있는 이미지 데이터 세트를 보면, 조도가 낮은 이미지들이 계측된 것을 볼 수 있으며, 제안한 전처리 기법을 적용하여 색상 정보가 크게 개선됨을 확인할 수 있다.

Fig. 7 
Results of the image preprocessing: brightness enhancement for low-light images; from top to bottom original image, gamma corrected image, gamma corrected and histogram stretching image

감마 보정 기법에서는 식 (1)의 γ값 설정이 필요한데, 실험 환경에서 확보한 이미지들의 히스토그램 분석을 통한 통계적 데이터를 토대로 γ값을 0.3으로 적용하였다. 이를 통해서 Fig. 7과 같이 원본 이미지에 감마 보정 기법을 적용한 결과 상대적으로 어두운 부분이 밝아짐을 확인하였다. 전반적으로 밝아지는 부분은 개선되었으나, 명암대비가 낮아져 이미지에 안개가 낀 것과 같이 이미지가 전체적으로 흐리게 나타난 것을 확인하였다. 이를 개선하기 위해 히스토그램 스트레칭 기법을 적용하여 명암대비를 높인 이미지를 획득하였고, 그 결과 이미지를 Fig. 7의 하단에 표기하였다.

라이다의 점군데이터는 10Hz로 입력되고 무인수상선의 운항 속도는 1kn로 유지하면서 운항하므로 상대적으로 이동 거리가 매우 짧은 상황이다. 이러한 상황은 연속적으로 많은 점군데이터가 입력되어 전처리를 수행하는 연산 과정에서 큰 부하를 발생시킨다. 따라서, 짧은 이동 지점에서 계측된 점군데이터에는 많은 부분이 중복되고 잡음에 의한 공간 정보의 왜곡이 발생할 수 있으므로, 이를 최소화하기 위하여 무인수상선이 약 2.5m 간격으로 운항하며 점군데이터를 계측하도록 설정하였다. 그리고 입력되는 점군데이터의 잡음을 최소화하기 위해 무인수상선의 선체 크기와 라이다 센서의 탑재 위치 정보를 반영한 pass through 필터를 적용하였고, 연산 효율을 증대시키기 위하여 voxel grid downsampling 기법을 통해 0.5m 간격의 밀집된 점군데이터를 하나의 점군데이터로 표현하여 잡음을 최소화하였다.

전처리 과정을 통한 카메라 및 라이다의 데이터를 매핑하여 디지털 트윈 공간에서의 활용이 가능한 3차원 공간 정보를 생성한 결과는 Fig. 8과 같다. Fig. 8(a)는 드론을 활용하여 촬영한 실험 영역의 촬영한 이미지이며, Fig. 8(b)는 라이다는 점군데이터의 전처리 기법이 적용되었으나 카메라의 이미지 전처리 기법이 적용되지 않아 상대적으로 저조도 색상 정보가 반영된 매핑 결과로 실제 촬영한 이미지와 상이한 점이 많이 있음을 볼 수 있다. Fig. 8(c)는 라이다의 점군데이터와 카메라의 이미지 전처리 기법이 적용되어 매핑 결과로, 보정된 색상 정보가 반영된 3차원 공간 정보가 Fig. 8(a)의 촬영 이미지 정보에 근접함을 확인할 수 있다. 그리고 라이다의 점군데이터가 전처리 과정 및 G-ICP 기법을 적용한 과정에서 소실되는 영역이 발생하였는데, 이는 무인수상선의 자세 급변에 따라서 잡음으로 분류되어 제외되는 현상으로 확인된다.

Fig. 8 
Results of 3D spatial reconstruction using camera and LiDAR mounted on the developed ASV: (a) test site image for the field test in inland water environment; (b) a 3D spatial reconstruction result using camera and LiDAR without the proposed approach; (c) a 3D spatial reconstruction result using camera and LiDAR with the proposed approach