깊이카메라를 이용한 파고장 계측 시스템의 구축

2.1 깊이카메라

실험에 사용된 깊이카메라는 Azure Kinect (Microsoft, Redmond, WA)이다. Fig. 1은 Azure Kinect의 형상과 센서 배치도이다. 해당 장비는 적외선 Time-of-flight 기반의 깊이카메라 센서에 더하여 일반 가시광선 영역의 카메라, 방향 추적이 가능한 7개의 마이크로폰, 6자유도 운동의 계측이 가능한 관성 계측 장치(Inertial measurement unit, IMU)를 갖추었다.

Fig. 1

Sensor arrangement of Azure Kinect

Azure Kinect에 내장된 관성 계측 장치는 중력의 방향을 감지하는데 이용하였다. 장비를 수면에 수직으로 정렬한다면, 내장된 가속도계에서 장비의 길이 방향 축이 중력방향과 일치하여 해당 방향의 가속도계에 중력가속도의 값이 나올 것을 기대할 수 있다.

적외선 Time-of-flight(ToF)는 Azure Kinect에 설치된 적외선 방사기에서 적외선을 방사, 전방의 장애물을 맞고 돌아오기까지의 시간을 계측하여 거리를 추정하는 방식이다. 다만 방사된 적외선 신호가 방사 순간의 시간정보를 포함해야 해서 연속적인 적외선 방사는 불가능하고, 1초에 최대 30회의 신호를 방사하도록 설계되었다. 따라서 Azure Kinect를 통해 깊이이미지(depth image)는 최대 30 Hz로 얻어진다. 이는 일반적인 파고계에 비하면 다소 낮은 값이나, 한 번에 넓은 영역의 파고 데이터를 구한다는 장점과, 수조시험에서는 0,5 – 3초 영역의 주기의 수면파를 주로 다룬다는 점을 감안하면, 전체적인 파형 분포를 구하기 위한 시험의 목적으로는 적합한 수준으로 판단하였다.

깊이카메라에 적용한 작동 조건을 Table 1에 나타내었다. 깊이카메라는 1024×1024 픽셀(pixel)의 깊이 센서 상의 각 픽셀에 대해 카메라에서 인식된 물체까지의 깊이 정보를 1 mm 단위로 기록한다. Azure Kinect의 구동 설정에서 화각과 정확도를 사용자가 선택할 수 있는데, 본 연구에서는 계측면의 왜곡이 작도록 가장 좁은 75˚×65˚ 화각(Narrow Field of View, NFOV)을 갖도록 설정하였다. 그리고 데이터의 잡음을 줄이기 위해 Binned 조건을 설정, 한 픽셀의 깊이 정보를 주위와 비교하여 유효성을 검증하도록 하였다. 수면파는 연속적인 물리현상이므로, 이렇게 주위 픽셀과의 비교를 통한 검증이 계측 결과의 잡음 수준을 낮춰 실험 정확도 향상에 좋은 효과를 줄 것으로 보았다. Binned 조건의 적용 시 계측면에서 공간해상도는 320×288 픽셀로 줄어든다.

Table 1

Depth camera supported operating modes

화각이 정해지면 깊이카메라와 수면간의 거리에 따라 관측 영역의 면적이 결정된다. 깊이카메라의 유효 계측 거리는 0.5 – 3.86 m이다. 따라서 최대 파고 조건에서 깊이카메라와 수면간의 거리는 0.5 m 이상을 유지해야 한다.

2.2 조파 수조

실험은 충남대학교 2차원 조파수조를 이용하여 수행되었다. 조파수조는 길이 18 m, 폭 1.2 m로, 수심은 1 m 이하에서 조절 가능하다. 본 연구에서는 0.7 m의 수심을 적용하였다. 본 연구에서 수면과 Azure Kinect의 거리는 600 mm로 설정하였다. Fig. 2는 Azure Kinect를 이용한 수면파 계측의 배치도이다.

Fig. 2

Arrangement of the wave flume and Azure Kinect for wave height field measurement

조파기는 피스톤 타입으로, 조파판이 전후로 이동하며 수면파를 생성한다. 작동 주기는 0.35초에서 1.35초로, 무한수심 조건에서는 파장(λ) 0.19 m에서 2.8 m에 대응된다. 본 조파수조에서 사용하는 통상적인 실험 모형의 길이(L)가 1 m 내외임을 고려하면, 파장비(λ/L) 0.2에서 3.0 정도의 영역이 된다.

파고 계측의 비교를 위해 용량식파고계(AWP-24-2, AKAMINA Technologies, Ottawa, Canada)를 조파기에서 8 m 떨어진 위치에 배치하여 조파기 제어 주기, 스트로크에 대한 수면파를 계측하였다. 그리고 용량식 파고계의 계측 지점에 Azure Kinect의 계측면 중심이 위치하도록 배치하여 동일 파조건에 대한 계측을 수행하였다. 계측 시간은 반사파가 돌아와 계측되어 규칙파형이 유지되지 않을 때까지로 정하였다. 용량식 파고계와 깊이카메라 계측 실험은 따로 수행하여 두 계측 시스템간의 결과 간섭이 발생하지 않도록 하였다.

2.3 추적 입자

Azure Kinect의 깊이카메라 센서는 적외선 반사광을 이용하므로, 적외선이 흡수되는 수표면을 감지할 수 없다. 따라서 수면에서 적외선을 반사할 수 있는 조치를 취해야 한다.

Toselli et al. (2019)의 연구에서는 수성페인트를 섞어 물을 불투명하게 만들어 수면을 인식하였다. 사전시험을 통해 확인된 수성페인트의 한계는 다음과 같다.

• (1)수성페인트의 농도가 진해질수록 적외선의 반사 비율이 증가하는 성질을 이용하기 때문에, 특정 페인트 농도에서 수면이 인식되는게 아니라 페인트 농도 증가에 따라 수면이 무한대에서 점차 실제값에 가깝게 인식됨(Fig. 3)
• (2)물의 물성치, 특히 점성에 영향을 줄 수 있음
• (3)모형선에 대한 실험이 이뤄지는 대형 수조에 적용하기에는 페인트의 양과 회수 방법 모두 실현이 어려움

Fig. 3

Water surface recognition by infrared depth camera with respect to the density of the paint

위의 문제를 해결하기 위해, 본 연구에서는 수면에 부유하는 추적입자를 활용하였다. 이는 수면에서 적외선이 반사되므로 수면 위치의 명확한 인식이 가능하고, 실험 후 회수가 가능하다는 장점이 있다. 대량사용을 고려하여 본 연구에서는 식용 송화가루((주)씨케이, 서울)를 사용하였다. 조파수조에서는 실험 후 물을 교체할 수 있어 유기물의 사용이 가능하지만, 수질 관리가 필요한 예인수조와 같은 대형 시설에서는 산화알루미늄 등을 추적입자로 이용할 수 있을 것으로 생각된다.

예인수조의 입자영상유속계(Particle Image Velocimetry, PIV) 시험과 유사하게, 한번 뿌린 추적 입자는 살포 후 바로 퍼져나가지 않기 때문에 하루 동안 실험을 수행하는 중에는 입자의 추가 살포가 필요하지는 않았다.

3.1 교정 시험 설계

본 연구와 유사하게 광학적 이미지 촬영을 하는 입자영상유속계의 교정시험 절차를 참고하여 교정시험을 설계하였다 (Oh et al., 2007). 왜곡이 없는 2차원 이미지 촬영에서는 픽셀 상 위치와 실제 물리적 위치가 선형적 관계를 가지므로, 식 (2)와 같은 교정함수를 기대할 수 있다.

하지만 넓은 화각의 카메라를 사용하면 Fig. 4와 같이 X, Y와 x, y의 관계에서 배럴왜곡(Barrel distortion)라고 하는 현상이 발생하여 중앙부가 확대되어 사각형이 원형에 가깝게 왜곡된 모습으로 영상이 얻어진다.

Fig. 4

Types of image distortions

배럴이나 핀쿠션 왜곡(Pincushion distortion)이 발생하는 경우, 픽셀과 실제 위치 관계에 비선형성이 발생하므로 X, Y에 대한 다항식으로 교정함수를 구성하게 된다 (Oh et al., 2007; Baek et al., 2011).

본 연구에 사용된 깊이카메라 시스템의 경우, NFOV 조건의 적용 시 X, Y 와 x, y의 관계에서 왜곡이 작게 나타났다. 따라서 약한 수준의 배럴왜곡에 대한 교정이 필요한 것으로 보았다. 영상의 보정이 필수인 PIV 교정시험에서는 3차 다항식을 적용하는데 (Seo et al., 2014), 본 연구에서도 같은 차수의 다항식 매핑함수(mapping function)를 도입하였다.

앞의 영상 평면 상 위치의 교정과 같은 이유로, h와 η 의 관계식에도 η = ch의 선형적인 관계가 적용될 수 있는지를 교정시험을 통해 확인해야 한다. 그리고 비례상수 c 가 X, Y에 대해 독립인지를 함께 확인할 필요가 있다.

위의 사항을 고려해, 본 연구의 교정시험 식은 식 (3) - (5)와 같이, h와 η에 대해서 1차식으로, x, y에 대해서는 각각 X, Y에 대해서는 3차 다항식으로 구성하였다.

3.2 수면 인식 시험

먼저 식 (3)의 계수를 얻기 위해 Fig. 5와 같이 수면에 수직으로 Azure Kinect를 배치하고, 이를 상하로 이동시켜가며 수면까지의 거리를 계측하였다. 기본 거리는 600 mm로, 상하 변위는 총 160 mm를 적용하면서 각 픽셀마다 얻어진 h와 η를 비교하였다. Azure Kinect는 리드스크류(lead screw)에 장착되어 상하로 이송되었고, 이때의 고정 불확실성은 ±0.5 mm이다.

Fig. 5

Arrangement of distance calibration

Fig. 6(a)에 보인 바와 같이, 깊이카메라의 계측면은 육각형 모양으로 얻어진다. 계측면 상에서 12개의 대표위치를 지정해 각 지점에서 실제 수면과의 거리(η)와 계측된 깊이값(h)을 비교하여 Fig. 6(a)에 나타내었다.

Fig. 6

Distance calibration: (a) location of probes on the field of view; (b) actual distance versus measured depth; (c) slope of distance calibration with respect to Y position

h-η 의 비교 결과, c1에 대하여 X 위치는 영향이 없는 것으로 나타났다. 따라서 c1은 0으로 볼 수 있다. 하지만 Y 위치에 따른 변화는 확연히 나타났으므로, c₂, c₃를 구해야 한다. Fig. 6(a)에서 추세선의 Y 절편도 얻어졌으므로, c₄ 또한 존재하는 것으로 확인된다. 이는 깊이카메라 센서가 X 축을 기준으로 경사져 배치된 상황으로 볼 수 있다.

전체적으로 h와 η가 일차식의 관계를 보였기 때문에, 일차함수를 가정한 식 (3)은 적절한 것으로 판단된다. 계측 지점의 Y 값에 따라 식 (3)의 계수가 달라지는데, 본 연구에서는 다음과 같이 계측점 위치에 따른 h와 η의 관계가 얻어졌다.

c₄는 6 mm의 범위 안에서 Y 값과 무관한 경향을 보였다. 본 시험에서 600 mm 정도의 크기를 갖는 (c₂Y + c₃)h 항에 비하자면 그 크기는 작은 값이므 교정시험의 편의를 위해 각 위치에서의 c₄의 평균인 –0.9125 mm로 결정하였다. 이로 인해 얻어지는 파고 계측의 오차는 실제 계측값의 0.5% 이내로 추산된다.

식 (6)-(9)의 내용을 바탕으로 Fig. 6(a)에 c₂Y + c₃의 관계를 나타내었다. Fig. 6(a)의 추세선 분석 결과, c₂가 –0.0005, c₃가 1.0698로 얻어졌다. Azure Kinect의 내부 구성을 확인할 수 없어 c₂의 발생 원인은 알 수 없었지만, 연구실에 보유한 2기의 Azure Kinect에서 같은 결과가 얻어졌기 때문에 이는 생산 과정에서 센서의 정렬이나 센서 계측 신호에서 깊이 정보를 얻어내는 내부 데이터 처리과정의 특성으로 생각되며, 본 연구에서 제안된 절차를 통해 교정될 수 있는 것으로 확인되었다.

3.3 매핑 함수

식 (4), (5)의 같이 다변수 다항식으로 나타나는 매핑함수를 구하기 위한 파이썬(Python) 기반의 커스텀 프로그램을 작성하였다. 기계학습 라이브러리인 사이킷런(Scikit-learn)을 사용하여 16개의 표지의 픽셀 위치 데이터(X, Y)와 표지의 실제 물리적 위치(x, y)의 회귀식을 구성하는 3차 다항식의 계수를 구하였다.

물리적 위치인 x, y 위치를 표시한 교정판을 깊이카메라로 촬영하여 픽셀 이미지상의 X, Y 값과 대응시켰다. Fig. 7은 실험에 사용된 교정시험판이다. 교정시험판은 600 mm × 1500 mm 크기의 광학테이블을 이용하였다. 광학테이블 상에는 25 mm 간격으로 M6볼트가 체결되는 탭이 나 있어, 여기에 25 mm × 25 mm × 30 mm의 표지를 100 mm 간격으로 설치하여 깊이카메라가 높이 변화를 인식하도록 하였다.

Fig. 7

Arrangement of the calibration target

사전시험에서 이보다 높이가 낮은 표지들을 이용할 경우, Binned 조건이 적용된 깊이카메라의 높이정보에서 표지의 불연속한 경계가 제대로 인식되지 않는 현상이 나타났다. 다만 실제 수면파의 계측은 연속적인 높이 변화를 계측하기 때문에, 불연 속면의 경계 포착은 교정시험에서만 고려될 사항으로 판단되어 계측 특성이 수면파 계측에 영향을 주지는 않을 것으로 예상하였다.

Fig. 8은 600 mm 거리에서 깊이카메라로 교정판을 촬영한 결과로, 그래프의 가로, 세로축은 각각 픽셀 위치(X, Y)이다. 교정시험판의 표지영역이 잘 식별되었는데, 여기에 식별된 표지 영역의 도심(centroid)을 구하여 이를 표지의 픽셀 상 위치로 지정하였다. 이렇게 구한 16개의 (X, Y)와 (x, y)쌍을 Table 2에 나타내었다. 그리고 이에 대해 식 (4), (5)의 다항식을 통한 근사를 하였다. Table 3은 본 연구에서 얻어진 매핑함수 근사식의 계수이다.

Fig. 8

Depth image of the calibration target

Table 2

Position of the markers on the calibration target

Table 3

Coefficients of the mapping function

원래의 표지 위치와 근사식을 통해 구한 표지 위치를 비교하면 매핑함수의 오차를 구할 수 있다. 그리고 이 오차의 표준편차를 이용하면 교정함수의 정확도를 정량화할 수 있다. Table 4는 그 결과이다. 본 연구에서 적용된 깊이카메라 배치에서 하나의 픽셀은 2 mm의 공간해상도를 갖는다. 따라서 매핑함수의 오차가 있더라도 이산화되어 얻어지는 픽셀 단위 수준의 오차로 확대되지는 않을 것으로 생각된다.

Table 4

Error of estimated marker position by the mapping function

4.1 광학 설정의 검토

Azure Kinect의 깊이카메라 설정에는 Binned조건과 Unbinned 조건이 있다. Unbinned 조건에서는 각 화소별로 계측된 깊이 정보를 그대로 제공하는데 반해, Binned 조건에서는 주위 픽셀과의 비교를 통해 잡음을 걸러내어 유효 화소 수는 감소하지만, 계측 오차가 줄어드는 장점이 있다 (Tölgyessy et al., 2021).

본 연구에서는 이를 파고 계측에 적용하여 파경사(H/λ) 1/25, 파고(H) 20 mm의 규칙파 조건에서 Unbinned와 Binned 조건의 계측 결과를 비교하였다. 이는 4.2장에서 다룰 용량식 파고계와 비교를 위한 본 실험보다 작은 파고 조건으로, 더 세밀한 수면파 양상에 대해 두 설정 조건 간의 차이가 나타나는지를 확인하기 위함이다. Fig. 9는 그 결과이다. Tölgyessy et al. (2021)의 연구에서 지적된 바와 같이, Binned조건으로 계측된 파형에 비해 Unbinned조건으로 계측된 파형은 잡음이 발생하는 것을 알 수 있다. 7 Hz 근처 주파수 영역에서 국소적인 피크(peak)가 나타났으며, 이는 시계열 자료에서의 파정, 파저의 국부적인 요동에 대응되는 값이다. 두 조건 모두 주파수 영역의 해석에서는 전체 피크(peak)의 대응 주파수는 같은 값(1.4063Hz)을 보였으나, Unbinned 조건의 결과에서는 피크 주파수의 진폭이 Binned 조건 대비 7.2 % 줄어들었다. 따라서 실험에서는 잡음이 작고 실제 수면파에 가까운 양상을 나타내는 Binned 조건을 적용하는 것이 타당함을 알 수 있다.

Fig. 9

Comparison of measurement of wave elevation by binned and unbinned setup: time-history (top) and frequency domain (bottom)

4.2 규칙파 실험 조건

조파시스템이 생성 가능한 수면파 영역을 우선 식별하였다. 조파기의 구동에 있어 생성 가능한 최대 파고의 제한이 있게 된다. 짧은 주기의 수면파의 생성에서는 구동 모터가 생성할 수 있는 조파판의 최대 왕복 속도가 제한 요소로 작용하여 파고를 일정 이상 키울 수 없게 되고, 긴 주기의 수면파를 만들 때에는 조파판의 왕복 스트로크(stroke)의 한계 때문에 파고의 제한이 발생한다. 그리고 선형파가 기대되는 장파영역과 쇄파가 일어나지 않는 파경사 영역을 선택하였다.

쇄파 영역에 근접한 큰 파경사 조건에서 추가로 발생할 수 있는 문제로는 계측 신호의 손실과 추적입자의 분산이 있다. 계측 원리가 Azure Kinect의 깊이카메라 센서와 유사한 초음파 파고계의 실험에서는 수면에서 반사된 초음파 신호가 수신부로 돌아오지 못해 신호를 받지 못하는 경우가 있었는데, Azure Kinect에서도 같은 문제가 검증되어야 할 것으로 보았다. 그리고 큰 파경사에서 쇄파현상이 발생할 경우 추적입자가 수중으로 섞여 들어가며 분산되어버리는 경우가 있었다. 따라서 깊이카메라를 이용한 실험에서 1/7에 근접한 큰 파경사각은 신호 손실 비율이 증가하였음을 사전 실험에서 확인하였다.

Table 5는 최종적으로 선택된 본 실험이 수행된 규칙파 조건이다. 파고는 용량식 파고계의 계측값을 기재하였다. 파수와 파경사는 실제 수심 700 mm가 아닌 무한수심을 가정하여 구한 값이기 때문에 실제값과는 차이가 있었으나, 파경사에 의한 전체적인 계측 경향을 확인하기에는 문제가 없었다.

Table 5

Test cases of regular wave measurement

4.3 Azure Kinect-용량식파고계 비교 분석

4.2장에서 선정한 파 조건에 대해 Azure Kinect의 Binned조건으로 파형을 계측하였고, 3.2장의 교정함수를 적용해 수면파의 변위를 얻었다. 이 중 계측면 중앙의 값을 추출하여 용량식 파고계의 계측 결과와 비교하였다. Fig. 10은 그 결과이다.

Fig. 10

Comparison of Azure Kinect and capacitance type wave height gauge: time-history (left) and frequency domain (right) with wave stiffness variation

Fig. 10의 시계열 파형 비교를 보면 모든 규칙파 조건에서 Azure Kinect로 계측한 파형의 진폭이 용량식 파고계의 계측값과 최대 2.74 % 이내로 잘 일치하는 것을 확인하였다. Azure Kinect의 수면 높이 계측은 1 mm의 해상도를 갖기 때문에 0.5 mm의 고정 불확실성(Systematic uncertainty)을 갖는다. 이와 더불어 교정시험에서의 고정 불확실성도 0.5 mm로 얻어지므로 Azure Kinect를 이용한 파고 계측 자체의 고정 불확실성은 기본적으로 0.7 mm를 내포하고 있어, 실험에서 얻어진 용량식 파고계의 계측값과의 차이는 이해할만한 수준으로 보인다.

파경사의 변화와 실험 결과의 정확도의 관계에 대하여, 초음파의 ToF를 이용한 초음파 파고계의 경우 파경사가 커지면 신호의 손실이 일어나 계측이 불가능해지기도 하는데 Azure Kinect의 깊이카메라 계측에서는 파경사 조건에 따른 유의미한 신호 손실은 발생하지는 않았다.

파경사 조건을 주파수 영역 해석의 해석과 연계하여 결과를 설명하자면 오히려 파경사가 작은 경우에 용량식 파고계와의 차이가 발생하였다. 우선 시계열에서는 파정과 파저 외의 영역, 즉 수면이 상승하거나 하강하는 영역에서 Azure Kinect가 더 큰 값을 보였다. 따라서 주파수 영역에서의 피크가 뚜렷하지 않게 나타났다. 이런 차이는 파경사가 증가할수록 감소하여 H/λ = 1/12.5 조건에서는 두 실험 결과가 시계열이나 주파수 영역 양쪽에서 잘 일치하게 되었다. 이는 Azure Kinect가 깊이값을 mm단위로 이산화하여 기록하기 때문에 점진적인 파고 변화를 나타내는데 약점이 있어, 주파수 영역의 정확한 피크 영역의 식별에 어려움이 있는 것으로 판단된다.

4.4 수면파 중 구조물 주위의 파형 계측

주요 성능을 파악한 Azure Kinect의 사용 예시로, 이를 이용해 규칙파중에 놓인 지름 40.5 mm의 원형 실린더 주위의 수면파형을 계측하였다. 파 조건은 파고 31 mm, 주기 0.5 s로 설정하였다. 이는 앞에서 시험한 파고 조건에 비해 작은 파형으로, 계측면 안에 2개의 파장이 위치하도록 주기를 정하고, 앞서의 최대 파경사각 1/12.5를 적용하여 얻어진 시험 조건이다. Fig. 11은 그 결과로, 5초 동안 계측된 총 10장의 동일 위상의 파고장을 평균하여 얻었다.

Fig. 11

Example of wave height field measurement around a circular cylinder in regular waves

깊이 이미지에서는 원형 실린더 주위 영역의 파고장 계측 결과로는 원형 실린더의 벽면과 수면을 구분할 수 없었다. Fig. 11에서는 원형실린더의 1.5배 지름의 원기둥으로 원형 실린더 영역을 가렸다. 따라서 Azure Kinect의 활용은 모형에서 떨어진 영역의 파고장 계측에 강점을 가질 것으로 판단되었다.

원형 실린더 주위파고장 계측 결과 전체에서 파저와 파정이 잘 인식되었다. 그리고 수면파가 원형 실린더를 지나면서 파정이 유지되지 못하기 때문에 후류 영역에서는 낮은 파고를 보이는 현상을 관찰할 수 있었다. 다만 본 실험 결과는 Azure Kinect 활용의 예시를 위해 조직된 실험에 대한 것으로, 상세한 물리적 현상의 관찰과 분석을 위해서는 더 세심한 실험 환경의 설정이 필요하다.