MeshGraphNets (Pfaff et al., 2021)는 메시 기반의 시뮬레이션을 위해 설계한 GNN 모델로, 메시의 점과 선을 그래프의 노드와 간선으로 변환할 수 있으므로 다차원 메시 데이터를 그래프로 직접 표현할 수 있다. 모델의 입력인 시뮬레이션 시간 단계 t에서 메시의 상태 M^t를 식 (1)과 같이 그래프로 정의한다.

여기서 V는 그래프의 노드 집합, E는 그래프의 간선 집합을 의미한다. 각 노드 node_i ∈ V는 참조 메시의 공간 좌표 위치 u_i의 점과 연관되며, 각 간선 edge_ij ∈ E는 node_i에서 node_j로 나가는 방향의 선과 연관된다. 시뮬레이션 상태 M^t가 주어지면 모델은 Fig. 3처럼 부호화(encoder), 처리(processor), 복호화(decoder) 과정을 거쳐 다음 시간 단계의 시뮬레이션 상태 M^t+1을 출력으로 예측한다.

모델의 부호화 과정에서 node_i는 모델링을 위한 물리량 q_i를, edge_ij는 u_i와 u_j 사이의 상대 변위 벡터 u_ij = u_i - u_j와 해당 벡터의 노름 |u_ij|를 잠재 벡터 v_i와 e_ij로 각각 부호화하며, 부호화에는 다층 퍼셉트론(multilayer perceptron, MLP)과 층 정규화(layer normalization, LN)를 사용한다. 처리 과정에서는 각 노드의 잠재 벡터 v_i로 부호화된 정보를 해당 노드와 간선으로 직접 연결된 주변 노드에 메시지로 전달한다.

각 메시지 전달 층은 잠재 벡터 v_i와 e_ij를 식 (2)와 식 (3)의 방식으로 v'i와 e'ij로 갱신하며, 이를 위한 f^V와 f^E는 잔차 연결(residual connection)을 사용한 MLP로 구현한다. 처리 과정에서 여러 층에 걸쳐 메시지를 전달하므로 간선으로 직접 연결되어 있지 않은 노드라도 서로의 지역적인 정보를 간접적으로 교환할 수 있다. 복호화 과정에서는 시간 단계 t의 입력 상태로부터 시간 단계 t+1의 상태를 예측하기 위해서, 각 노드의 잠재 벡터 v_i를 물리량 qit의 변화량인 p_i로 복호화한다.

식 (4)의 방식으로 모델은 시간 단계 t+1의 물리량 qit+1을 추론하므로, 현재 시뮬레이션 상태 M^t를 통해서 한 단계의 미래 상태 M^t+1을 예측할 수 있다.

한 단계의 미래 상태를 예측할 수 있는 모델은 식 (5)와 같은 방식으로 이전 시간 단계 상태 M^t-1을 통해서 예측한 상태 M^t를 다시 모델의 입력으로 하여, 그다음 시간 단계 상태인 M^t+1을 예측할 수 있다.

여기서 f^M은 그래프 신경망 모델을 의미하며 이러한 자기회귀(autoregressive) 방식으로 연속적인 시뮬레이션이 가능하므로 최초 상태 M⁰가 모델의 입력으로 주어지면 시뮬레이션 상태의 시계열 {M¹, M², ..., Mⁿ}을 예측할 수 있다.

실험을 위한 선박 선형은 Fig. 1에서 보이는 것처럼 단순한 선형에서 선미 부분에 단이 지는 형태로 설계하였다. 여러 경우에서 모델의 성능을 검증하기 위해 기본 크기의 선형에서 폭의 크기를 –9 %에서 +9 %까지 1 % 단위로 조절한 19개의 선형을 사용하였으며, 그중에 3개(-5 %, 0 %, +5 %)를 테스트용으로 정하고 나머지 16개는 학습용으로 정하여 실험을 진행하였다.

Fig. 1 
Simple ship hull for experiment.

실험 대상 선형에 대한 저항성능 추정을 위해서 데이터집합은 CFD 시뮬레이션을 사용해서 수집하였다. 실험에 사용한 계산용 격자는 Fig. 2와 같으며, 선형의 제원과 CFD 시뮬레이션에 사용한 매개변수는 Table 1과 같다. 학습을 위한 시뮬레이션의 총 시간은 5초이며, 매 0.02초 시간 간격으로 한 선형당 250단계의 시뮬레이션 상태를 메시 형태로 수집하였다.

Fig. 2 
Computational grid for experiment.

시뮬레이션에서 모델링할 물리량으로 저항성능 계산에 필요한 전압(total pressure)과 좌표축별 벽 전단응력(wall shear stress)을 사용하였으며, 물 부피분율(water volume fraction)을 부수적으로 사용하였다.

실험에 사용한 GNN 모델의 전체적인 구조는 Fig. 3과 같다. 모델은 크게 노드의 물리량과 간선의 기하학적 정보를 잠재 벡터로 변환하는 부호화 부분, 그래프의 노드가 간선을 통해 서로 정보를 교환하는 처리 부분, 노드의 잠재 벡터를 물리량의 변화량으로 추론하는 복호화 부분으로 나뉜다. 입출력 벡터 X의 각 성분 x_i∈X는 식 (6)과 같이 평균 μ_i와 표준편차 σ_i를 사용해 정규화하였다.

Fig. 3 
Graph neural network architecture used in this paper (+: add, [·]: concatenate).

모델에서 복호화 과정을 제외한 모든 MLP의 출력값은 LN을 사용하도록 구성하여 심층학습 과정을 안정화시켰다 (Ba et al., 2016). 또한 신경망 학습 중에 다수의 메시지 전달 층을 쌓아 올린 모델의 그래디언트를 원활히 역전파하기 위해 메시지 전달 과정에서 잔차 연결을 사용하였다 (He et al., 2016). 부호화 과정과 처리 과정에서 2개 이상의 특징을 1개의 벡터로 모을 때는 접합(concatenate) 연산을 사용하였다.

신경망 모델의 연결강도 매개변수 최적화에는 Adam을 사용하였으며 (Kingma and Ba, 2015), 물리량의 예측 변화량과 실제 변화량의 차이를 줄이기 위한 손실함수는 평균제곱오차를 사용하였다. 모델 학습에 사용한 초매개변수는 Table 2와 같다.

학습은 총 500 에포크 동안 수행하였으며, 배치 크기는 8로 설정하였다. 최초 학습률은 1.0×10^-4로 설정하였고 빠른 수렴을 위해서 300번의 에포크 후에 학습률을 1.0×10^-5로 낮추었다. 복호화 부분을 제외한 모델에 포함된 모든 MLP는 길이가 128인 잠재 벡터를 출력하며, 2개의 은닉층과 SiLU(Sigmoid Linear Unit) 활성화 함수로 구현하였다 (Hendrycks and Gimpel, 2016). 개별적인 매개변수를 가지는 메시지 전달층은 8개를 사용하였다.

시뮬레이션으로 계산한 선형의 저항 R은 압력 P와 전단응력 S의 합으로 계산했으며, P와 S는 각각 식 (7)과 식 (8)의 방식으로 계산하였다. 각 셀에 대해서 P_cell은 전압, Acellx은 x축 방향의 면적, Scellx은 x축 방향의 벽 전단응력, A_cell은 면적을 나타낸다.

여기서 x축은 시뮬레이션에서 유체가 흐르는 방향 축을 의미한다. GNN 모델을 이용한 실험은 시뮬레이션을 위한 초기 상태만 입력해서 다음 249번의 시간 단계 상태를 한 단계씩 연속적으로 예측하는 방식으로 구현하였다.