강화학습은 머신러닝의 한 분야이다. 머신러닝은 지도학습, 비지도학습, 강화학습으로 구성된다. 지도학습은 데이터와 데이터에 대한 정답(label)을 이용해 학습을 수행하며 주로 회귀 및 분류 등의 문제에 적용된다. 비지도학습은 데이터를 이용해 학습을 진행하고 군집화 등에 사용된다. 마지막으로 강화학습은 Fig. 1과 같은 구조를 가지고 환경 내에서 행동의 주체가 되는 에이전트가 보상을 최대로 받는 행동을 찾는 것을 목표로 하며 주로 최적화, 로봇 제어, 게임 등에 적용된다.

Fig. 1 
Reinforcement learning process

에이전트는 학습의 주체로서 행동을 통해 자신의 상태를 변경한다. 상태는 에이전트에 대한 정보로 관찰 가능한 모든 집합이며 에이전트는 행동으로 인한 상태의 변경을 통해 환경으로부터 보상을 받고 학습이 진행됨에 따라 보상을 가장 많이 받는 행동을 찾는다.

강화학습은 예로부터 다양한 문제 해결을 위한 알고리즘으로 사용되어 왔다. 최근 DeepMind의 Deep Q-Network (Mnih et al., 2013)와 인공지능 바둑 프로그램 알파고(Alphago)의 개발 이후로 강화학습에 대한 연구가 머신러닝 연구에서 큰 부분을 차지하는 등 관심이 높아졌다. 본 연구에서는 강화학습 알고리즘으로 Proximal Policy Optimization(PPO)을 사용했다 (Schulman, et al., 2017).

강화학습에서 상태에 따라 선택하는 행동에 대한 확률을 정책이라고 하며 식 (1)과 같이 나타낸다.

식 (1)에서 우변은 시간이 t일 때, 상태 s에 있는 에이전트가 행동 a를 취할 확률이며 에이전트가 받을 보상을 최대로 하는 최적 정책을 찾는 것이 강화학습의 목표이다. 신경망을 이용한 강화학습에서는 신경망에 의해 정책이 결정되기 때문에 정책은 신경망의 노드를 연결하는 가중치 θ를 이용해 π_θ(ａⅠｓ)로 나타낼 수 있다.

PPO는 Trust Region Policy Optimization(TRPO) (Schulman et al., 2015)의 단점을 해결한 알고리즘이다. 식 (2)와 같이 정책을 업그레이드하는 TRPO는 순차적 행동(continuous action)을 학습할 수 있으며, 학습의 진행에 따라 정책이 업데이트 될 때 불안정성을 줄이기 위해 정책변화의 정도를 제한했다.

식 (2)에서 A_ｔ는 advantage function으로 행동 가치함수에서 가치함수를 뺀 값이며 현재 행동이 얼마나 가치 있는 행동인지를 판단하는 기준이 된다. TRPO는 제한조건인 trust region에서 업데이트 된 π_θ가 π_θold로부터 크게 바뀌지 않게 되면서 학습에 있어 안정성을 가지게 되지만 업데이트의 범위를 제한하면서 과도한 계산량이 발생하며 구현이 복잡하고 어렵다는 단점이 있다. 이를 개선하기 위해 식 (3)와 같은 clip개념을 도입한 PPO가 개발되었다 (Schulman et al., 2017).

식 (3)에서 advantage function이 양수일 경우 정책 업데이트의 범위를 1+ε을 선택함으로서 현재 업데이트 방향을 유지하며 advantage function이 음수일 경우 1−ε 을 경계로 선택함으로서 업데이트 방향을 반대로 취하게 된다. 이렇게 clip을 이용해 업데이트 크기의 범위를 줄이면서 TRPO에서 정책을 업데이트시키는데 필요한 계산량을 줄여 구현을 간편화하는 동시에 업데이트 범위를 효과적으로 제한해 신뢰할 수 있는 학습효과를 가진다는 장점이 있다.

일반적으로 배관의 경로를 선정하는데 고려해야하는 설계 조건은 아래와 같다 (Park & Storch, 2002).

(1) 배관은 장애물을 피해 설치되어야 한다.

(2) 원활한 장비의 운용을 위해 장비와 배관 사이에 최소한의 거리가 유지되어야 한다.

(3) 배관 밸브의 높이는 작업자의 편의를 고려해야 한다.

(4) 지지대(Support)를 최대한 공유해야 한다.

(5) 경로상의 길이와 굽힘을 최소화해야 한다.

위에 명시된 설계 조건 외에도 배관은 통로 상에 설치되지 않아야 하며 노즐의 시작점과 끝점이 확실하게 연결되어야 한다. 또한 안전상의 이유로 물 전용 배관의 경로는 전기 장비 위를 지나가지 않아야 하며 연소 엔진 위는 기름전용 배관의 경로로써 선택해서는 안 된다는 등의 배관을 통하는 물질과 배관 주위의 설치장비 사이와의 관계에 대한 선급규칙도 반영해야한다. 또한 상황에 따라 지름이 큰 배관의 경로를 우선적으로 선정해야하며, 경우에 따라 굽힘에 대한 비용보다 지지대 설치에 대한 비용이 더 크기 때문에 지지대 설치를 우선적으로 고려한다.

본 연구에서는 경로선정시뮬레이션 및 학습을 위해 Unity ML-agents을 이용했다. Unity ML-agents는 3D 환경을 만들고 이를 학습에 이용할 수 있으며, 본 연구에서 사용된 에이전트는 Unity 환경 내에서 상, 하, 전, 후, 좌, 우로 총 6가지의 행동을 취할 수 있다(Ａ_ｔ={up, down, forward, backward, left, right}). 행동을 취하면 선택한 방향을 기준으로 단위 거리만큼 이동하며 에이전트의 상태는 목적지까지의 x, y, z축 방향 거리이고 에이전트, 에이전트의 목적지, 장비 및 장애물로 이루어진 선박 엔진룸 환경에서 구 형태의 에이전트가 같은 색을 가진 정육면체 형태의 목적지에 도착하는 것이 강화학습 모델의 최종 목표이다. 그리고 Fig. 2는 배관경로 설계 알고리즘 검증을 위해 사용된 7개의 배관경로를 포함하고 있는 환경이다.

Fig. 2 
Pipeline in simplified engine room model

위 환경은 단순화시킨 선박의 엔진룸으로 실무자에 의해 3D CAD 프로그램을 바탕으로 설계된 배관의 경로이다. Fig. 3과 Fig. 4는 이를 Unity 환경에 구현한 것으로 환경의 복잡성을 낮추고 에이전트의 불필요한 환경탐색을 방지하며 학습의 효율을 높이기 위해 장비 및 장애물은 직육면체로 단순화시켰다. 또한 모델 중앙에 있는 홀을 구현하기 위해 해당 위치에 투명한 박스를 두어 배관의 경로로써 선정되지 못하게 했다. 그리고 장비를 장비보다 큰 투명박스로 감싸 배관과 장비사이의 이격거리를 고려했다. Table 1은 각 장비를 연결하는 배관의 번호이다.

Fig. 3 
Isometric view of learning environment

Fig. 4 
Top view of learning environment

환경 안에서 에이전트가 목적지까지 도달하면서 생성한 경로는 배관이 설치될 경로로 선정되며 학습을 거쳐 보상을 최대로 받을 수 있는 경로를 최종 경로로 선정한다. 본 연구에서 배관경로 설계에 강화학습을 적용하기 위해 사용된 설계 조건 및 그에 따른 보상은 아래와 같다.

(1) 길이 최소화를 위한 시간에 따른 보상 [-0.10]

(2) 굽힘 최소화를 위한 경로변경에 따른 보상 [-0.10]

(3) 목적지에 가까워지는 행동에 따른 보상 [+0.10]

(4) 목적지에 멀어지는 행동에 따른 보상 [-0.10]

(5) 목적지 노즐진입방향에 따른 보상 [+0.10]

(6) 목적지 도착에 따른 보상(짧은 경로) [+5.00]

(7) 목적지 도착에 따른 보상(긴 경로) [+10.0]

(8) 경로로서 천장을 이용함에 따른 보상(천장용 배관) [+0.10]

(9) 경로로서 바닥을 이용함에 따른 보상(바닥용 배관) [+0.10]

에이전트가 도착지까지 도달하는데 필요한 총 행동 횟수를 최소화함으로서 배관의 길이를 최소화하고 배관의 굽힘을 최소화하기 위해 학습에 소요되는 시간 및 경로변경에 음의 보상을 부여했고 학습의 효율을 위해 에이전트와 목적지와의 거리를 이용해 보상을 부여했다. 또한, 장비와 배관을 연결하는 노즐의 방향을 맞추기 위해 목적지에 도달하기 전 특정 위치를 지나치면 양의 보상을 부여했다. 그리고 Fig. 2에서 1번 및 2번 배관처럼 다른 배관보다 비교적 긴 경로의 경우 학습되지 않은 초기 에이전트가 목적지를 찾는데 오래 걸리고 목적지까지 가는데 배관 길이 및 굽힘에서 음의 보상이 비교적 잦게 발생하기 때문에 목적지 도착에 따른 보상을 더 크게 부여했다. 또한 바닥용 배관 에이전트는 경로선정에 있어 바닥을 이용하는 행동을 하면 +0.10점을 받으며 천장용 배관 에이전트는 천장을 이용하는 행동에 +0.10점을 받는다. 이렇게 강화학습은 배관경로 설계에 있어 특정조건에 보상을 부여함으로서 에이전트의 행동양상을 조절해 일반적인 경우가 아닌 특수한 경우의 배관을 고려하는 것이 가능하다. 아래 Table 2는 본 연구에서 고려한 설계 조건 및 보상의 종류와 이에 해당하는 배관의 번호이다.

학습에 사용된 신경망과 강화학습의 Hyper-parameters와 하드웨어의 사양은 아래 Table 3 및 Table 4와 같다.

경로선정문제에 있어 최적경로를 완벽하게 도출해내기위해서는 문제 환경에 대한 전역적 탐색과정을 거쳐야한다. 하지만 이는 시간적 제약이 존재하는 현실 문제에서는 적용하기 어려울 뿐만 아니라 효율성 또한 떨어진다. 최적경로를 찾을 때 음의 가중치를 허용하지 못한다면 피해야 할 설계 조건에 대한 적용이 번거로워지기도 한다. 강화학습은 설계 조건에 대한 보상으로 음의 값을 부여함으로서 지양해야하는 조건을 직관적이고 쉽게 적용할 수 있다. 또한 잦은 수정 및 반복 작업을 거치는 선박 배관경로설계에서 재계산 없이 기존 학습결과를 재활용함으로써 일정 수준 이내의 환경 변경에 대한 대응이 가능하기 때문에 기존의 경로선정 알고리즘과 비교해 이점을 가지고 있으며, 이를 Table 5에 나타내었다.