딥 러닝 기반의 이미지학습을 통한 저항 용접품질 검증

2.1 저항용접

저항용접은 저항열을 이용하여 모재를 녹여 접합시키는 용접 방법이다. Fig. 1은 저항용접의 개념도를 보여주고 있으며, 저항 용접의 순서는 다음과 같다.

1)용접 대상물(workpiece)을 겹쳐 고정한다.

2)용접 대상물의 상하에 전극(electrode)을 닿도록 배치한다.

3)전극을 통해 용접 대상물에 전류(current)를 흘려보내는 동시에 압력(pressure)를 가한다.

4)용접 대상물 사이의 저항 때문에 열이 발생하고 가장 큰 저항이 발생하는 접합면이 용융된다.

5)용융된 부분은 너깃(nuget)이 되고 용접이 마무리 된다.

-전류: 동일한 조건에서 전류를 증가시켜 용접하게 될 경우 용융부의 크기 증가와 기계적 강도의 증가 등의 효과를 기대 할 수 있다. 따라서 일반적으로 높은 용접전류를 인가하여 시간대비 생산성을 높일 수 있으나, 과도하게 높은 전류는 용접부의 과열에 의해 스패터의 발생을 유발하여 용접에 쓸 금속이 손실되는 결과를 초래 할 수 있다. 더불어 낮은 용접전류 역시 너깃의 충분한 성장을 보장하지 못하여 용접부의 기계적 강도 등이 부족 할 수 있다.

-통전시간: 위 3)번에서 전류를 흘려보내는 시간을 통전시간이라고 한다. 전류가 동일한 조건에서 통전시간을 증가시키면 너깃직경이 증가하지만 일정 시간이상이 되면 더 이상 너깃 직경은 증가하지 않고 오목자국 등의 문제가 발생하게 된다. 또한 저전류를 사용하여 통전시간을 길게 하면 전극과 용접재료 등의 다른 부분으로 열이 전달되어 열손실과 함께 통전 중 냉각 작용이 발생하여 인장 전단강도가 저하되는 원인이 될 수 있다 (Lee, 2013).

Fig. 1

Resistance Welding

저항용접은 일반적으로 열에 의한 용접모재의 변형이나 잔류응력이 작아 3mm 이하의 박판재를 이용한 용접 제품의 대량생산 등에 적합하다. 하지만 용접재의 재질 및 두께에 따라 전류의 세기나, 통전시간, 가압력(pressure)등의 공정변수를 조절하여 적절한 용접조건을 선정할 필요가 있다. 공정변수를 적절하게 제어하지 않을 경우 용접부의 스패터(spatter) 발생 및 충분하지 않은 너깃(nuget)두께 등의 문제가 있을 수 있다. 본 연구에서는 용접조건에 관련된 공정변수 중 실시간으로 측정이 용이한 전류(current), 전압(voltage)을 활용하여 용접 품질을 예측하고자 하였다. 이를 위해서 측정한 전류와 전압을 활용하여 동저항(dynamic resistance)를 계산 하였다. 여기서, 동저항은 글자 그대로 전압을 전류로 나누어 구한 저항값을 의미 하는데, 전류나 전압이 용접을 하는 도중 실시간으로 변하기 때문에 저항도 실시간으로 변하게 되며, 이를 동저항이라고 부른다. 일반적으로 동저항은 용접의 진행과정에 대한 다양한 정보를 담고 있기 때문에, 본 연구에서는 이 동저항을 인공신경망 학습에 활용하였다.

통상의 용접공정의 품질관리를 위해 모니텍과 같이 실시간 용접 품질 평가 시스템에서 도출된 용접 데이터의 평균 값을 이용할 경우 관리는 가능하나 각각의 개별 용접에 대한 품질관리는 어려운 점이 있다.(Monitec Co., Ltd, 2018) 따라서 용접공정이 끝남과 동시에 용접공정 중 발생된 실시간 데이터를 이용하여 즉각적으로 용접성을 판단할 수 있게 된다면 생산성 향상뿐만 아니라 품질 관리 측면에서도 긍정적인 효과를 기대 할 수 있다.

2.2 프로젝션 용접

프로젝션 용접은 용접 모재에 전류를 인가할 때 모재의 저항에 의해 유발된 열에너지를 활용하여 접합하므로 점 용접(spot welding)과 유사한 특성이 있다. 용접 실시 전 용접모재에 돌기(projection)를 가공하고, 가공된 돌기를 통해 전류를 집중시킴으로써 작은 크기의 너깃으로 용접이 가능하고 열 변형이 적다는 장점이 있다. 또한 여러 개의 돌기를 생성하여 여러 점을 동시에 용접 할 수 있으므로 높은 생산성을 유지할 수 있기 때문에 산업 전반에 걸쳐 널리 이용되고 있는 방법이다.

프로젝션 용접은 용접재를 서로 밀착시켜 저항열을 이용하여 용접하는 방법이므로 접촉면의 상태와 면적은 용접 품질에 영향을 줄 수 있다. 예를 들면 Fig. 2의 오른쪽 가장 위 그림에서 보는 바와 같이 너트가 바르게(normal nut) 놓여 있는 경우에는 정상적으로 용접이 되지만, 중간 그림과 같이 너트가 뒤집혀 놓여있는 경우(inverted nut)나 혹은 아래 그림과 같이 공정상의 불량이나 너트의 재사용 등으로 인하여 돌기의 형상이 정상적이지 않을 때(bad projection) 용접 불량이 발생한다. 이러한 용접의 경우 동저항과 전극 변위를 계측하면 용접 품질을 추정 할 수 있다.

Fig. 2

Failure of nut projection welding

2.3 업셋 용접

업셋(Upset)용접은 서로 다른 용접모재의 단면을 가볍게 접촉시킨 후 대전류를 흘려 접촉면에 용접재료를 가열하고, 용접면이 용융된 상태에서 큰 힘으로 압력을 주어 접합시키는 방식의 용접법이다. 초기 가열 과정에서의 접촉에서는 가압력이 낮으나 대전류가 흐르기 시작하면 Fig. 3에서 보는 바와 같이 높은 압력으로 업셋(Upset)하여 용융부를 외부로 배출시키게 된다. 업셋 용접은 표면의 불순물이나 산화막을 업셋 과정에서 용접부 외부로 배출 할 수 있다. 따라서 용접 전 접합면의 상태에 크게 영향 받지 않으며, 접합강도와 신뢰성이 높은 용접법이다.

Fig. 3

Upset welding process

3.1 딥러닝 프레임워크

현재까지 MXNet, Keras, Caffe, Torch 등의 다양한 프레임워크가 개발되어 있으며 Python이나 C++등의 프로그래밍 언어를 통해 신경망을 보다 쉽게 구축하고 대량의 데이터를 처리 할 수 있도록 보조해 주고 있다. 본 연구에서는 구글에서 공개한 오픈소스 기반의 기계학습(Machine Learning) 소프트웨어 라이브러리인 Tensorflow를 딥러닝 프레임워크로 사용하여 신경망을 구성하였다.

3.2 컨볼루션 신경망(CNN)

컨볼루션 신경망은 이미지의 선이나 색 테두리 등의 시각적 특징이나 특성을 감지하는 것을 주요 목적으로 한다. CNN은 합성곱(convolution)을 이용하여 동작하며 특정 패턴을 가진 규칙적인 곱 연산을 수행한다. 이를 통해 이미지를 이해하고 높은 수준으로 추상화된 정보를 추출 할 수 있어 영상인식, 컴퓨터 비전 등의 다양한 분야에 활용되고 있다.

CNN은 Fig. 4 에서 보는 바와 같이 컨볼루션 계층과 풀링 계층으로 구성되어 있으며 이 두 계층을 어떠한 방식으로 얼마나 연결하느냐에 따라 성능이 차이날 수 있고 해결 할 수 있는 문제도 달라질 수 있다. 여기서 컨볼루션 계층은 합성곱 연산으로 이미지를 변환시키는 역할을 하며, 풀링 계층은 Fig. 5 에 나타난 방식과 같이 2차원 평면 행렬에서 지정된 영역의 입력 이미지를 구획을 나누어 필터 크기만큼의 영역에서 최대값 혹은 평균값을 추출하여 하나의 대푯값으로 압축하는 과정을 거쳐 다음 노드의 입력값으로 넘겨주게 된다. 또한 하나의 값으로 압축하는 과정에서 가중치화 편향을 적용하게 된다. 컨볼루션 과정과 풀링 과정을 거친 이미지는 마지막으로 Fully connection 계층을 거쳐 소프트맥스(Softmax)함수를 통해 각각의 이미지의 분류를 판별하게 된다.

Fig. 4

Basic structure of CNN

Fig. 5

Pooling method

3.3 Inception V3을 이용한 CNN 구축

딥러닝은 이미 훈련과정을 거친 학습된 모델을 재사용하여 다른 영역의 데이터를 추가로 학습시키는 전이학습이 가능하다.(Esteva et. al, 2017) 매번 새로운 유형의 데이터를 처음부터 학습시켜 신경망의 가중치와 편향을 조정하는 것보다 전이학습을 통해 기존의 모델의 구조와 파라미터를 사용하면 학습속도가 빨라질 수 있고 최종 모델의 성능이 높아질 수 있다. 본 연구에서는 ILSVRC(ImageNet Large Scale Visual Recognition Competition)를 위해 ImageNet이 보유한 1,000여 종류의 이미지를 구분 할 수 있도록 학습된 Pre-trained Inception V3으로 구성된 GoogLeNet모델을 사용하였다. 따라서 마지막 분류 레이어의 전이학습을 통해 모델을 새로이 구축하여 사전 학습된 신경망에 역전파(backpropagation)를 통해 가중치와 편향을 미세조정(fine-tuning)할 수 있도록 하였다. 따라서 기존 Inception모델의 마지막 1,000개의 분류 레이어를 전이학습을 통해 정상과 결함으로 나눠진 2개의 출력을 가지는 레이어로 구성함으로써 용접의 정상/불량을 구분 할 수 있는 모델로 재구축하였다.

GoogLeNet은 컨볼루션 계층과 풀링 계층으로 구성된 Fig. 6의 Inception 모듈을 무수히 쌓아 구성된 신경망으로 동일한 Inception 모듈 내부의 레이어에서 서로 다른 크기를 가진 컨볼루션 계층을 적용하여 다른 크기의 배열을 가지는 Feature map를 생성하도록 구성되었다. 또한 1x1 컨볼루션을 사용하여 데이터의 차원을 줄여 Inception 모듈이 연결되었을 때 늘어나는 연산량을 줄일 수 있도록 하였다.(Szegedy et. al, 2015)

Fig. 6

Inception module

또한 인공 신경망 학습을 위해 GoogLeNet모델의 Bottleneck 텐서 크기를 2048, 학습 속도를 0.01로 설정하였다. 이 과정에서 이미지의 좌우 반전 또는 임의 크롭과 같은 변형은 수행하지 않았다.

3.4 Tensorboard를 활용한 매개변수 조정

Tensorflow는 학습과정에서 일정시간마다 텐서 값과 계산 로그를 그래프로 시각화하여 보여주는 도구인 Tensorboard를 지원한다. 이를 통해 학습의 진행에 따라 오차와 정답률의 시각화된 경향을 자세히 확인 할 수 있으므로 매개변수를 조절하여 신경망을 튜닝하거나 학습결과를 검토 할 수 있다. 따라서 본 연구에서도 신경망 학습과정 중 Tensorboard를 확인하며 반복 학습횟수(training step) 및 학습속도(learning rate) 등의 매개변수를 조정하며 학습 데이터를 어떻게 가공 할 것인지 참고하였다.

3.5 손실 함수

예상값과 실제 출력 값 사이의 오차를 계산하기 위한 방법에는 평균제곱오차(Mean Square Error; MSE)나 유클리드 제곱거리 등의 방법을 사용하고 있으나 인공신경망 모델링을 활용한 분야에서는 이러한 차이를 손실함수(cost function)로 정의하고 있다. 본 연구에서는 이러한 손실함수로 교차 엔트로피(cross entropy)를 사용하였다. 교차 엔트로피는 식 1과 같이 계산 될 수 있다.

여기서 y_i는 분류를 위한 라벨값으로 one-hot vector로 주어진다. y_i′는 라벨을 추가한 학습시킨 학습 데이터 셋으로부터 얻은 신경망 학습결과를 의미한다. 일반적으로 분류문제에서 평균제곱 오차의 경우 단순히 분류가 틀린 개수에 대한 결과 값만을 나타낼 뿐 학습데이터에 부여된 라벨과 비교하여 얼마나 잘못 예측했는지, 분류결과를 얼마나 신뢰 할 수 있는지에 대한 정보를 제공하진 않는다. 교차 엔트로피는 신경망이 출력한 분류문제의 오차에 신경망이 추정한 분류결과의 신뢰성(confidence)를 고려하여 종합적 관점에서 신경망의 학습결과를 평가 할 수 있다.

4.1 학습 데이터 가공

우선 용접공정 중 전압 센서, 전류 센서 및 압력 센서를 사용하여 전압, 전류, 가압력의 데이터를 얻었으며, 동저항은 공급 전력의 1주기 동안 센서의 샘플링주기에 따라 전압의 전류 및 순간 값을 옴의 법칙에 따라 연산함으로서 계산되었다.

상기의 측정과정을 통해 너트 프로젝션 용접의 경우 총 66개의 용접 데이터를 획득하였으며, 이 중 정상 용접데이터는 30개, 불량 용접데이터는 36개로 구성되어 있다. 취득한 데이터는 일반적으로 학습을 위한 데이터셋과 학습 결과를 검증하기 위한 테스트셋으로 분류하여 사용 된다. 본 논문에서는 학습 데이터셋으로서 80%인 53개를 지정하고 나머지 20%인 13개를 테스트 데이터셋으로 구성하였다. 또한 End plug 업셋 용접의 경우 총 258개의 용접데이터를 확보하였다. 이 중 정상 용접데이터는 31개, 불량 용접데이터는 227개로 앞선 프로젝션 용접과 마찬가지로 20%를 테스트셋으로 남겨두기 위해 학습 데이터셋으로 202개, 테스트셋 56개로 구성하였으며 두 가지 용접 데이터에 대한 특징을 Table 1에 정리하였다.

Table 1.

Comparison of weld data

본 연구에서는 저항용접의 공정변수 전압과 전류를 실시간으로 측정 하였으며, 전압과 전류를 이용하여 동저항을 계산 하였다. 일반적으로 저항용접의 경우 용접의 진행 과정 분석을 위해서 전압이나 전류보다는 동저항의 변화를 참고 한다. 따라서 본 연구에서는 동저항 계산 결과를 python의 matplot 라이브러리를 활용하여 그래프 이미지로 시각화 하였다. 그리고 각 이미지에 정상과 결함으로 라벨을 지정해 주어 신경망이 이미지의 패턴을 인식 할 수 있도록 하였다. Fig. 7과 Fig. 8은 각각 너트 프로젝션 용접과 업셋 용접시 측정한 전압 과 전류, 그리고 이를 이용하여 계산한 동저항의 패턴을 보여주고 있다.

Fig. 7

Current, voltage and dynamic resistance of nut projection welding

Fig. 8

Current, voltage and dynamic resistance of upset welding

앞서 설명한 바와 같이 이미지학습을 위해서 동저항을 계산하여 이미지로 변환하고, 정상과 결함으로 라벨을 지정 하였다. Fig. 9는 너트 프로젝션 용접의 이미지 학습용 데이터 중 일부를, Fig. 10은 업셋용접의 이미지 학습용 데이터 중 일부를 보여주고 있다.

Fig. 9

Patterns of dynamic resistance of nut projection welding for image learning

Fig. 10

Patterns of dynamic resistance of upset welding for image learning

4.2 신경망 학습 및 예측 결과

우선 너트 프로젝션 용접에 대해서 학습 데이터셋을 이용하여 학습을 진행 하였다. Fig. 11을 보면 테스트셋에 대한 용접 품질 예측 정확도가 0.9 근처에서 수렴하는 것을 알 수 있다. 또한 Fig. 12과 같이 학습이 진행됨에도 불구하고 손실함수값이 교차 엔트로피가 0.45이하로 줄어들지 않았다. 반면 업셋 용접의 경우에는 학습 데이터셋에 대한 정확도가 Fig. 13에 나타난 바와 같이 0.98 부근까지 지속적으로 증가하면서 신경망이 데이터셋을 제대로 학습하고 있는 것을 볼 수 있다. 그리고 Fig. 14에 나타난 바와 같이 교차 엔트로피 값이 약 0.1까지 낮아졌다.

Fig. 11

Training set accuracy of projection welding

Fig. 12

Validation cross entropy of projection welding

Fig. 13

Training set accuracy of upset welding

Fig. 14

Validation cross entropy of upset welding

결과적으로 너트 프로젝션 용접은 800회 이상 학습을 수행 할 경우 과적합 현상이 나타났으며 예측 정확도는 최대 약 0.9 부근에서 정지 하였다. 업셋 용접에서는 10,000회까지 안정적으로 학습을 수행하여 예측 정확도가 98%로 수렴 하였으며, 과적합이 발생하지 않았다.