적대적 생성 신경망에 기반한 비지도 학습을 통해 이미지의 오염 영역을 복원하는 기계 학습 방법 및 시스템

Abstract

콘볼루션 신경망으로서 구현되는 장면 생성기 및 진위 판별기를 포함하는 적대적 생성 신경망(GAN)에 기반한 비지도 학습을 통해 이미지의 오염 영역을 복원하는 기계 학습 방법 및 시스템이 개시된다. 본 발명에 의한 기계 학습 방법은, 장면 생성기가, 입력 이미지를 수신하고 수신된 입력 이미지 내의 오염 영역에 대응하는 마스크를 생성하는 단계 장면 생성기가, 생성된 마스크에 기반하여 상기 입력 이미지 중 상기 오염 영역을 복원한 복원 이미지를 생성하는 단계 장면 생성기가, 상기 입력 이미지 중 상기 오염 영역을 제외한 배경 이미지와 상기 오염 영역을 복원한 복원 이미지를 조합하여 출력 이미지를 생성하는 단계 진위 판별기가, 상기 출력 이미지를 수신하고, 수신된 출력 이미지가 촬영된 실제 이미지인지 상기 장면 생성기에 의해 생성된 가짜 이미지인지 여부를 판별하는 단계 및 상기 장면 생성기는, 상기 진위 판별기가 실제 이미지 및 가짜 이미지를 완벽하게 판별한다고 가정할 때, 상기 진위 판별기의 판별 정확도를 최소화하도록 상기 출력 이미지의 생성 동작을 학습하고, 상기 진위 판별기는 상기 장면 생성기에 대해 적대적으로, 상기 판별 정확도를 높이도록 판별 동작을 학습하는 단계를 포함한다. 본 발명에 의해, 짝을 이루지 않는 빗방울 영상과 깨끗한 비왜곡 영상을 학습 데이터로 사용하여, 오염 영역을 집중적으로 복원할 수 있다.