1. AI의 흐름을 바꾸다. "GAN의 등장"
2014년, 구글 브레인에서 머신러닝을 연구했던 이안 굿펠로우(Ian Goodfellow)가 NIPS(신경정보처리시스템학회)에서 ‘Generative Adversarial Nets(GAN)’발표를 했다. 이 발표의 핵심은 노이즈로부터 이미지를 생성하는 것이다. 그 논문의 발표 이후 AI의 패러다임이 바뀌었다. 지도학습 중심이었던 기존의 AI패러다임을 비지도학습으로 변화시켰다. 또한 GAN에 대한 연구 활발한 연구들이 지금까지도 활발하게 진행되고 있다. 대표적으로 자연어 처리(NLP), 이미지 생성 등 다양하게 응용되고 있다.
2. GAN(Generative Adversarial Nets)의 개념과 원리
Generative “발생의, 생성의”라는 뜻을 가졌으며 Adversarial은 “적대적인, 대립관계에 있는”의 뜻을 가진다. 뜻을 합쳐보면 특정 정보를 생성하는것과 이와 대립하는 것으로 이루어진 Network(망)이라고 볼 수 있다. 더 쉽게 말하자면 대립하는 두 신경망 모델의 경쟁을 통해서 학습하고 결과물을 만들어내는 것이다.
위 논문에는 이미지를 생성하는 모델(Generator)과, 이 모델에서 만들어진 이미지를 판별하고자 시도하는 모델(Discriminator)이라는 두 모델을 서로 대립(Adversarial)시켜서 서로의 성능을 올릴 수 있다는 개념을 포함하고 있다. 생성모델은 실제 데이터를 학습한 것을 바탕으로 진짜 같은 거짓데이터를 만들어낸다. (목적: 진짜 같은 가짜 만들기) 계속 진짜를 만들어내면서 분류모델을 속이는 것을 목표로 학습을 한다. 반대로 분류모델은 생성모델이 만들어낸 데이터가 진짜 데이터인지 가짜인지 판별하는 것을 목표로 학습한다. 만약 생성모델이 분류모델을 속여서 진짜라는 결과를 만들면 분류모델을 보완하고 반대의 경우도 마찬가지로 학습을 계속해서 하면서 계속 진짜 같은 가짜를 만들도록 하는 원리이다.
논문에서는 위조지폐범과 경찰을 예로 들어 설명했는데요.
위조지폐범(생성모델)은 진짜 지폐와 최대한 비슷하게 만들어서(생성) 가능한 경찰을 속이려고 노력한다. 반면 경찰(분류모델)은 진짜 화폐와 가짜 화폐를 완벽히 판별(Classify)하여 위조지폐범을 검거하는 것을 목표로 한다. 이러한 경쟁이 계속될 때마다 위조지폐팀은 경찰을 속이지 못한 데이터를, 경찰은 위조지폐범에게 속은 데이터를 입력 받아 적대적으로 학습한다. 그 결과 두 팀 모두 각자의 능력이 향상되고, 결국에는 경찰이 진짜와 가짜를 구별 할 수 없을 때까지 진행된다. 즉, 이 과정이 반복되면서 위조지폐가 정교해지듯 점점 더 실제에 가까운 거짓 데이터를 생성하게 된다.
적대적 학습은 분류모델을 먼저 학습시킨 후 학습된 분류모델을 속이는 방향으로 생성모델을 학습시킨다. 분류 모델은 진짜 데이터를 입력해서 해당 데이터를 진짜로 분류하도록 학습하는 것과 생성모델에서 생성한 가짜 데이터를 입력해서 해당 데이터를 가짜로 분류하는 학습을 하게 된다. 그 다음에는 분류 모델을 속이는 방향으로 생성모델을 학습시킨다. 생성모델에서 만들어 낸 가짜 데이터를 판별 모델에 입력하고, 가짜 데이터를 진짜라고 분류할 만큼 진짜 같은 데이터를 만들도록 생성모델을 학습시킨다. 이러한 학습이 반복되면서 분류 모델과 생성 모델이 서로를 적대적인 경쟁자로 인식하여 모두 발전할 수 있게되고, 진짜와 완벽히 유사한 가짜를 만들 수 있다.
인간이 정답을 알려주기 않아도 생성자와 감별자가 경쟁하면서 스스로 학습하는 GAN은 대량의 데이터를 AI스스로 학습하기 때문에 또한 직접 이미지나 음성을 생성한다는 점에서 지도기반학습과 차별화되고 파급력 또한 크다.
3. GAN응용사례
1) 이미지 생성 "그림 그리는 휴머노이드 Ai-Da(에이다)"
Ai-Da(에이다)는 대화와 회화가 가능한 AI로 옥스포드 대학에서 첫 단독 작품전을 2019년 6월 12일에 열었다고 한다. 아래 사진이 휴머노이드 AI-DA이다. 당시 ai-da가 그린 그림은 다음과 같고 43만불에 팔린 작품도 있다고 한다.
2) 영상합성 "AI오바마, 전 미국 대통령의 가짜 영상"
영상 : https://youtu.be/AmUC4m6w1wo
GAN은 영상 합성에도 활용된다. 2017년 8월 미국 워싱턴대학교 연구진은 버락 오바마 전 미국 대통령의 가짜 영상을 만들어냈다. 오바마 전 대통령의 연설 영상들로부터 음성을 따고 이 음성에 맞는 입 모양을 만드는 학습을 통해 가짜 영상을 만들어 내는데 성공했다. GAN은 이미지 생성뿐만 아니라 영상합성, 음성 합성에서도 많이 사용된다. IBM의 경우 한 인물의 목소리, 화법, 말투 등의 요소들을 학습시켜서 실제 사람의 음성으로 새롭게 만드는 연구도 진행중이다.
4. GAN의 한계
현재 가장 인기있는 AI알고리즘이기는 하지만 한계점이 존재한다. 고해상도 이미지를 생성할 수 없다는 점과 학습 불안정 등의 한계가 나타난다. 또한 GAN은 진짜 같은 가짜를 생성해준다는 점에서 활용성이 높고 많은 기대를 받고 있지만 악용 가능성에 대한 우려들이 나타나고 있다. 즉 진짜와 구별되지 않는 거짓 데이터가 현실을 지배할 수 있기 때문이다. 최근 GAN을 활용한 ‘딥페이크’ 포르노 영상들이 유통되면서 GAN의 문제점을 가장 잘 보여주고있다. GAN에 의해 디지털 성범죄가 많아질 것이라는 우려가 나오고 있다. 과거의 이미지, 영상 생성과 달리 GAN을 활용하면 가짜 데이터를 고속으로 대량을 만들어낼 수 있다는 점에서 과거와는 전혀 다른 영향을 미치게 된다. 또한 윤리적인 이슈 또한 존재한다. 초상화를 그리는 AI(AI Portraits Ars)는 IBM과 MIT의 AI연구소에서 발표되었다. 여기서 원본의 얼굴을 더 희게 만들거나 코를 더 오똑하게 만드는 식으로 그림을 생성하는 인종차별적 요소가 존재한다고 한다. 아직 여러 이슈들과 한계점이 존재하지만 AI스스로 이미지를 생성한다는 것 자체 AI패러다임에 큰 영향을 주고 있는 것은 확실하다. 하지만 그 과정에서 윤리적 문제나 사회적 문제에 대한 방안이 같이 고려되어야한다.
