딥 페이크(딥 러닝+페이크)란 무엇인가?

 

요즘 화제가 되고 있는 딥 페이크. 딥 러닝과 페이크의 합성어인 이 딥 페이크란 어떤 것인지 아래 글에서 알아보도록 하겠습니다.

 

2021년 3월 초, 시각효과 아티스트 Chris Ume가 탤런트를 흉내 내는 Miles Fisher와 협력하여 만든 배우 톰 크루즈의 가짜 동영상을 TikTok에서 공개하고 SNS에서 큰 화제가 되었습니다.

 

Sports! | with Music original sound - Tom

동영상에서는 톰 크루즈라고 밖에 볼 수 없는 인물이, 골프를 친다거나, 카메라를 향해 이야기하는 등, 웃는 모습이나 행동을 보면 매우 자연스럽고, 웬만해선 딥 페이크라는 것을 알 수 없을 정도의 퀄리티로 완성되어 있습니다.

 

Chris Ume는 인터뷰에서, 인공지능(AI) 모델의 훈련에 2개월이 걸렸고, 전문 장비를 사용한 촬영과 편집에 며칠이 걸렸다고 답하고 있으며, 또한 탤런트 흉내 전문가의 협력을 얻고 있기 때문에, 누구나 이와 비슷한 수준의 것을 바로 만들 수 있는 것은 아닙니다.

 

그러나 앞으로 기술과 도구가 진화해 나가면, 보다 간단히 만들 수 있게 될 것입니다. 위 영상의 제작 과정을 설명한 동영상도 Youtube에 공개되어 있습니다.

 

 

■ 딥 페이크란?

이러한 동영상은 "딥 페이크"라고 합니다. 딥 페이크라는 말의 본래 의미는, AI의 한 분야인 "기계 학습"의, 특히 "딥 러닝"이라는 방법을 사용하여 만든 가짜 동영상을 의미하지만, 현재 그 정의는 점점 넓어져서, 방법에 관계없이 고품질이면서 간파하기 어려운 가짜 동영상을 가리킨다고 생각해도 좋을 것입니다.

그렇다면, 딥 페이크는 어떤 기술을 사용하여 만들어지는 것일까요? 이전부터 컴퓨터 그래픽 기술을 사용하여 얼굴의 요철이나 눈 등 파트마다의 특징을 추출하여 2명의 인간의 얼굴을 바꾸는 일은 있어왔지만, 비싼 전문 장비가 필요했습니다. 그것이 AI의 진화에 의해 훨씬 간단해진 것입니다. AI 분야 중에서도 특히 "GAN(적대적 생성 네트워크)"라는 기술이 결정적으로 중요합니다.

 

GAN은, 진짜와 같은 이미지를 만들어 내려는 "제네레이터(생성기)"와, 이미지가 진짜인지 여부를 식별하는 "디스크 리미네이터"라는 2개의 네트워크로 구성되어 있습니다. 얼굴을 교환하려는 두 명의 인물의 수천 장의 얼굴 사진을 생성기에 포함시켜, 가능한 한 현실적인 가짜 이미지를 만들어 줍니다. 한편, 디스크 리미네이터에, 그 생성된 이미지가 진짜인지 가짜인지를 판정시킵니다. 이 2개의 네트워크가 반복되고 반복되어, 가짜 이미지를 만드는 정확도가 높아지고 있고, 결국 진위를 판별할 수 없을 정도로 자연스럽게 완성되는 것입니다.

 

 

■ 사회에 미치는 영향

딥 페이크가 악용된 경우의 부정적인 영향은 매우 커서, 정치인과 지도자의 위치에 있는 사람의 가짜 동영상이 만들어지고, 하지도 않은 말을 한 것처럼 보이게 해서, 사람들의 투표 행동에 영향을 준다면, 민주주의 사회의 근간을 뒤흔들고 맙니다. 또한 재해가 발생하고 있는 경우에, 가짜 동영상에 의해 혼란이 조장되어 버리는 사태도 쉽게 예상됩니다.

유명한 예를 하나 든다면, 2018년에 YouTube에 공개된 미국의 오바마 대통령의 동영상입니다. 24초쯤에 "트럼프 대통령은 완전히 멍청하다(President Trump is a total and complete dipshit)"라고 당시의 트럼프 대통령의 욕을 하고 있는 것처럼 보입니다.

 

 

또한 개인의 수준에서도, 인터넷에서의 집단 괴롭힘이나 명예 훼손, 협박, 사기 등의 범죄 행위에 이용되기도 하며, 유명 인사의 얼굴을 붙인 딥 페이크 포르노도 이미 큰 문제가 되고 있습니다.

 

 

■ 딥 페이크의 긍정적인 용도

어떤 기술에도 동일하게 적용할 수 있는 말이지만, 악용하면 유해한 반면 긍정적인 용도의 가능성도 당연히 있습니다. 딥 페이크 기술은 중국의 3대 기술 기업 중 하나인 텐센트가 2020년 7월에 발행한 백서에서 아래 다섯 가지의 응용 예를 들고 있습니다.

● TV 프로그램과 영화 제작의 강화

새로운 영화에 이미 사망한 배우를 등장시키거나, 배우와 스턴트맨 등 살아있는 인간을 위험하게 하지 않고 화려한 액션 장면을 제작하고, 또한 언어 더빙을 자동으로 생성할 수 있습니다.

● 엔터테인먼트의 개인화

예를 들어 비디오 게임의 주인공의 얼굴을 플레이어의 얼굴로 대체하여 콘텐츠를 더 개인화할 수 있습니다.

● e커머스 강화

다양한 인종 · 성별의 다양한 체형의 가상 모델을 생성하여, 사용자가 온라인 쇼핑의 디지털 환경에서 옷을 입혀보거나, 인터렉티브 한 경험을 할 수 있습니다.

● 인간과 구분할 수 없는 가상 아바타 만들기

이미 몇몇 등장하고 있는 가상의 아이돌이나 탤런트 등에 딥 페이크 기술은 활용되고 있습니다만, 앞으로 더욱더 실제 인간의 행동에 다가갈 것입니다.

● 환자 지원

예를 들어, ALS(근 위축성 측색 경화증) 등의 질병으로 목소리를 잃은 사람이, 음성 딥 페이크를 이용하여 목소리를 내고, 대화할 수 있습니다.

또한 2020년 6월에 공개된 러시아 공화국에서의 LGBTQ의 박해에 관한 다큐멘터리 영화 "체첸에 오신 것을 환영합니다 (Welcome to Chechyna)"에서는, 딥 페이크 기술로 얼굴을 교체하여, 등장인물의 개인 정보를 은닉했습니다. 현장감을 잃지 않고 등장인물의 신원을 보호할 수 있는 것입니다.