1. 개요
| 톰 크루즈가 아이언맨이 된 영상[1] |
딥페이크(deepfake)란 딥러닝(Deep Learning)과 Fake의 합성어로, 딥러닝 기술을 사용하는 인간 이미지 합성 기술이다.
본래 2017년 'deepfakes'라는 닉네임의 레딧 사용자에 의해 만들어진 기술이다. 한 사람의 얼굴을 학습한 뒤 다른 영상에서 얼굴을 바꿔치기 하는 기술을 의미하는 용어에서 유래되었으나[2] #, 현재는 실존 인물을 대상으로 하여 인공지능을 이용해 실제처럼 보이도록 조작, 생성된 모든 비디오, 사진 또는 오디오를 모두 총칭하는 의미로 확장되었다. #[3]
2. 특징
머리 외곽선을 통째로 따서 합성하는 것이 아니고, 안면윤곽 안쪽 부분만 피부톤을 맞춰 바꿔치기하는 방식. 즉, 눈코입 부분만 합성하는 것이다. 사람의 인상에는 헤어스타일과 안면윤곽도 크게 작용하며, 합성 대상이 원본과 확연히 다른 안면윤곽을 가지고 있다면 합성 자체는 자연스럽게 이루어졌다 하더라도 그냥 제3의 인물처럼 보일 수 있다.또한, 딥 러닝 방식의 특성상 주어지지 않은 정보에 대해서는 제대로 대응하지 못한다. 즉, 아무런 방해물이 없는 상태의 일반적인 얼굴 표정은 잘 합성해내지만, 얼굴 근처에 다른 물체가 있다거나, 얼굴 자체가 프레임에서 일부 잘려나갔거나, 일반적으로 잘 볼 수 없는 매우 특이한 표정을 지었다거나 하면 대충 덮어씌운 듯한 매우 부자연스러운 합성 결과가 나오고, 극단적인 경우 합성에 실패하여 그냥 원본 얼굴을 보여주기도 한다. 합성 대상의 얼굴 표정 학습량이 적을 때에도 비슷한 일이 일어나는데, 이 때의 모습이 기괴하여 불쾌한 골짜기 현상이 발생하기도 한다.
음성에는 전혀 손대지 않지만, 얼굴 표정을 적절하게 매칭시켜 합성을 하기 때문에 목소리가 다르다 하더라도 입모양이 발음과 일치하여 자연스럽게 느껴진다. 이런 특성이 방송이나 광고에 의도적으로 이용될 수도 있을 것이다.
이러한 특성을 인지하고 있으면 양산형 영상은 아주 쉽게 간파할 수 있으나, 반대로 이런 약점을 피하기 위해 합성 대상이 되는 사람과 비슷한 체형 및 얼굴형을 가진 사람이 찍힌 영상을 고르고, 대상자의 얼굴 표정을 매우 다양하게 학습시킨 상태에서, 안면 부분에 별다른 방해물이 없는 장면 위주로 작업을 해낼 경우에는 굉장히 자연스러운 결과가 나오게 된다.
과거 2D 수동합성이 기술자의 감각적 스킬에 의존한 반면, 딥페이크의 경우는 좋은 장비를 갖춘 상태에서 적절한 대상을 찾고 충분한 학습량을 먹여야 하는 물량전으로 양상이 변한 셈이다. 현재 생산되는 어느정도 자연스러운 수준의 딥페이크들은 서로 조명 여건이 다른, 앞, 옆, 위, 그리고 아래 등 다양한 각도와 표정을 포함한 3분 정도짜리 비디오 3개 정도면 만들 수 있다고 한다.
현재 수준에서는 실사 영상에 적용하면 이질감이 들지만 원본이 3D CG인 경우 이질감이 확 줄어든다. 스파이더맨 트릴로지 배우들의 얼굴을 마블 스파이더맨 게임에 적용한 모습
이렇게 딥페이크가 공론화되자 몹시 닮은 사람도 딥페이크로 의심되기 시작했는데, 2021년 차이유라는 별명의 아이유를 닮은 중국 사람이 딥페이크로 의심받는 상황까지 벌어졌다.
이렇다보니, 객관적인 모델의 외모를 평가해야 하는 오디션에서는 응시자 외모를 보정하는 게 많아 아예 즉석사진(폴라로이드)으로만 응시할 수 있도록 하는 곳도 가득이다. 덕분에 즉석사진기 수요가 2020년대 와서도 여전히 꽤 이뤄지고 있을 지경.
자매품으로 딥누드가 있다. 딥페이크가 얼굴을 바꿔치기 하는 거라면 이쪽은 몸을 바꿔치기 하는 것. 정확하게는 비키니 등 노출이 많은 사진을 나체 사진으로 합성해준다. 그리고 또 다른 자매품으로 JavPlayer가 있는데, 이쪽은 AV의 모자이크를 제거하는 기술이다.[4]
3. A.I.
- SAE_HD: 전 세대의 평면의 얼굴만 습득하는 문제점을 고치고 다양한 각도로 얼굴을 카피하고 독자적으로 그 각도에 따라 빛,음영을 절묘하게 넣는 AI. 원래 전 세대 AI가 좀 많이 단순했던지라 다른 AI에 의해 사장될 것이라는 예상을 뒤덮고 아직까지 현존하는 가장 최고의 AI. 당연하지만 사용했던 AI 모델을 버리지 않고 계속 쓰면 점점 실력이 향상된다.
- Quick_96: 저사양 전용 AI. 해상도가 시망이라 저용량/저해상도용으로 쓰면 쓸만하다곤 하나, 딥페이크를 이용하는 유저들 대다수는 은근히 고사양을 가지고 있어서 사실상 버려지는 AI이다. 그래도 저사양에서 돌아간다는 건 높이 쳐줄 만할지도. 그리고 애초에 저사양용이다 보니 Iteration이 빠르게 올라간다. 그래픽카드 용량을 많이 잡아먹지도 않고 CPU에 조금 더 의존하는 AI이다.
4. 긍정적 사용예
4.1. 배우 교체
기록말살형에 딥페이크가 사용된 사례가 해외에서 나왔다. 드라마 방영을 앞두고 한 배우가 사회적 물의를 일으켰는데 사전제작 방식이라 중도에 수정할 수도 없어서 딥페이크로 해당 배우의 얼굴만 후임 배우로 바꿔치기 했다.딥페이크로 기존 영화 속 CG 작업과 비교하는 영상도 생겨났다.
- 로그 원: 스타워즈 스토리 - 윌허프 타킨[5] #
- 아이리시맨 - 젊은 시절 프랭크 시런[6] #
- 저스티스 리그 - 슈퍼맨[7] #
- 인디아나 존스: 운명의 다이얼 - 젊은 시절 해리슨 포드[8]
음성만 딥페이크를 하는 것을 딥보이스라고 한다. 선술한 AI 음악 프로젝트 다시 한번에서도 이 기술을 사용했다. 2023년 국정감사에서 더불어민주당 소속 이상헌 문화체육관광위원장이 AI 기술과 관련된 딥페이크 관련 범죄 피해가 늘고 있다는 점을 지적하기 위해 김광석의 사진에 유인촌의 얼굴을 합성하고 그의 음성을 학습시켜 그가 서른 즈음에를 부르는 영상을 공개한 적이 있다.
당시 MBC 뉴스에서 딥페이크 예시로 아이유와 방탄소년단을 예시로 사용했는데, 양측 팬에서 논란이 되었다. 특히 방탄소년단은 MBC-HYBE 간 불화의 연장선으로 보기도 했을 정도며, 자세한 내용은 MBC 아이유·방탄소년단 딥페이크 보도 사건 참고.
영화에서 딥페이크 기술이라고 칭하고 등장시킨 사례도 있다.
- 크리에이터 - 영화 초중반 주인공 조슈아가 뉴아시아에서 자신의 연인 마야와 같은 얼굴을 가진 안드로이드를 여럿 발견한다.
- 스턴트맨 - 영화초반 주인공 콜트가 자신의 딥페이크를 딴다고 하자 “나중에 내 몸에 톰 크루즈 합성한 거 보여줘요”라는 대사를 한다.
4.2. 고인 구현
AI 음악 프로젝트 다시 한번에서는 이 기술을 활용해 거북이의 무대를 재현했다. 체형이 비슷한 백댄서의 몸을 이용해 합성한 것.4.3. 유머, 개그
한국 커뮤니티에서는 강호동과 브록 레스너를 서로 딥페이크로 합성한 합성물이 인기를 끌었다. 이수근 역시 강호동과 같이 합성되어서 나오는데 이수근은 폴 헤이먼과 서로 합성되었다. 호동 레스너.gif 브호동 모음.gif, 링크 2한국에서 처음 등장한 딥페이크 합성물은 2012년의 해당 영상으로 추측되며 이한석과 심영의 합성물로 보인다.
인물 사진에 딥페이크를 합성해 노래를 부르게 하는 ばかみたい와 마이야히가 인터넷 밈으로 퍼지기도 했다.
2021년에는 일론 머스크가 노래를 부르는 컨셉의 딥페이크 영상이 유행하고 있다.
전체를 딥페이크 영상만으로 채운 풍자 코미디 쇼가 유튜브에 나오기도 했다. 트레이 파커와 맷 스톤, 피터 세러피너위치[9]가 제작한 “Sassy Justice with Fred Sassy”로 여러 유명인들이 출연해 우스꽝스러운 말을 한다.
Corridor Digital에서 딥페이크를 이용하여 마치 키아누 리브스가 마트에 든 강도를 막는 것처럼 연출한 영상. 키아누 리브스와 체형이 비슷한 스턴트맨까지 섭외하여 만들었다.
뮤직비디오의 약 2분 19초경부터 투팍이 등장하는데 이 역시 딥페이크를 이용한 것으로, 립싱크를 맞춘 배우의 얼굴에 투팍의 얼굴을 덮어씌워 마치 투팍이 랩을 하는 듯한 연출을 보여준다.
해외 축구 팬들 사이에서 해리 케인의 얼굴을 온갖 곳에 딥페이크를 씌우는 것이 유행이다. 손흥민과 함께 실력은 출중하지만 트로피가 하나도 없는 점이 웃기기 때문인 듯하다.
|
|
|
| 원본[10] | 합성 |
4.4. 인터뷰이 인권보호
다큐멘터리 등지에서 인터뷰하는 사람의 인권 보호 차원에서 존재하지 않는 가상의 다른 얼굴을 바꾸는 식으로 활용될 수 있다. 모자이크의 경우 아예 그 사람의 얼굴을 다 흐리게 하다보니 감정 묘사가 드러나지 않는 반면, 딥페이크를 통한 얼굴 교체는 표정과 감정을 전달하면서도 지인, 가해자에게 특정될 여지을 차단하여 신원을 보호할 수 있는 긍정적 효과가 있으며, 국내에서도 그것이 알고싶다 딥페이크 편에서 활용되었다.4.5. 버추얼 인플루언서
딥페이크 기술을 활용한 버추얼 인플루언서가 여러가지 영상 매체로 활동을 하기도 한다. 몸은 실존 인물이나, 얼굴만 존재하지 않는 가상 얼굴로 바꾸는 것이다.5. 부정적 악용예
5.1. 가짜 뉴스
정치적 목적으로 딥페이크 영상을 만들어 정치인의 말조차 가짜로 만들어내어 정치적 공세를 가하는 경우도 존재한다.머지 않은 시점에 정치인이나 기업을 공격할 목적으로 합성한 사실적인 영상이 대중과 사회에 미칠 영향은 그야말로 무궁무진하며,[11] SNS가 발달한 오늘날에는 일반인들 또한 딥페이크 영상에서 안전지대에 있다고 장담할 수가 없다. 자신의 얼굴로 합성 포르노가 만들어져서 망신을 당할 수도 있다. #
엔터테인먼트 분야에서의 그 효율이 탁월하다 할지라도 한사람의 삶과 죽음, 개인과 집단의 이익 목적 실현을 위한 딥페이크의 악용, 나아가 정치적으로 사용되어 거짓된 정보를 통해 대중을 선동하여 국제적 불안까지도 조장할 수 있다는 것이며, 여기서 더욱 더 문제가 되는 점은 딥페이크물을 거짓으로 입증하기도 어려울 뿐 아니라 일부 급진주의자들이 이야기하는 디크립트, 다시 말해서 해당 영상물이 실제로 딥페이크로 제작된다는 걸 밝혀주는 프로그램이 존재한다 해도 피해 당사자 측은 이미 상당한 피해를 입은 뒤의 후속조치에 불과하다는 것이다.
5.2. 사기 및 보이스피싱
목소리를 학습해 실시간으로 그 사람의 목소리인척 말할 수 있는 AI로 보이스 피싱을 한다던지, 실시간으로 얼굴을 합성하는 딥페이크 기술을 통해 영상통화로 가족이나 지인을 사칭하는 등의 방식으로 악용될 수도 있다. 2019년 영국 한 에너지 회사는 CEO 목소리를 AI로 사칭한 보이스피싱에 속아 24만3000달러(한화 약 3억원)을 송금하는 사례가 있고 #, 홍콩의 글로벌 업체 금융사도 CFO 등을 사칭한 가짜 화상회의에 속아 340억원 가량을 송금하기도 했다. # 그것이 알고싶다 딥페이크 편에서는 일반인을 대상으로한 AI 보이스피싱도 충분히 가능하다고 시연하였다.- 2023년 유명인 사칭 광고 사건
- 2024년에는 딥페이크가 피싱에 이용되는 사례가 발생했다. 홍콩에서는 어느 회사에서 화상회의를 했는데 사장이 340억원을 계좌이체 하라고 지시했는데 피싱범의 딥페이크였다. 화상회의에 참여한 다른 직원들도 모두 가짜였다. #
2024년에는 중국 보이스피싱 조직이 한국 제주도 여행을 간 중국인 딸의 사진와 딥페이크를 활용해 '가짜 납치 영상'을 만들어 그 부모에게 보내서 돈을 보내라고 협박한 사건이 있었다. # # 일반인을 대상으로한 보이스피싱 범죄가 실제로 이루어진 셈.
5.3. 성범죄
6. 관련 문서
- 생성적 적대 신경망
- 아이코라
- 알페스
- 2024년 텔레그램 딥페이크 음란물 유포 사건
- 2023년 유명인 사칭 광고 사건 - 딥페이크 기법이 사용되었다.
- Pornhub: 배우나 가수를 비롯한 유명인을 소재로한 딥페이크 영상이 있어 논란이 되었으나, 2020년 12월 사이트 내 미인증 사용자가 게시한 영상 대다수를 삭제하면서 같이 지워졌다.
7. 창작물에서
- 7인의 탈출: 작중 K( 매튜 리)가 악행을 저지를때 자신의 정체를 완전히 숨겨 완전 범죄를 저지르기 위해 딥페이크 기술을 사용한다.
- 밤이 되었습니다: 유일고 일진들이 진다범에게 박세은을 이용한 딥페이크 야동을 제작하라고 협박한다.
- 명탐정 코난: 흑철의 어영: 핑가가 자신이 살해한 인물의 죽음을 위장하기 위한 알리바이 트릭으로 딥페이크를 사용한다.
8. 외부 링크
[1]
유튜버 Shamook의 만든 딥페이크 영상. 실제 아이언맨을 연기한 배우는
로버트 다우니 주니어이며 톰 크루즈와는 목소리 톤이 다르기 때문에
성대모사 전문가를 불러 더빙도 했다. 왜 하필 톰 크루즈를 넣었냐면 배우 확정 이전에는 로버트 대신 크루즈가 유력 후보였기 때문. Shamook는 이후 스타워즈 제작사인
루카스필름에 정식으로 채용되었다. 참고로 루카스필름과 아이언맨의
마블 스튜디오는
같은 모회사를 두고 있으므로 상황에 따라서 마블로 이직할 가능성도 있을 듯하다.
[2]
합성하려는 인물의 얼굴이 주로 나오는 고화질의 동영상을 통해 딥러닝하여, 대상이 되는 동영상을
프레임 단위로 합성시키는 것이다. 딥러닝의 이미지 학습에는
GAN알고리즘과 병렬연산장치, 주로 그래픽 카드 내
GPU가 사용된다.
[3]
실존 인물과 무관하게 단순히 AI로 생성된 모든 자료가 딥페이크를 의미하지는 않는다.
[4]
정확히는 제거가 아니라 상술한 대로 딥러닝을 통해 덧붙이는 방식이다. 애초 AV 작품의 모자이크가 덧붙일 부위도 톤이나 움직임이 간단하고, 모자이크 없는 영상도 많아 샘플링할 데이터도 많다보니 제거 수준까지 가능한 것. 물론 디테일은 떨어지며 그냥 흐린 눈으로 뭉개는 것에 가깝다.
[5]
다만 이쪽은 피터 쿠싱이 생전 얼굴 본을 뜬 적이 있어 작업이 어렵지 않게 진행되었다.
[6]
CG로 안티에이징 기술이 적용되었다.
[7]
다른 비교영상과 달리 딥페이크가 훨씬 좋다. 기존 CG가 워낙 별로이기 때문이다.
[8]
CG로 안티에이징 기술이 적용되었다.
[9]
존 윅 시리즈의 소믈리에,
다스 몰을 연기한 유명한 코미디 배우이며 한국에서는
키친건 영상으로 유명하다.
[10]
해당 인물은 메이플 방송인
팡이요.
[11]
예를 들어 정적의 정치생명을 끝장내려 하는 경우가 벌어질 수도 있다. 이미 기존에
버락 오바마가
도널드 트럼프에 대해 실제론 하지도 않은 말을 하는 가짜 영상이 만들어져서 퍼진 바 있다. 물론 그 역으로
도널드 트럼프가 실제로 하지도 않은 말을 가지고 그를 깎아내리기 위해 선동하는 영상도 많이 만들어져서 퍼졌다.