딥페이크/성범죄

상위 문서: 딥페이크

1. 개요2. 역사

2.1. AI 기술 등장 이전2.2. AI 기술 등장 이후

3. 단어의 정의4. 상세 및 현황5. 사례

5.1. 서울대학교 허위 음란물 제작 유포 사건5.2. 2024년 텔레그램 딥페이크 음란물 유포 사건

1. 개요

딥페이크의 오용과 폐해 중 성범죄에 대한 부분을 다룬다.

2. 역사

2.1. AI 기술 등장 이전

사실 AI 등장 이전에도 포토샵 등을 이용한 고전적인 합성 방식의 성범죄는 존재했다. 스타크래프트의 옷벗기기 유즈맵나 일본의 아이코라가 이에 해당하는 대표적 사례이다.

2013년 드라마 별에서 온 그대에서도 PC방에서 남자 청소년들이 작중 연예인인 천송이의 얼굴을 비키니에 합성하는 모습이 나왔는데, 당시 시대상에서도 흔한 범죄였음을 반영한다.

2013년부터 소라넷 내 연예인 합성 카페인 '아이돌 페이크(Idol Fake)' 에서 EXID의 하니 등 주로 여자 연예인을 대상으로 나체 사진을 합성해 유포하는 범죄를 저질렀다. 해당 카페 운영자는 2016년에 체포되었다. #

이러한 범죄 피해는 남자 연예인도 예외는 아니었는데, 2012년에 한 부녀자가 빅뱅의 탑을 게이 동영상에 합성한 사진을 트위터에 올리거나 #( ⓐ)[X], 2016년에도 부녀자 블로거가 방탄소년단 멤버들을 게이 키스 사진에 합성해 알페스로 엮은 사진등이 올라오기도 하였다.( ⓐ)[X]

2016년부터는 자기 주변 지인을 대상으로 한 일명 '지인 능욕'이라는 범죄가 성행하면서 피해 대상이 연예인, 유명인이 아닌 일반인으로 까지 확대되기 시작하였다. #

2.2. AI 기술 등장 이후

2017년 말, 'deepfakes' 라는 닉네임의 Reddit 사용자가 특정 사람의 얼굴을 학습한 뒤 다른 동영상의 얼굴에 바꿔치기 하는 기술을 공개하였고, 개발자의 닉네임을 따 처음으로 '딥페이크'라는 용어가 탄생하였다. 당연히 이 기술은 탄생한 직후 유명인들의 얼굴을 포르노에 합성하는 등 빠르게 악용되었다.

2022년 부터 생성형 AI의 발달로 실사와 구분이 불가능한 고화질, 고품질의 AI 이미지 생성이 가능해졌다. 물론 대부분의 서비스들은 성적인 프롬프트를 금지하는 등의 필터링이 되어있지만 유저가 직접 모델을 설치하는 Stable Diffusion 등에서는 아무런 제약이 없기 때문에 실존 인물의 얼굴로 실사 나체 사진을 만드는 등 디지털 성범죄에 악용되기도 하였다. 이 경우 ① 특정인의 얼굴을 학습한 Lora 모델을 사용해 아예 얼굴, 몸, 배경 포함 모든 이미지를 전체적으로 AI가 생성해내거나, 아니면 이미지에서 특정 영역을 지정하고 지정된 영역만 AI가 덧칠해 채우는 inpaint 방식이 쓰이는데 이 경우도 ② 다른 사람의 나체 사진에 얼굴만 Inpaint 해서 원하는 인물로 바꿔치기 하거나, ③ 원하는 인물의 정상적인 사진에 옷 부분만 Inpaint 해서 몸 부분만 AI가 나체로 생성해 덧붙이는 방식등이 쓰인다. 이중 ①②의 경우 특정인의 얼굴을 학습시키기 위해 다량의 사진과 시간이 소요되기 때문에 이미 얼굴 모델이 많이 나와있는 유명인이 아니라면 잘 쓰이지 않고, 반면 사람의 나체는 이미 학습된 모델이 많기 때문에 보통은 ③ 방식으로 자주 사용되는 편이다.

단순 영상, 이미지 뿐만 아니라 목소리를 학습시켜 원하는 말을 내뱉게 하는 방식으로 성적인 발언이나 신음 소리등을 합성하는 오디오 딥페이크(딥보이스)도 존재한다. 일찍이 부녀자들 세계에서 유행했던 알페스의 일종인 ' 섹테'도 이와 유사한 결인데, 이 경우는 목소리가 비슷하게 들리는 게이 야동에서 신음을 따와 만드는 고전적인 방식이지만 현재는 AI를 활용해 당사자의 목소리로 직접 이를 가능케 된것이다.

3. 단어의 정의

사실 현 시점에서는 '딥페이크'라는 용어가 더 이상 2017년에 개발된 '딥페이크'라는 기술명만을 의미하지는 않게 되었다. 딥페이크(기술명)이란 다량의 사진으로 특정인의 얼굴을 학습시킨 후, 특정 실사 동영상에서 얼굴만 바꿔치기 하는 원리지만 현재는 생성형 AI의 Inpaint 기능 처럼 사진의 일부 혹은 전체를 생성된 이미지로 채워넣는 방식 등 다른 방식이나 원리의 AI로도 합성 성범죄를 하는 사례가 많아졌기 때문이다.[3] 굳이 따지자면 딥페이크는 동영상용, 생성형 AI는 사진용 이라는 차이점이 있지만[4] 이제는 '딥페이크'란 단어가 AI 모델이나 작동 방식을 따지지 않고 특정인을 대상으로 가짜 이미지/동영상을 AI로 생성해내는 행위 일체를 통칭하는 의미로 확장되었다.

심지어 AI 등장 이후로도 지식과 여건 부족 등의 이유로[5] AI를 활용하기 어려운 사람들은 여전히 포토샵 등 고전적인 합성방식을 이용하기도 하는데, 이러한 비AI 합성 성범죄도 일각에선 크게 구분하지 않고 '딥페이크'라고 같이 묶어 일컷는 경우가 많은걸 보면 AI가 사용되었냐와는 관계없이 실존 인물을 대상으로 합성을 하는 행위 일체를 뜻하는 고유명사화가 되었다고도 볼 수 있다. 이는 기존에 실존 인물을 음란물로 합성하는 행위만을 가르키는 용어가 없었던 탓에[6] '딥페이크'가 일종의 이런 행위 전반을 가르키는 신조어가 되었다고 볼 수 있다. 사실 포샵을 사용했냐 AI를 사용했냐, 어떤 프로그램과 어떤 모델을 사용했냐의 여부는 그걸 만드는 가해자한테나 중요한 사항이지 피해자 입장에선 다 똑같은 피해기 때문에 굳이 생성 원리를 구분하는게 무의미 하기 때문.

정리하자면 다음과 같이 구분 가능하다.

초기 의미: 2017년 레딧 유저에 의해 개발된, 특정인의 다각도 얼굴을 여러장으로 학습시킨 뒤 특정 실사 동영상에 해당 얼굴로 바꿔치기 하는 기술. (동영상 용)
범용 의미: AI의 모델이나 생성 원리를 따지지 않고, AI를 사용하여 특정 인물을 대상으로하여 실제와 구분이 불가능한 가짜 미디어를 생성하는 행위 일체, 또는 그렇게 생성된 자료. (동영상, 이미지, 오디오 모두 포함)
확장 의미: AI를 사용했는지와 관계없이 특정 인물을 대상으로 한 합성물이나 조작된 가짜 미디어. (포토샵 등 고전적 합성방식 포함)

4. 상세 및 현황

아직은 싸고 조악한 수준의 영상들이 많아서 대부분 가짜임을 짐작할 수 있지만 영상의 화질이나 처리되는 데이터의 질에 따라 딥페이크 영상과 원본영상의 구분이 어려울 정도로 발전하는 추세이며, 특히나 유명인들은 온라인에 공개된 리소스의 양이 당연히 많으므로 영상 합성이 용이하기 때문에 딥페이크 포르노의 탄생에 크게 일조하였다. 특히 다수의 포르노 사이트, 트위터와 같이 접근성이 높은 사이트에도 실제로 이런 영상들이 돌아다녔다.

한국의 경우는 이를 제작해서 인터넷 등에 배포하면 성폭력범죄의 처벌 등에 관한 특례법 제14조의2에 따라 처벌받는다. 일방적으로 당사자를 성적 대상으로 삼는 행위인 데다가 다른 사람의 영상에 얼굴을 합성한 행위이므로 '허위사실 적시에 의한 사이버 명예훼손'이 성립하며, 어찌 되었든 포르노이므로 공연히 적시했다면 음란물 유포죄로 형사 처벌이 가능하다.[7] 또한 민사사건으로서는 당사자의 동의 없이 딥페이크 포르노를 제작하였으므로 초상권 침해가 성립한다. 하지만 이러한 우회적 처벌이 아니라, 직접적으로 처벌할 수 있는 근거가 되는 법을 신설해야 한다는 목소리가 높아지면서 2020년 6월25일, <불법합성물 제작·유포에 대한 처벌 규정을 담은 성폭력범죄의 처벌 등에 관한 특례법 개정안>이 시행됐다. 기사

대다수 나라에서 현재 법적으로 대처가 불가능하다. 기사 [8] 사생활 침해에 관한 클레임도 걸 수 없는 게 동영상에 나오는 몸은 당연히 해당 일반인 및 연예인이 아니기 때문에 법적으로 사생활 침해가 인정되지 않는다. 그나마 동영상이라도 내릴 수 있는 유일한 방법은 얼굴이 나온 원본 영상에 대한 저작권 침해로 클레임을 거는 방법밖에 없다. 이와 같은 문제가 대두되기 시작하자 폰허브 같은 대형 플랫폼들은 딥페이크 영상들을 내리는 조치를 취하자 딥페이크 영상들을 모은 전용 사이트들이 생겨났다.

2월 27일 그것이 알고싶다에서 온라인 딥페이크 사용 목적의 96%가 포르노그라피인 것으로 보도되었다. 자세한 건 해당 문서 참조. 독일 경찰은 이를 역이용해서 아동성범죄 검거에 쓰고있다.

이렇게 실존 인물을 대상으로 딥페이크 기술을 이용해 당사자의 동의가 없는 불법적 커플링을 묘사하는 사례에 관한 자세한 내용은 Real Person Slash[9]의 줄임말인 알페스이다. 이는 알페스 공론화 사건 문서 참고.

미국 전문지 롤링 스톤에 따르면 중국 K팝의 주요 소비국이며 한국 연예인의 딥페이크 영상은 대부분 중국에서 제작된다고 한다. 해외 조사 업체에 따르면 주요 인터넷 사이트 5곳에 25%가 한국 여자 연예인이고, 41%가 미국 여자 연예인이었다. #

2021년 5월 2일 경찰청 국가수사본부가 발표한 내용에 따르면, 2020년 12월 한 달 동안의 집중수사를 통해 94명의 딥페이크 제작 및 유포자를 적발했으며, 그 중 65명이 10대, 17명이 20대로 나타났다. 즉 딥페이크로 검거된 사람들의 87.2%는 1020 연령층이자 과반수가 10대에 집중된 것으로 확인되었다. 기사 피해자는 114명으로 나타났으며 66명은 10대, 46명은 20대로서, 피해자들의 98.2%도 마찬가지로 1020 연령층이자 과반수가 10대에 집중되어 있었다. 또한 피해자들 중 109명이 여성이었고 남성 피해자는 단 5명에 그쳤다. 검거된 피의자들 중에는 10만 건이 넘는 딥페이크 자료들이 업로드된 불법 사이트를 운영하거나, 텔레그램에 8개의 채널을 만들고 727개의 딥페이크 자료들을 유통하던 경우도 있었다.

2022년 이후 생성형 인공지능이 대중화되면서 비슷한 문제에 대한 우려가 있으나 딥페이크만큼 논란이 된 경우는 없는데, 딥페이크의 경우 기술적 발전보다 부작용에 대한 우려가 더 이목을 끌면서 사실상 양지화되지 못한 문화 지체 사례로 볼 수 있다.

다음은 2023년 Security Hero 에서 95,820개의 딥페이크 비디오, 온라인 플랫폼 전반에 걸친 85개의 전담 채널, 딥페이크 생태계에 연결된 100개 이상의 웹사이트 등을 분석한 결과이다. #

2023년 온라인에 공개된 딥페이크 영상의 총 수는 95,820개로 2019년 대비 550% 증가했다. 딥페이크 포르노 사이트 시장점유율은 90%에 달하며 주류 포르노 웹사이트는 작지만 여전히 주목할 만한 10%의 점유율을 차지했다.

2022년부터 2023년까지 제작된 딥페이크 포르노의 양은 1년만에 2022년 약 3,725개에서 2023년 약 21,019개로 464% 증가했다.
그중 국가별 딥페이크 포르노 피해는 한국 53%, 미국 20%, 일본 10%, 영국 6%, 중국 3%, 인도&대만 2% 순으로 한국이 압도적인 1위를 차지했다. 이는 대부분 중국에서 제작된 K-POP 여성 아이돌을 대상으로 한 딥페이크 포르노의 비율이 압도적이었기 때문. 피해자 성별은 99%가 여성이었다.

시큐리티 히어로의 2023 딥페이크 현황 보고서에 따르면 지난해 7, 8월 두 달간 올라온 영상을 분석한 결과인데, 딥페이크 음란물의 등장 인물이 53%가 한국인으로 나타났으며 딥페이크 성범죄에 가장 취약한 나라로 꼽혔다. #

피해자 직업은 가수(58%), 배우(33%), 소셜 미디어 인플루언서(3%), 모델& 운동선수(2%)로 상위 10명 중 8명이 KPOP으로 위시된 한국 가수이며 피해자 94%가 엔터테인먼트 업계에 종사하고 있다.

설문 조사에 참여한 미국 남성의 48%가 딥페이크 포르노를 적어도 한 번은 본 적이 있다고 답했으며 사용자의 74%는 시청에 대해 죄책감을 느끼지 않는다고 답했다. 설문 참여자의 73%는 가까운 사람이 딥페이크 포르노의 피해자가 될 경우 당국에 신고하고 싶어했으며 68%는 딥페이크 포르노 콘텐츠 제작 과정에서 누군가의 사생활과 동의를 침해하는 것에 대해 충격과 분노를 느낄 것이라고 밝혔다.

롤링스톤은 한국 여자 연예인들이 딥페이크 영상 주인공의 25%를 차지하는 것에 대해 "케이팝이 50억달러(약 5조9740억) 규모의 세계적인 산업으로 성장하면서 케이팝 스타들이 딥페이크 영상의 피해자가 되고 있다"며 한류 열풍을 이유로 꼽았다. 이어 한국 여자 연예인들을 합성한 딥페이크 영상은 대부분 한국이 아닌 중국에서 제작됐으며, 이는 중국이 케이팝 주 소비국 중 하나인 만큼 관심도 많기 때문이라고 설명했다. #

5. 사례

대표적으로 엠마 왓슨의 얼굴을 사용한 포르노가 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는 데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해졌다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어졌다. 독일은 여기서 한술 더떠서 딥페이크를 적극적으로 활용해 가짜 아청물을 찍어내서 함정수사를 한다. #

일본에서도 2020년에 연예인에 대한 딥페이크 포르노를 제작·공개한 혐의로 적발한 사례가 있다. #

트위터나 텔레그램 같은 SNS상에서 링크를 통해 딥페이크 영상물을 사고파는 악성범죄가 자주 일어난다. '지인 합성', '능욕 합성' 등의 키워드를 검색해보면 지인이나 가족 등의 사진을 영상, 19금 사진에 합성해준다는 계정이 굉장히 많다. 심지어 이들 중 여럿은 공개 계정으로 버젓이 활동하고 있다. 특히 텔레그램에서는 여자의 신체들만 대상으로 한 딥페이크 비밀방이 다수 운영되고 있으며 트위터와 같이 '지인 합성', '능욕 합성 ' 여성 지인이나 (여동생,누나)가족 등의 사진을 영상, 19금 사진에 합성한 딥페이크 피해가 전국 단위로 퍼져나가고 있다.

[단독] 전국 학교 230곳에 '딥페이크방'…"얼굴 나온 거 다 지워라" 패닉

텔레그램에서 女아이돌 대상 '딥페이크방' 다수 운영 확인

10대 파고든 딥페이크 성범죄

[단독] ‘○○○ 능욕방’ 딥페이크, 겹지인 노렸다…지역별·대학별·미성년까지

기사

5.1. 서울대학교 허위 음란물 제작 유포 사건

자세한 내용은 서울대학교 허위 음란물 제작 유포 사건 문서 참고하십시오.

5.2. 2024년 텔레그램 딥페이크 음란물 유포 사건

자세한 내용은 2024년 텔레그램 딥페이크 음란물 유포 사건 문서 참고하십시오.

[X] 접속 시 수의 주의 [X] [3] 특히 기존 딥페이크(기술명)은 얼굴 학습을 위해 다각도로 촬영된 사진 여러장이 필요했기에 일반인들을 대상으로 하기에는 적합하지 않았다. 반면 생성형 인공지능을 사용한 Inpaint 방식은 사진 한장만으로도 알몸 합성이 가능하기에 일반인을 대상으로한 지인 능욕은 오히려 딥페이크(기술명)이 아닌 Stable Diffusion 같은 Inpaint 기능을 지원하는 생성형 AI가 사용되는 빈도가 더 많다. [4] 심지어 사진을 동영상으로 변환하는 Image to Video AI도 발전됨에 따라, 합성 사진을 영상으로 만드는 것도 충분히 가능해졌다. [5] 프로그램을 다루기 어려워하거나 고성능 GPU가 없는 경우 등. [6] '합성 성범죄', '불법 합성'등으로 불리긴 했지만 크게 용어화되지 못했고 비슷한 개념인 '지인 능욕'이라는 말은 엄연히 지인을 대상으로만 해당하는 것이라 연예인 등에 대한 합성까지 포함시킬만한 단어는 없었다. [7] 단, 딥페이크 포르노 영상의 유포라는 하나의 행위가 명예훼손과 음란물 유포죄 양측으로 해석되는 상황이므로, 상상적 경합이 적용되어 실제 처벌은 사이버 명예훼손으로 이뤄지게 된다. 허위사실 적시에 의한 사이버 명예훼손은 징역 장기 7년까지 가능한 중범죄다. [8] 당연한 것이, 법의 변화는 기술 발달보다 훨씬 느리다보니 법에 구멍이 뚫리는 경우가 많다. '투자'로 취급되어 소비자보호법이 적용되지 못하는 와디즈가 대표적인 사례다. [9] 소설 뿐만 아니라 그림, 영상 등 다양한 방식의 창작물도 실존 인물을 엮는 내용이라면 모두 RPS라고 부른다. 그리고 이 과정에서 영상물의 경우 딥페이크 기술이 사용된다.