‘딥페이크(Deepfake)’는 인공지능(AI)과 머신러닝(ML)을 활용해 실제 일어나지 않은 사건을 마치 일어난 것처럼 사실적으로 표현, 불특정 다수를 대상으로 이를 믿도록 속이는 범죄행위를 말한다. 이 같은 행위는 영상과 사진, 오디오와 텍스트 등 다양한 유형으로 나타나게 된다.

경찰청 국가수사본부 발표에 따르면, 2024년 8월 28일부터 올해 3월 31일까지 딥페이크 범죄를 집중단속해 963명을 검거하고, 59명을 구속했다. 이 같은 수치는 2024년 1월 1일~8월 27일의 단속 현황과 비교해 260% 증가한 실적이다. 연령대별 검거 현황을 보면 10대 669명(촉법소년 72명), 20대 228명, 30대 51명, 40대 11명, 50대 이상 4명 등 10~20대가 전체 검거된 인원 중 93.1%를 차지했다.

 

◇딥페이크 범죄, 어떤 유형으로 분류되나

딥페이크 범죄 유형은 크게 △음란물 합성 통한 성범죄 △보이스피싱·사기 △허위사실 유포 및 명예훼손 △협박 및 공갈·인질 범죄 등으로 분류할 수 있다.

가장 손쉽게 접하고 많이 확산되는 딥페이크 범죄는 연예인과 정치인 등 일반인 얼굴을 성적 이미지나 영상에 합성해 유포하는 것이다. 이 같은 음란물 성범죄에 도용된 사람은 심각한 정신적 피해를 입을 수 있다.

보이스피싱·사기 범죄는 AI를 악용해 특정인물의 음성이나 얼굴을 가져다가 유명인 사칭, 지인 사칭 등으로 금전을 탈취하는 등 피해를 유발하는 행위다.

허위사실 유포 및 명예훼손은 정치적이나 사회적 목적으로 특정 인물이나 단체에 대한 허위 정보를 만들어 퍼뜨리는 행위도 딥페이크 범죄가 된다. 이와 같은 영상이나 음성 자료는 허위 정보로 대중을 쉽게 속이거나, 또 특정 인물의 명예를 훼손할 수도 있다.

협박 및 공갈·인질 범죄는 딥페이크로 생성된 영상이나 음성을 이용해 피해자를 협박하거나 인질극을 허위로 꾸며 인질 석방의 대가로 특정 행위나 금품을 요구하는 행위의 범죄도 있다.

 

 

◇국내외 딥페이크 주요 피해 사례는

미국에서는 어떤 배우가 볼티모어 경찰국장이 2015년 경찰 구금 중 사망한 아프리카계 미국인 프레디 그레이에 대한 학대를 지지하는 딥페이크 영상을 제작했다. 이 딥페이크 제작자는 영상을 공개해 주민들의 폭력을 조장했다. 이 행위자는 수집된 정보를 사용해 AI/ML 모델을 훈련시켜 경찰청장의 모습과 목소리를 모방했다. 이 모델을 통해 경찰청장이 그레이 씨에 대한 부당한 처우를 지지하는 딥페이크 영상을 제작했다. 또 경찰청장 발언에 신빙성을 주기 위해 사적인 대화 형식으로 연출했으며, 선동적인 발언도 포함된 것으로 알려졌다. 제작된 영상은 익명으로 가짜 SNS 계정을 사용해 특정 SNS 사이트에 게시한 것으로 알려졌다.

또 다른 딥페이크 영상은 중국 위성이 남극 대륙과 주변 빙상의 이미지를 촬영했다. 영상 제작자는 AI/ML 모델을 사용해 남극 대륙의 빙하가 감소하지 않고 일정하게 유지되거나 오히려 증가한 것처럼 보이도록 했다. 이를 통해 유엔 등 여러 국제기관이 중국에 엄격한 기후협정 기준 이행을 지연하거나 취소하도록 설득했다. 중국 당국도 이 허위 영상을 사용해 온실가스 배출과 같은 환경 규제를 무시할 수 있는 근거로 제시, 국제 협정을 저해할 수 있다.

딥페이크를 악용한 납치 사기 행각도 있었다. 멕시코의 한 관광지에서 활동하는 범죄 조직은 합성 이미지와 영상을 사용해 한 사람을 납치했다는 가짜 영상을 만들어 사기 행각을 벌였다. 이 범죄 조직은 온라인 등에서 찾은 이미지와 인물 정보를 사용, ​​피해자의 가족에게 연락해 몸값을 요구했다. 이들 조직은 호텔 방에서 피해자의 눈을 가리고 결박하고 있는 영상을 보내고, 또 부상당한 흔적도 이미지로 보내 돈을 요구했다. 하지만 실제 그 영상에 나온 당사자는 이러한 일이 있었다는 사실조차 인지하지 못하고 있을 수 있다.

한 형사사건에서 허위 증거를 생성해 제출하는 사례도 있을 수 있다. 한 부유한 피고인은 지문, 모발 DNA, 동기 등 여러 증거를 바탕으로 자신이 소유한 건물 내에서 살인한 혐의로 기소됐지만, 법원이 증거로 채택한 낮은 해상도와 얼굴 이미지의 선명도 저하를 이유로 혐의를 인정하지 않았다. 그는 알리바이를 위해 해 건물 내 다른 위치에서 촬영된 영상 이미지를 법원에 제출, 그가 사건 당시 그곳에 없었음을 증명했다. 하지만 피고인이 제출한 영상은 딥페이크였다. 딥페이크는 타임스탬프(콘텐츠가 생성된 시점)만 수정할 수 있는 것이 아니라, 영상에 고유한 상황을 만들어 진짜처럼 보이게 할 수도 있다.

우리나라에서는 지난해 5월, 일명 ‘ 서울대 N번방’ 사건으로 서울대 졸업생들이 동문 여성 12명을 포함해 수십명의 얼굴을 합성한 허위 영상 음란물을 만들어 유포한 사건이 있었다. 이들은 2021년 7월부터 지난해 4월까지 음란물을 합성 제작해 텔레그램에서 배포했다. 경찰은 지난해 5월 주범과 공범 1명 등 총 5명의 피의자를 검거했으며, 같은해 10월에 주범인 40대 박모씨는 1심에서 징역 10년이, 공범 30대 강모씨는 징역 4년이 선고됐다. 2심으로 넘어간 이 사건에서 주범 박모씨는 징역 9년을, 공범 강모씨는 징역 3년 6개월로 감형됐다.

지난해 8월 19일에는 인하대에서 여학생들의 딥페이크 합성물을 공유하는 텔레그램 채널이 발견됐다. 이 채널 방은 2020년 개설됐고, 채널에는 1200여명이 참여하고 있었다. 이 채널에는 인하대 재학생과 졸업생 여학생들의 연락처와 학번 등 개인정보와 함께 여성의 나체 사진에 여학생의 실제 얼굴을 합성한 딥페이크 합성물 수십 개가 올라와 있었다. 경찰에 의해 파악된 피해 여학생만 30명이 넘었고, 그 가운데 2/3가 인하대생인 것으로 나타났다. 경찰 수사로 일부 채팅방 참가자는 검거됐지만, 실제 방을 처음에 개설하고 운영했던 주범은 아직 검거하지 못한 것으로 알려졌다.

 

 

◇세계 주요국의 딥페이크 대응 노하우는

미국은 2023년 10월에 ‘딥페이크 책임법안’ 및 ‘딥페이크 신용사기 방지법안’을 만들었다. ‘딥페이크 책임법안’은 딥페이크 기술을 악용한 위협으로부터 국가안보를 보호하고, 유해한 딥페이크로 인한 피해를 본 피해자에게 법적 지원을 제공하기 위한 목적으로 만들어졌다.

 

이 법에는 △성 관련 콘텐츠를 통해 특정인에게 모멸감 또는 수치심을 주는 경우 △폭력 등을 조장하거나 선거 등 공식 절차를 방해하는 경우 △사기 등 범죄에 사용되는 경우 △외국이 국내 선거 등을 방해하고 정책 토론에 영향을 미치도록 하기 위해 공개의무를 고의로 위반하거나 공개사항을 변경하는 경우 등이 포함된다. 이런 행위자에게는 벌금 또는 징역을 내릴 수 있다.

‘딥페이크 신용사기 방지법안’은 딥페이크를 활용한 시청각적 조작으로 고객 은행 계좌의 접근 가능성이 높아짐에 따라 금융분야 내 딥페이크 대응조직을 구성하는 내용이 포함됐다.
유럽연합(EU)은 2020년 12월에 ‘EU 디지털서비스법(DSA)’을 최초 발의, 2023년 8월에 EU 전역에서 전격 시행됐다. DSA는 온라인 플랫폼과 온라인 검색엔진에 딥페이크를 사용된 영상이 업로드된 경우 이를 표시하도록 명시했다.

 

초대형 온라인 플랫폼과 초대형 온라인 검색엔진 서비스 제공자는 실존 인물과 물체, 장소 등 실제인 것처럼 보이도록 생성됐거나 조작된 이미지·오디오·비디오로 구성된 정보 항목이 플랫폼에 노출된 경우 눈에 잘 띄도록 구별할 수 있어야 한다. 또 서비스 이용자도 쉽게 표시할 수 있는 기능을 제공해야 한다.

중국은 2023년 1월에 AI 기반의 이미지·오디오·텍스트 생성 소프트웨어를 포함한 ‘딥 합성(deep systhesis)’ 관리규정을 제정했다. 이 규정은 불법·유해한 정보를 생산·출판 또는 유포하거나, 타인의 신분을 위조해 명예를 훼손하는 사기 행위에 딥페이크 기술을 사용하는 것을 원천 금지하고 있다. 또 딥페이크 기술로 이미지나 영상 등을 편집하기 위해서는 당사자의 사전동의를 구하도록 했다. 또 이 기술을 활용한 업체·개인·연구기관 등 단체는 딥페이크를 사용한 콘텐츠라는 워터마크를 표시하고, 원본을 추적할 수 있도록 규정했다.

 

 

◇국내, 법 제·개정 및 피해자 보호 방침 강화

우리나라는 법무부에서 ‘성폭력처벌법’을 개정, 허위영상물 제작·유통 처벌을 강화하고, 소지·시청한 자를 대상으로 처벌도 신설했다. 성적 허위영상물의 소지·구매·저장·시청 행위자에 대해 징역 3년 또는 3000만원 이하의 벌금형에 처하고, 성적 허위영상물 편집·반포 시 법정형을 기존 5년에서 불법 촬영물과 동일하게 7년으로 상향하고, 반포 목적이 없어도 처벌할 수 있다. 또 아동·청소년 성착취물을 이용해 협박·강요한 경우 기존 1년(협박)-3년(강요)에서 협박은 3년, 강요는 5년으로 처벌 규정을 강화했다.

 

이와 함께 가해학생에게는 학교폭력 처리 및 엄정 심의, 특별교육 이수 등 조치를 통해 선도 및 특화된 보호처분을 내리고, 가해 청소년의 특성에 따라 △고위험 보호관찰청소년 개입 강화 △치료연계 △저연령 대상자 심리검사 및 보호 강화 등도 추진하고 있다.

개인정보보호위원회에서는 딥페이크를 악용해 게재된 합성 콘텐츠를 대상으로 정보주체의 삭제 요구권 도입을 추진하고, 인격권을 침해하는 개인정보 합성 등을 금지·처벌하는 방안을 올해 안에 마련하겠다고 밝혔다.

방송통신위원회에서는 정부 합동으로 허위영상물 처벌 강화를 위한 주요 법안 제·개정, 위장수사 및 검·경 수사·단속 강화, 국제 사법 공조 강화 등을 추진해 왔다. 또 플랫폼 사업자 의무 강화, 국내외 플랫폼 사업자와 협력체계 구축, 딥페이크 성범죄물의 신속 삭제 지원 강화, 삭제·차단 대상 및 주체 확대와 함께 디지털성범죄피해자지원센터 역할 강화 등 원스톱 지원체계도 구축하고 있다.