[IGLOO]사방으로 퍼진 딥페이크(Deepfake) 공포

딥페이크(Deepfake)란?

딥페이크는 딥러닝(Deep Learning)과 가짜(Fake)의 합성어로, 딥러닝을 이용해 가짜 이미지나 영상을 생성하는 기술이다.

 

*딥러닝 : 인간의 두뇌에서 영감을 얻은 방식으로 데이터를 처리하도록 컴퓨터를 가르치는 인공지능 방식이다.

 

생성적 적대 신경망(GAN)은 딥페이크에 활용되는 딥러닝 알고리즘으로, 생성자(Generator)와 판별자(Discriminator) 2개의 신경망이 서로 경쟁하면서 더 나은 결과를 만들어내는 강화학습(Reinforcement Learning) 방식의 기술이다.

GAN은 판별자를 먼저 학습시킨 후 생성자를 학습시키는 과정을 반복한다. 판별자는 진짜 데이터와 가짜 데이터를 분류하도록 학습하고, 생성자는 자신이 생성한 데이터가 판별자를 속일 수 있도록 학습한다.

 

 

딥페이크를 악용한 범죄의 확산

딥페이크는 많은 범죄에 사용되고 있어 존재 자체에 대한 찬반 논란까지 벌어지기도 한다. 가장 심각한 문제로는 합성 포르노와 정치적 활용을 꼽을 수 있다. 미국 사이버 보안 업체 시큐리티 히어로(Security Hero)는 지난해 확인된 9만 5,820개의 딥페이크 영상 중 약 98%가 딥페이크 포르노라는 점을 밝혔다.

 

1) 성범죄

최근 사진을 넣으면 자동으로 음란물을 합성해주는 프로그램인 '딥페이크 봇'이 논란되고 있다. 시큐리티 히어로가 발표한 '2023 딥페이크 현황 보고서(2023 State of Deepfakes)'에 따르면 딥페이크 성착취물에 가장 취약한 국가 1위가 한국이었고 2위는 미국인 것으로 나타났다. 음란물에 등장하는 개인 중 53%가 한국인이었고, 미국인이 20%이었기 때문이다.

 

딥페이크 봇 접근을 가능하게 해주는 단체방에 들어가면 이용방법이 상세히 안내된다. 초대 링크만 있다면 누구나 음란물을 손쉽게 만들 수 있는 구조인 것이다.

 

2) 정치 수단

딥페이크는 유튜브(YouTube)에서도 등장한다. 실제 여성의 목소리와 얼굴을 합성해 자신도 모르는 사이 정치 선전물로 이용되는 것이다.

 

미국 연방통신위원회(FCC)는 생성형 AI가 만든 음성으로 자동 녹음 전화를 이용하는 것을 불법으로 규정했다. 딥보이스 기술 등 AI가 생성한 음성은 이제 '전화소비자보호법(Telephone Consumer Protection Act=TCPA)'에 따라 인위적이거나 사전 녹음된 음성으로 간주된다.

 

 

각 국가에서 추진/시행 중인 딥페이크 규제

1) 유럽연합(EU)

EU 이사회(European Council)는 24년 5월, 세계 최초로 AI를 포괄적으로 규제하는 법안인 'AI Act'를 최종 승인했다.

'AI Act'는 AI를 잠재적 위험에 따라 위처럼 4단계로 구분하였으며, 딥페이크는 제한적 위험에 해당한다고 보았다.

 

'AI Act'는 AI 시스템 공급자와 사용자에게 '투명성 의무(Transparency Obligation)'를 부과하고 있다.

'표시 및 감지 의무'에 따라 공급자가 합성된 오디오/이미지/비디오 또는 텍스트 콘텐츠를 생성할 때는 해당 결과물을 기계가 판독할 수 있는 형식으로 표시하고, 인위적으로 생성 또는 조작된 것을 감지할 수 있어야 한다.

'공개 의무'에 따라 사용자는 결과물이 인위적으로 생성 또는 조작되었음을 공개해야 한다.

 

2) 미국

23년 10월 바이든 행정부에서 ‘안전한 AI 개발 및 이용에 관한 행정명령(Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence)’을 발표한 바 있는데, 딥페이크를 직접적으로 규제하는 법을 가지고 있진 않았다.

 

그러나 최근 캘리포니아 주에서 딥페이크를 규제하는 법안이 처리됐다. 표현의 자유를 규정한 미국 헌법 1조로 인해 딥페이크 속 인물이 실존하는 인물이 아니면 기소와 처벌이 불가능했지만, 캘리포니아 개빈 뉴섬(Gavin Newsom)에 송부된 법안에는 AI로 미성년자를 성 착취하는 내용의 딥페이크는 제작 자체를 금지하는 법안이 담긴 것이다. 즉, 실존인물이 아니더라도 아동 성착취물은 처벌 가능하도록 규정됐다.

또한 선거와 관련된 딥페이크 제작을 금지하고, SNS 기업에는 선거 전 120일 전부터 딥페이크를 사용한 선거 콘텐츠를 제작하는 것을 규제하도록 의무를 부과했다.

 

3) 한국

현재 국내에는 AI를 전반적으로 포괄하는 기본법은 없다. 딥페이크를 악용한 범죄행위 등에 대해서는 '정보통신망 이용촉진 및 정보보호 등에 관한 법률' 또는 '형법'을 적용하고 있다. 음란물과 관련된 딥페이크 피해에 대해서는 '딥페이크 방지법'이라 불리는 '성폭력범죄의 처벌 등에 관한 특례법' 제14조의 2를 적용하여 대응하고 있다.

그러나 딥페이크 영상을 만들었다는 사실이 적발되었더라도 '반포의 목적'이 입증되지 않으면 처벌을 피할 수 있다. 단순 소지/저장/시청하는 행위만으로는 처벌할 수 없는 것이다.

 

최근 딥페이크로 인한 사건이 사회적으로 큰 이슈가 됨에 따라, 정부에서는 지난 9월 1일 딥페이크 등의 기술을 활용한 허위 정보에 대응하기 위해 '국가 사이버안보 기본계획'을 추진한다고 발표했다.

---

본 게시글은 아래의 링크 속 콘텐츠를 기반으로 작성.

https://www.igloo.co.kr/security-information/%ec%82%ac%eb%b0%a9%ec%9c%bc%eb%a1%9c-%ed%8d%bc%ec%a7%84-%eb%94%a5%ed%8e%98%ec%9d%b4%ed%81%acdeepfake-%ea%b3%b5%ed%8f%ac/

사방으로 퍼진 딥페이크(Deepfake) 공포