AI를 활용한 딥페이크 음란물 규제


법무법인 대륙아주 홍민우 변호사



1. 배경

  딥페이크는 딥러닝(Deep Learning)과 거짓(Fake)의 합성어로, AI를 통해 특정인의 사진이나 동영상, 음성을 콘텐츠에 합성하는 기술을 말합니다. 딥페이크 기술이 상용화되면서 전문가뿐만 아니라 일반인들도 손쉽게 프로그램이나 애플리케이션을 이용하여 딥페이크를 활용한 콘텐츠를 만들어낼 수 있게 되었습니다. 이에 따라, 최근에는 딥페이크를 활용한 사진이나 영상들을 인터넷에서 자주 찾아볼 수 있습니다. 일반 대중들이 자신의 얼굴을 합성하여 재미있는 사진을 만들어내는 경우부터 드라마, 예능, 광고 등에서 상업적인 목적으로 딥페이크를 활용하는 경우까지 다양한 영역에서 딥페이크 기술이 활용되고 있습니다. 이러한 딥페이크 기술은 활용도가 높지만, 피싱 사기, 저작권 침해, 허위 정보 유포 등 우려되는 부분 역시 많습니다.

  특히, 현재 딥페이크 기술을 이용한 음란물이 심각한 사회문제가 되고 있습니다. 기존에는 유명인을 대상으로 한 딥페이크 음란물의 제작이 많았으나 최근에는 가까운 지인의 사진이나 영상을 합성하는 등 일반인을 대상으로 하는 딥페이크 음란물의 제작도 늘어나고 있습니다. 방송통신심의위원회의 국내 딥페이크 성적 허위 영상물 시정 요구 사례는 2020년 473건, 2021년 1,913건, 2022년 3,574건, 2023년 1월부터 11월에는 5,996건으로 3년 사이 10배 이상 폭증한 상황입니다.



2. 딥페이크 음란물에 대한 규제

  딥페이크 음란물 피해 사례가 늘어나 딥페이크 음란물 규제에 대한 필요성이 대두되어 2020년 성폭력범죄의 처벌 등에 관한 특례법(이하 ‘성폭력처벌법’)에 딥페이크 음란물 제재의 근거가 마련되었습니다. 이에 따라 딥페이크 음란물을 제작한 자 또는 반포한 자를 처벌할 수 있게 되었습니다.



  위와 같이 성폭력처벌법에 딥페이크 음란물 제작에 대한 처벌 근거가 마련되었지만, ‘반포 등을 할 목적’이 구성요건이기 때문에 개인이 소지할 목적으로 딥페이크 음란물을 만드는 것은 처벌의 대상이 아니고 제작자에게 반포할 목적이 있었다는 것도 입증하기 쉽지 않습니다. 최근에도 직장 동료들의 사진으로 딥페이크 음란물을 제작했지만 반포 목적으로 영상을 제작하였다는 사실을 입증하기 어려워, 경찰이 불송치 결정한 사례가 있었습니다. 딥페이크 음란물 처벌의 근거가 만들어진 2020년 이후 현재까지 딥페이크 음란물은 폭증하고 있지만, 딥페이크 음란물로 인해 실제 처벌받은 건 역시 70여 건에 그치는 실정입니다. 

  이에 따라 딥페이크 음란물에 대한 처벌과 제재가 부족하여 딥페이크 음란물에 대한 처벌을 보완하여야 한다는 의견이 있습니다. 딥페이크 음란물이 제작되면 피해자의 피해 회복이 어렵다는 점과 딥페이크 음란물의 확산 피해가 점점 늘어나고 있다는 점을 고려했을 때, 제작자에게 반포할 목적이 없었더라도 제재를 할 수 있는 추가 입법이 필요하다는 지적 역시 나오고 있습니다.


 

3. 대응 동향

  인터넷 공간의 특성상 영상이 한번 업로드되면 이를 영구히 삭제하는 것이 매우 어렵기 때문에, 사후적인 처벌뿐만 아니라 딥페이크 기술로 인한 피해를 예방하고 회복할 방안을 마련하는 것이 무엇보다 중요합니다. 이에 기업과 정부, 국회는 딥페이크 기술로 인한 피해를 방지하기 위한 대책을 강구하고 있습니다.

  디지털 콘텐츠가 딥페이크 기술을 활용하여 제작되었는지 여부를 판단하는 ‘딥페이크 탐지 기술’이 개발되고 있습니다. 우리나라의 생성형 인공지능 전문 기업 ‘딥브레인 AI’는 딥페이크 탐지 솔루션을 개발하여 특허를 출원하였습니다. 딥브레인 AI의 딥페이크 탐지 솔루션은 AI 모델을 기반으로 얼굴과 행동 패턴을 분석하는 기술을 이용하는데, 딥페이크로 의심되는 영상을 시스템에 업로드하고 탐지모델, 탐지구간, 탐지인물 등을 설정하면 진위 여부를 판별합니다. 미국의 반도체 기업 ‘인텔’은 가짜감별사(FakeCatcher)라는 시스템을 공개했는데 이 시스템은 영상 속 인물의 혈류 변화를 감지하는 기술을 이용하여 영상의 진위 여부를 판단합니다. 이와 같은 기술을 통해 누구나 딥페이크 콘텐츠의 진위를 파악할 수 있어, 딥페이크 악용으로 인한 피해를 방지할 수 있을 것으로 기대됩니다.

  기업과 단체에서는 딥페이크 악용 콘텐츠의 제작 및 유포를 방지하여 딥페이크로 인한 폐해를 줄이기 위해 노력하고 있습니다. 미국의 MIT 인공지능연구소(CSAIL)은 포토가드(Photo Guard) 기술을 무료로 배포하였는데, 이 기술은 AI로 특정인의 사진을 도용 및 합성하는 것을 막아 딥페이크 사진 제작을 차단하고 있습니다. 미국 어도비의 주도로 콘텐츠 기업과 언론 매체들은 콘텐츠 위조와 변조, 가짜 뉴스 제작과 전파를 방지하기 위해 CAI(Content Authenticity Initiative, 콘텐츠 진위 이니셔티브)를 출범하였습니다.

  플랫폼 사업자들도 딥페이크 오용 및 악용을 근절하기 위해 나서고 있습니다. 네이버 AI 챗봇 클로바X는 이미지 편집 기능을 통해 생성된 이미지에 음란물 등의 콘텐츠 생성이 되지 않도록 안전 조치를 적용하였고, AI 필터링 기술을 활용해 유해 딥페이크를 실시간 차단합니다. 카카오브레인의 AI 이미지 생성 모델 칼로는 비가시성 워터마크 기술을 도입하였습니다. 틱톡은 AI를 활용하여 제작한 콘텐츠 영상을 게시할 때 그 사실에 라벨이 자동 부착되도록 하고 있습니다. 메타도 페이스북, 인스타그램, 스레드에서 AI 생성 이미지에 ‘AI인포’라는 라벨을 붙일 것이라고 발표했습니다.

  정부 역시 딥페이크 음란물로 인한 피해를 구제하기 위한 조치를 마련하고 있습니다. 방송통신심의위원회는 24시간 365일 운영되는 상황실을 통해 피해자와 지원기관으로부터 직접 피해를 접수하고 모니터링하고 있으며, 매일 전자 심의를 개최해 24시간 이내에 디지털성범죄정보를 시정요구 조치하고 있습니다. 또한 디지털성범죄 피해자는 피해자의 요청 사항을 한 번에 서비스 지원기관과 연계하는 ‘디지털성범죄 원스톱 신고 ARS 서비스’를 이용하여 피해 구제 조치를 받을 수 있습니다. 여성가족부는 2025년까지 AI를 활용해 딥페이크 음란물을 찾고 온라인 사업자에게 자동으로 삭제를 요청하는 시스템을 구축하기로 계획하고 있습니다. 경찰도 ‘딥페이크 탐지 솔루션’과 같은 기술을 성범죄 예방 및 수사에 활용할 계획입니다.

  AI를 통해 생성된 가상 콘텐츠에 AI 생성 콘텐츠임을 표시할 의무를 부과한 법률안(‘정보통신망이용촉진 및 정보보호 등에 관한 법률 일부개정안’)이 발의되어 국회에 계류 중입니다. 딥페이크 음란물의 진위 여부를 누구나 판별할 수 있도록 AI를 이용해 만든 영상 콘텐츠에 표시 의무를 부과한다면, 딥페이크 음란물로 인한 피해를 줄일 수 있을 것으로 기대됩니다.


 

4. 대륙아주 코멘트

  AI 기술이 상용화되어 누구나 생성형 AI를 통해 각종 음란 콘텐츠를 생성할 수 있게 되었습니다. 기업들은 음란 콘텐츠 제작을 막기 위해 금지어를 지정하였지만, 사용자들은 이를 우회하여 음란 콘텐츠를 제작하고 있습니다. AI를 통해 생성한 콘텐츠의 부작용은 기술의 발전과 함께 커져 나갈 것이지만, 이에 대한 법적 규제나 정책은 아직 완전하지 않은 것으로 보입니다. 결국 현재로서는 기업의 자율적인 책임에 기댈 수밖에 없는 상황입니다.

  AI가 생성한 콘텐츠는 각종 범죄와 결합하여 악용과 오용될 가능성이 높기에 사회적 합의와 규범 마련이 필요합니다. 국가 기술 경쟁력을 저해하지 않으면서도 AI 생성 콘텐츠의 부작용을 방지할 수 있도록 정부와 관련 기업의 구체적인 규제 노력이 시급한 상황입니다.