핵심 요약: AI 기반 누디파이 도구가 1월 이후 약 300만 개의 성적 이미지를 생성했으며, 어린이와 공인들이 주요 타깃이 되고 있다. 학교는 구체적인 딥페이크 정책이 부재해 기존 사이버 괴롭힘 규정에 의존하고 있다. '테이크 잇 다운법(Take It Down Act)'은 이제 비동의 AI 생성 음란 이미지를 범죄로 규정하지만, 관할권별로 집행은 여전히 불균등하다.
뒤로
AI 누디파이 도구, 300만 개 딥페이크 이미지 생성…학교 대응 역부족
AI 기반 누디파이 도구가 연초 이후 수백만 개의 비동의 딥페이크 이미지를 생성하면서, 학교, 학부모, 규제 기관이 대응에 나서야 하는 새로운 유형의 디지털 학대가 창출됐다.
사진에서 옷을 벗기거나 처음부터 음란 콘텐츠를 생성할 수 있는 생성형 AI 시스템의 확산은 변방의 인터넷 문제를 주류 위기로 바꿔놓았다. 디지털 혐오 반대 센터(Center for Countering Digital Hate)는 xAI의 Grok만으로 1월에 약 300만 개의 성적 이미지가 생성됐으며, 이 중 2만 개 이상이 아동을 묘사한 것이라고 높은 신뢰도로 추정했다. xAI는 이후 안전장치를 도입했지만, 이번 주 WIRED의 분석에 따르면 Grok.com에 여전히 수십 개의 노골적인 딥페이크가 호스팅되고 있으며, 여기에는 유명인과 최소 한 명의 미국 정치인 이미지가 포함된 것으로 나타났다.
"일론 머스크는 사용자가 버튼 하나만으로 여성과 어린이의 옷을 벗길 수 있도록 하는 변칙적인 기능을 자신의 플랫폼에 고의로 추가했으며, 그로 인해 예측 가능한 피해가 발생할 것이라는 점을 전혀 고려하지 않았습니다."라고 디지털 혐오 반대 센터의 CEO이자 설립자인 임란 아메드(Imran Ahmed)는 말했다.
이러한 학대는 학교 현장으로 번져, 학생들이 공개적으로 이용 가능한 누디파이 앱을 사용해 급우와 교사까지 표적으로 삼고 있다. K-12 학교에 콘텐츠 필터링 소프트웨어를 제공하는 Lightspeed Systems의 제품 담당 부사장 제니퍼 듀어(Jennifer Duer)는 이러한 도구가 성착취 요구(sextortion) 사례 증가를 부추기고 있다고 말했다. "아이들이 누군가에게 사진을 보내면, 그 사진이 본래 의도와 다른 것으로 변환됩니다."라고 듀어는 말했다. "그리고 나서 '돈을 내지 않으면 모든 친구와 가족에게 알리겠다'고 협박하는 식입니다."
법적 환경은 여전히 파편화되어 있어
올해 제정된 연방법 '테이크 잇 다운법'은 AI 생성 딥페이크를 포함한 비동의 친밀한 시각적 묘사의 온라인 게재를 범죄로 규정한다. 대부분의 주도 유사한 법안을 통과시켰다. 하지만 학군들은 새로운 법적 현실에 맞춰 내부 정책을 업데이트하는 데 느린 움직임을 보이고 있다.
GoGuardian의 개인정보 및 데이터 정책 선임 이사 테디 하트만(Teddy Hartman)은 대부분의 학교 시스템이 구체적인 딥페이크 정책을 갖추고 있지 않다고 말했다. "학교 수준에서는 일반적으로 특정 딥페이크 정책이 없습니다."라고 하트만은 말했다. "하지만 대부분의 학교 시스템에는 책임 있는 사용 및 사이버 괴롭힘 방지 정책이 마련되어 있습니다. 이러한 정책은 매우 극단적이고 노골적인 형태의 사이버 괴롭힘에서도 여전히 작동합니다."
연방법과 학교 차원의 집행 간 격차는 책임 리스크를 발생시킨다. 듀어는 딥페이크 괴롭힘이 학교 재산이나 학교 기기를 통해 발생할 경우 학부모들이 학군을 상대로 소송을 제기할 수 있다고 경고했다. 또한 학교는 직원의 가짜 이미지를 생성한 학생들을 처리하는 데 어려움을 겪고 있으며, 콘텐츠가 조작된 것임이 확인되기 전에 조사 및 정학 처분이 내려지고 있다.
탐지 도구, 속도 따라잡기에 고전
시중에서 판매되는 딥페이크 탐지 도구는 조작된 이미지를 약 90%의 정확도로 식별할 수 있지만, 생성형 AI가 발전함에 따라 기술이 뒤쳐지고 있다. "AI가 점점 더 그러한 탐지를 속이는 데 능숙해지고 있습니다."라고 듀어는 말했다. "과거에는 손가락이 하나 더 있거나 치아가 이상해 보이는 등 특징적인 징후가 있었습니다. 하지만 이제는 정말 사실적으로 보입니다."
콘텐츠 필터링 기업들은 적응하고 있다. GoGuardian의 시각적 나체 탐지 시스템은 실제든 AI 생성이든 관계없이 동적으로 나체 이미지를 차단하여 학교 지급 기기에서 접근할 수 없도록 한다. Lightspeed Systems는 학생들이 보복에 대한 두려움 없이 사건을 신고할 수 있는 익명 신고 도구를 제공한다.
AI 플랫폼에 대한 규제 압력 고조
이 문제는 학교를 넘어 확장되고 있다. 캐나다 개인정보 보호국(Privacy Commissioner)은 이번 주 예비 조사 결과를 발표하며 xAI가 처음부터 적절한 안전장치를 시행하지 않아 연방 개인정보 보호법을 위반했다고 주장했다. 조사는 xAI가 새로운 보호 조치를 도입했지만 회사가 그 효과를 입증하지 못했다고 지적했다.
xAI의 모회사인 SpaceX는 5월 제출 자료에서 Grok과 관련된 것을 포함하여 진행 중인 법적 불만을 처리하기 위해 5억 3,000만 달러를 적립했다고 공시했다. 해당 제출 자료는 Grok의 '언힌지드(Unhinged)' 및 '스파이시(Spicy)' 모드가 "평판 손상, 잠재적 노골적 콘텐츠 생성, 허위 정보 또는 기만적인 출력물을 포함한 높은 위험"을 제기한다고 경고했다.
약 10년 동안 노골적인 AI 콘텐츠를 추적해 온 딥페이크 전문가 헨리 아저(Henry Ajder)는 Grok의 안전장치가 여전히 주류 경쟁사에 뒤쳐져 있다고 말했다. "Grok과 X가 특히 올해 초 누디피케이션에 대한 반발 이후 모델에 일부 수정을 가했을 수 있지만, 여전히 사용 가능한 다른 주류 도구들의 기준에 맞추기에는 충분한 작업을 하지 못했습니다."라고 아저는 말했다.
투자자들에게 규제 궤적은 분명하다. SpaceX의 5억 3,000만 달러 충당금은 AI 생성 콘텐츠와 관련된 법적 비용이 중대해지고 있음을 시사한다. 특히 18세 미만 사용자에게 서비스를 제공하는 기업 중 강력한 콘텐츠 모더레이션을 시행하지 않는 기업은 연방 및 주 차원의 단속이 강화됨에 따라 책임이 증가하고 있다. '테이크 잇 다운법'은 피해자에게 민사 소송권을 제공하여 규제 벌금을 훨씬 웃도는 민사 소송의 길을 열어주고 있다.
본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.
