AI가 만드는 가짜 뉴스의 위험성 - 딥페이크 오바마

영상에서는 미국 전 대통령 버락 오바마가 나옵니다. 영화 블랙팬서에서 흑인에 대한 차별을 말하며 무력으로 세상을 지배하자던 킬몽거를 언급하며 '그가 옳았다.'라고 말하거나, 미국 현 대통령 도날드 트럼프를 향해 '완전히 쓰레기다.'라는 등 세상이 깜짝 놀랄만한 발언을 하고 있습니다.

모두 깜짝놀랄 만한 발언이죠! 하지만 이 영상은 가짜입니다. 

이 영상은 딥페이크(Deepfake) 기술로 만들어진 가짜 영상입니다. 미국의 코미디언 조던 필이 미리 녹화한 영상에, 딥페이크 기술을 적용해 필의 얼굴을 오바마의 얼굴로 만들었고, 목소리 역시 오바마의 음성으로 변환했습니다. 개인적으로 둘의 생김새가 굉장히 다르다고 생각되는데도, 설명 없이 영상을 본다면 의심할 수 없을 정도로 비슷한 재현율을 보여줍니다.

영상의 내용을 요약해본다면, 오바마가 마치 집무실에 앉아 말을 하고 있는 것처럼 보입니다.

"적들이 우리가 절대 말하지 않을 말들을 만들어 실제로 보이게 할 수 있는 시대로 들어서고 있습니다."

"위에서 내가 했던 말 역시 절대로 하지 않을 말이지만, 누군가는 이 말을 믿을 수도 있습니다."

"위험한 시기입니다. 앞으로 우리는 인터넷상에서 신뢰하는 것을 더욱 경계해야 합니다."

"신뢰할 수 있는 언론 매체에 의존해야 합니다. 이 말이 당연하게 들릴 수도 있지만, 이게 앞으로 정보의 시대에서 우리가 살아남을 수 있는지, 아니면 망할 디스토피아 속에서 살게 될 지 정할 것입니다."

영상을 제작한 Monkeypaw Production은 조던 필이 설립한 제작사입니다. 이 회사는 획기적인 스토리 텔링과 현대 사회 문제의 풀기에 전념할 것이라 말합니다. 영상을 보면 과연 그 말이 틀리다 말하지 않을 수 없겠죠? 딥페이크 기술은 처음에 할리우드 배우들을 포르노에 합성해 배포하는 것으로 유행해 그 기술성에 비해 활용도가 굉장히 저급했는데, 이제는 가짜 정치뉴스를 만드는 데에도 이용되고 있습니다. 누군가 마음만 먹으면 어떤 정치인이나 유명인이 하지 않은 행동과 하지 않은 말을 지어낼 수 있습니다.

이 영상에 대해서 미국의 가장 저명한 국제정치 잡지 '포린 어페어' 메인 기사로 올라오기도 했습니다.

 ForeignAffairs 2019년 1/2월호 에세이에 올라온

'Deepfakes and the New Disinformation War' by Robert Chesney and Danielle Citron

이 기사에서는 "그림은 수천 단어의 가치가있을 수 있지만 영상물처럼 설득력있는 것은 없습니다. 스마트폰 덕분에 콘텐츠를 공유하고 소비할 수 있으며, 소셜 미디어 플랫폼 덕분에 오늘날 사람들은 전례없는 수준으로 눈과 귀를 즐겁게 할 수 있다."라고 말합니다. 다음으로 기사 내용 중 일부를 해석, 번역해서 정리해보았습니다.

이러한 콘텐츠 세상에는 큰 위험이 있습니다. 만약 미군 병사가 이슬람의 경전 코란을 불태우는 동영상을 만든다면? 어떤 유명 정치인이 노골적으로 인종 혐오적인 발언을 하는 동영상을 만든다면? 이스라엘 관료가 누군가에게 팔레스타인인을 학살하라는 지시를 내리는 영상 증거물을 만든다면? 이미 폭력에 시달린 이 세계에서 이러한 영상물은 선동을 위한 강력한 잠재력을 갖게 됩니다. PC를 사용하고 인터넷에 접속할 수 있는 거의 모든 사람이 이러한 영상물을 위조할 수 있다고 상상해보십시오. 가짜와 진짜를 구분할 수 없게 돼 이러한 가짜 영상물은 설득력을 갖게 될 것입니다.

'딥페이크'의 등장으로 누군가가 말하거나 행동한 것을 그 어느 때보다 쉽게 표현할 수 있게 되었습니다. 더 안 좋게 생각되는 건, 이것이 정치적 목적을 위해서라면 적용되는 사람의 범위가 빠르게 확장될 것 같다는 것입니다.

이 기술은 쉽게 확산할 수 있습니다. 이미 상업용, 심지어는 무료 딥페이크 서비스가 공개된 시장에 등장했으며, 암시장에서는 안전장치가 없는 버전이 등장할 것입니다. 이러한 서비스의 보급은 진입 장벽을 낮추었고, 곧 딥페이크를 만드는 데에 있어 유일하고 실질적인 제약 사항은 기술 개발에 필요한 교육 정도가 될 것입니다.

딥페이크에는 여러 유용한 프로그램이 있습니다. 예를 들어 역사적인 인물을 가공해서 어린이 교육 목적으로 만들 수 있습니다. 한 회사는 질병으로 목소리를 잃어버린 사람에게 말하는 능력을 줄 수도 있다고 주장하기까지 합니다. 반면 어두운 목적을 위해 사용될 수도 있습니다. 이미 동의 없이 사람들의 얼굴을 포르노에 삽입하기 위해 딥페이크 기술을 활용하고 있으며, 가짜 영상물 ​​제작이 쉬워짐에 따라 협박과 위협이 더 원활히 이뤄지게 되었습니다. 그러나 딥페이크 기술의 가장 무서운 활용은 정치와 국제 문제의 영역에 있을 수 있습니다. 비정상적으로 폭력을 선동할 수 있는 효과적인 거짓말을 만드는 데에 활용될 수 있습니다

허구와 사실을 분리하는 것이 점점 어려워지고 있는 시기이기 때문에 딥페이크는 훨씬 파괴적일 수 있습니다. 

지난 10년 동안 페이스북이나 트위터와 같은 소셜 미디어 플랫폼에서 점점 더 많은 사람이 정보를 얻기 시작했습니다. 이 플랫폼은 다른 사람들이 공유하는 정보를 보는 것과 동시에 또 공유함으로써 정보 캐스케이드(information cascade)에 빠지기 쉽습니다. 떄문에 사람들은 접하게 된 정보가 사실인지 확인하지 않아도 이를 더 신뢰할 수 있는 것처럼 보입니다. 결국 거짓말은 그 어느 때보다 빠르게 확산 될 수 있습니다.

정보 캐스케이드(information cascade) - 집단 안에서 오류와 착각과 소문으로 점점 상황이 악화되는 현상.

이러한 역학 관계는 정치에 잠재적으로 폭발적인 영향을 미칠 수 있는 딥페이크 기술의 활성화를 위한 소셜 미디어를 비옥하게 만듭니다. 미래의 딥페이크는 2016년 미국 대통령 선거 당시의 가짜 뉴스보다 더 생생하고 현실적이며 더 쉽게 공유될 것입니다. 사람들은 특히 부정적이고 새로운 정보를 공유하는 경향이 있어 음란한 딥페이크일수록 더욱 파급력이 클 것입니다.

.....

포린어페어 저널에서 여러 대안을 해놓기는 했습니다. 딥페이크 기술이 활용된 영상물의 검열, 소셜 미디어 플랫폼의 사기성 콘텐츠 제거 장려 등 법적 대안을 만들었지만, 이는 과도한 콘텐츠 검열로 이어질 수 있습니다. 그 외에 딥페이크 기술이 발전함에 따라 이를 탐지하는 기술도 동시에 발전하고, 소셜 미디어 이용자가 콘텐츠를 판단하고 신뢰하는 능력이 향상되므로 큰 문제가 되지 않을 것이라는 희망적인 결론도 있습니다.

딥페이크 기술은 훌륭한 기술발전 사례 중 하나지만, 동시에 악용될 소지가 매우 크고 그 파급력이 막대한 기술이 될 것입니다. 앞으로 소셜 미디어를 이용하고 콘텐츠를 사랑하는 사람으로서 범죄에 악용될 수도 있는 기술이 점점 발전하는 것을 두려워하는 것보다는, 이에 이용당하지 않도록 콘텐츠를 자신의 기준대로 판단할 수 있는 능력을 기를 수 있도록 해야 할 것입니다.

 

---

참조

1) BuzzFeed 채널에 올라온 동영상 https://youtu.be/cQ54GDm1eL0

2) Monkeypaw production 공식 홈페이지 https://monkeypawproductions.com/

3) ForeignAffairs 저널의 기사 https://www.foreignaffairs.com/articles/world/2018-12-11/deepfakes-and-new-disinformation-war?cid=int-flb&pgtype=hpg