안녕하세요, 에디터 나나입니다. 따뜻한 날씨 잘 즐기고 계신가요?

서울은 3월 마지막 주까지도 비가 오고 추워서 코트를 쉽사리 벗지도 못했는데, 지난 주말에는 (비록 황사가 함께하고는 있지만) 날씨가 따스해져서 길가에 목련과 벚꽃이 함께 펴있더라고요. 벚꽃의 꽃말은 4월 총선이죠. 그래서인지 색색의 자켓을 입은 사람들을 거리에서 쉽게 볼 수 있었습니다.

올해 선거에서는 딥페이크 영상을 활용한 선거운동이 금지되었습니다. 지난 1월부터 공직선거법 개정법을 바탕으로 선거일 전 90일 전부터 선거 당일까지 선거운동을 위한 딥페이크 영상을 게시할 수 없게 되었거든요. 오늘 레터는 AI와 함께 끊임없이 도마 위에 오르고 있는 딥페이크 규제 이슈, 그리고 정부와 플랫폼의 대응 현황에 대해 다룹니다.

📈 유명인들이 주식투자를 권하게 된 이유

최근 저는 한 기사를 보고 매우 놀랐습니다. 지난 3월 23일 방송인 황현희 씨가 기자회견을 열고 본인을 사칭해 주식 리딩방에 들어오게 하는 광고들이 넘쳐나고 있고, 이에 대한 대책을 원한다고 호소하는 내용에 대한 기사였는데요. 직접 황현희 씨의 사칭 광고를 접한 적은 없지만, 주변에서 해당 광고를 접하거나 소문을 건너 들은 지인들이 ‘요즘 황현희 이상해졌더라.’와 같은 말을 하는 것을 들었거든요.

저 또한 막연히 그렇게 생각하게 됐어요. 굳이 더 자세히 찾아볼 내용이 아닐 것 같아 ‘그럴 수도 있겠다’며 넘어갔으니까요. 지금 생각하면 말도 안 되는 일이죠. 세 사람이 작정하면 없는 호랑이도 생긴다고(三人成虎), 생각보다 많은 사람들이 사칭 광고 속 자신이 진짜가 아니라는 사실을 알리는 데에 어려움을 겪는 모습을 보고 더욱 고민에 빠졌습니다.

함께 기자회견을 진행한 송은이 씨는 ‘본인이 나와서 진짜가 아니라고 해도 믿지 않는 반응이 두렵다’고 말했어요. 그래서 관련 기사를 조금 더 찾아보니, 황현희, 송은이 씨 같은 방송인뿐만 아니라 재계 총수들이나 언론인을 활용해서도 똑같이 주식 투자를 권유하는 광고들이 늘어나고 있더라고요. 

한편, 이런 ‘사칭 광고’ 문제가 국내에서 대두된 것은 개인정보보호위원회 국정감사가 진행된 작년 10월 무렵이었어요. 방송통신심의위원회는 구글, 메타 등 플랫폼 기업들과 만나 자율규제를 요청했습니다. 그리고 지난주 기자회견을 계기로 네이버, 카카오, 구글, 메타에 자율규제 협조를 위한 긴급 공문을 전달했고요. 유명인 본인이 명예훼손의 측면에서 피해를 보는 것이 전부가 아니라, 주식 투자 관련 사기로 이어져 일반인들도 피해를 보게 된다는 우려가 그 배경이었어요.

사실 사칭 자체는 최근에 일반인들도 그 타겟이 되고 있습니다. 소셜미디어를 하다 보면 주변 지인의 계정이 해킹되거나, 지인의 사진이 전혀 모르는 계정에 올라오는 것을 본 경험들이 한 번씩은 다 있더라고요. 이용하고 있는 플랫폼 내에서 사칭 계정 신고가 바로 가능하기는 하지만, 당사자가 신고해도 피드백이 잘되지 않는 문제가 지속되고 있어요. 주로 해외 IP를 사용해 업로드 되어서 국내법으로 처벌이 어렵고, 외국계 플랫폼 기업인 경우 협조도 원활하지 않습니다. 개인이 특정되기 어려우니 소송은 거의 못 한다고 봐야 합니다. 

최근 몇 달간 한국 정부에게 계속 콘텐츠 규제에 대한 요구가 발생하자, 메타는 모니터링을 강화하겠다는 반응이었고 네이버 또한 유명인 사칭 광고에 대한 대응책을 추진하고 있다고 합니다. 비록 실효성은 아직 눈에 보이지 않는다고 해도 이렇게 빅테크들과 정부들이 주목하는 상황이니, 당분간 사칭 광고는 아주 조금이라도 줄어들지 않을까 싶긴 합니다.

🏹 딥페이크에게 돌아간 화살

상황이 이렇다 보니 딥페이크를 더 쉽게 만들어낼 수 있는 AI에 대한 두려움도 커지고 있습니다. 단연 국내만의 상황은 아니라서, 해외에서는 일본 기시다 후미오 총리나 미국 힐러리 전 국무장관의 딥페이크 영상이 확산되어 문제가 되기도 했어요. 오죽하면 조 바이든 미국 대통령도 본인의 딥페이크 영상을 본 적이 있다고 했을까요.

심지어 지난 1월 뉴햄프셔 지역에서는 바이든 대통령의 목소리로 가짜 음성을 만든 전화(Robocall)가 이슈였어요. 미국의 13개 주에서 딥페이크 관련 규제 법안을 만드는 데 가속을 밟는 계기가 됐습니다. AI로 만든 콘텐츠를 선거일 60일 전에 금지하거나, 허용하더라도 그 사실을 표현하게 하는 것이 골자입니다. 2018년 이후로 미국 상, 하원에서 관련 법안을 계속 발의하기는 했지만, 이렇게 주 법안들이 일제히 추진된 것은 아무래도 대선의 영향이 큰 것 같아요.

한편, 올해 2월 독일 뮌헨안보회의(MSC)에서는 빅테크 기업을 대상으로 기술 협약이 이루어졌어요. 오픈AI, MS, 아마존, 구글 등 AI 분야에서 두각을 나타내고 있는 회사들이 앞장서, 인공지능을 사용해 선거에 악영향을 미치는 행위에 공동 대응을 하기로 합의한 것인데요.

이는 올해 6월 예정된 유럽의회 선거를 겨냥한 것으로 해석되고 있습니다. 특히 EU는 디지털서비스법(DSA)을 기반으로 선거 전후의 이행 권고사항 가이드라인까지 발표했는데요. AI기반의 딥페이크 기술이 정치에 악영향을 줄 수 없도록, 빅테크 플랫폼들이 명확한 표기를 할 것을 요구했습니다.

국내에서도 이런 움직임을 따라가고 있습니다. 최근 방통위는 국내 사업자들과 뮌헨 협약에 상응하는 수준의 딥페이크 자율 규제를 논의하고 있어요. 이미 선거법 개정으로 법률적 근거가 마련되었음에도 불구하고 이런 액션을 취하는 것은 다음 주(4월 10일)에 있을 국회의원 총선 이슈를 위한 선제적 움직임으로 보입니다.

그런데 실제로 규제를 얼마냐 하느냐, 플랫폼 기업들이 이걸 얼마나 따르고 실천하느냐의 문제에 앞서 생각해 볼 점이 있습니다. 딥페이크 기술을 규제하면 이 모든 게 해결될까요? 우리가 진실만을 전달받고 있다고 볼 수 있을까요?

기술이 그 속도를 가속화시키고 있는 것은 맞습니다. 그리고 앞으로 기술들이 상용화되는 과정에서 우려되는 부분들도 많아요. 하지만 허위 정보들은 기술이 만들어지기 전에도 존재했습니다. AI가 요즘처럼 거대한 흐름이 되기 전부터도 가짜뉴스는 항상 이슈의 중심에 있었고, 그것을 통제하려는 노력도 언제나 존재했습니다.

2022년에 발행된 UN 표현의 자유 특별 보고서에서는, 딥페이크에 대한 이슈를 담으며 이렇게 짚었습니다. 딥페이크와 가짜 뉴스에 대한 정책적 대응은 기본적으로 표현의 자유를 보장하는 것을 전제로 이루어져야 하며, 정부의 기본 노선이 규제의 방식이어서는 안 된다고요.

그런데 요즘의 논의를 보면 ‘기술의 위험성‘에 초점이 맞추어져서, 표현의 자유보다는 기술의 규제 측면에 집중이 많이 되는 것 같습니다. 지속적인 모니터링과 정책이 생겨나는 것은 당연하지만, 어쩌면 규제라는 표현에 모두가 점점 익숙해지는 것은 아닐까 우려가 생겼어요. 이용자 보호라는 명목으로 모든 유저가 올리는 콘텐츠에 대한 검열이 이루어질 수도 있고, 또 이에 따라 미디어의 자율성이 제한되는 방향이 될 수도 있으니까요. 

국내외를 막론하고 지속되고 있는 딥페이크, 사칭 이슈들이 현실 정치에 영향을 미치고 있고 이로 인한 규제가 논의되는 것은 당연합니다. 그러나 선거 과정에서 유권자의 진실한 정보 전달이 목적이었을지라도 이번에 생긴 규제가 선거가 끝난다고 사라지거나 줄어들지는 않을 것 같습니다. 오히려 지속해서 존재하고, 업데이트되며 새로운 법안으로 이어질 가능성이 더 큽니다. 

전술한 UN 특별 보고서에서도 비슷한 우려를 전하고 있어요. 유권자에게 잘못된 정보를 전할 수 있다는 이유로 입법된 가짜 뉴스 관련 법안들은 여러 국가에서 ‘정부 정책에 대한 비판을 억제하기 위한 목적’이 드러나고 있다고 합니다. 진실한 정보를 추구하는 것과 규제를 통해 표현의 자유를 제한하는 것은 분명 다른 목적을 가진 일이지만 한 끗 차이이기도 하죠. ‘검열당하고 있다’라고 알아챘을 때는 이미 많은 것들이 제한되고 있을지도 몰라요.

⏲️ 모두의 리소스 문제

그렇다면 플랫폼 기업들은 무엇을 하고 있을까요? 구글이 지난 3월 27일 공개한 ‘2023 Ads Safety Report’에 따르면, 딥페이크 기술을 활용한 사칭 광고 사례가 2023년 말부터 급증했다고 합니다. 전담팀을 구성하고 탐지를 위한 리소스를 투입하고 있다고는 하지만, 아직은 현재진행형인 문제고 이런 광고들이 대규모에 실시간으로 등록되고 있어 플랫폼 측면에서의 대응이 아직은 체감되지 않는 것 같아요.

메타에서도 커뮤니티 가이드라인을 만들고 최대한 대응 중이라고는 하지만 그 수가 너무 많아 모니터링이 어렵다고 합니다. 하루에도 몇만 건의 사칭 계정과 가짜 광고들을 삭제하고 있는데, 생성되는 시간이 더 빠를 수 있겠죠. AI 탐지 기술을 활용해 삭제하더라도 규제 기술을 피해 새로운 기술이 개발될 거고요. 다만, 이런 페이크 계정의 광고라고 할지라도 광고 매출의 일부고, 유료 서비스로의 전환 전략까지도 염두에 두고 있기 때문에 소극적인 태도가 아닌가 하는 분석도 있습니다.

그래서 최근 딥페이크 문제에 대한 대응 방법 가이드들을 보면, 이용자가 신경을 써야 한다는 내용들도 심심찮게 포착됩니다. 잘 살펴보고 맥락을 보고 진위를 이용자가 판단해야 한다고요. 틀린 말은 아닙니다. 기본적으로 모든 정보는 무조건적인 수용을 하기보다는, 비판적인 수용을 하는 것이 맞으니까요.

2018년에 조던 필 감독이 오바마 전 대통령이 등장하는 딥페이크 영상을 만든 것을 기억하시나요? 이 영상은 페이크 뉴스를 통해 딥페이크 기술에 대한 경각심을 불러일으켰다는 점에서 파장이 컸습니다. 아마 어거스트를 구독하는 분들이시라면 이미 많이들 알고 계신 영상일 것 같은데요.

이 영상을 공개한 버즈피드는 일상에서 딥페이크 영상을 구분할 수 있는 방법을 소개했습니다. 

1. Don’t jump to conclusions
2. Consider the source
3. Check where else it is (and isn’t) online
4. Inspect the mouth
5. Slow it down

하나하나 필요한 이야기들이기는 하지만 일상의 모든 영역에서 이용자가 촉각을 곤두서게 만드는 것이 당연할 수는 없다고 봐요. 비판적인 사고를 통한 정보의 진위 여부 판단은 정보 소비자의 의무가 아니잖아요. 애초에 속이는 사람이 잘못된 거죠. 

이런 영향으로 소셜 플랫폼은 이용자 수까지 영향을 받고 있습니다. 최근 IGA웍스의 모바일 인덱스 조사에 따르면 인스타그램과 페이스북 MAU는 계속 감소세라고 합니다. 사칭 계정이나 가짜 정보들에 이용자들이 피로감을 느끼고 소셜미디어를 떠나고 있기 때문이라고 해요. 그러니 결국은 플랫폼이 같이 해결해야 할 문제라는 것이 명확해집니다. (계속 살아남고 싶다면요)

페이크 뉴스는 정부 기관과 플랫폼뿐만 아니라 이용자 개인까지 사회적 리소스를 3중으로 쓰게 하는 문제에요. AI는 거기에 복잡함과 확산세를 더했을 뿐입니다. 2015년에 ⟪어벤져스 : 에이지 오브 울트론⟫이 개봉했을 때, 울트론이 인공지능으로서 자아 생성을 하던 과정에서 다크웹의 정보들을 보고 ‘흑화’한 것 아니냐는 농담들이 돌았었죠. 그리고 이제는 진지하게 AI의 윤리를 걱정하는 시대가 되었습니다.

올해 하반기부터 오픈AI의 동영상 생성 인공지능인 Sora가 상용화될 예정이라고 하죠. 지금까지의 일들을 살펴보면, 앞으로 또 어떤 변화가 찾아올지 짐작도 되지 않습니다. 마치 폭풍전야 같은 느낌이 들어요. 일단 미우나 고우나 AI와 계속 같이 살아가야 하는 것은 어쩔 수 없을 텐데요.

남은 올해는 AI라는 칼 한 자루를 가지고 범죄를 저지를 수 있다는 가능성에만 몰입하기보다는 어떻게 범죄를 방지할지, 그리고 이 칼로 어떤 멋진 조각들을 깎아낼 수 있을지에 대한 논의들이 이루어지는 시기가 되면 좋겠습니다.