안녕하세요, 에디터 숭이입니다!

연말 잘 보내고 계신가요? 저는 올해 가을부터 했던 프로그램이 얼마 전 끝나서 몇 달 만에 어떻게 쉬어볼까 고민을 하고 있습니다. PD란 일 특성 상 하루 24시간 중 15시간 이상을 프로젝트에 할애하기 떄문에 한 프로그램이 끝나면 거기서 빠져나오기가 쉽지 않은데요, 이렇게 일하다 보면 주변 세상을 둘러보는 데도 어려움이 생기는 것 같아요.

하지만 또 이런 특성의 장점이 있다면, 빠르게 변화하는 미디어 산업의 얼룩들을 온몸으로 느낄 수 있다는 것입니다. 돌이켜 보고 나서야 ‘나… 세계의 흐름에 큰 영향을 받고 있었을지도?!’ 하고 생각하는 것이지요. 이번 레터에서는 AI의 변화가 실제 업무에 어떤 영향을 끼쳤는지(예능 저연차 PD ver.) 다뤄보려고 합니다. ‘이게 되네?!’ 하고 느꼈던 것이 있었거든요. 예능 방송 촬영 이후, 즉 편집과 종편(종합편집, 오디오 정리나 색 편집 등 편집을 마무리하는 단계) 단에서 사용한 AI 툴을 비디오와 오디오로 나눠 소개해 보겠습니다.

어딜가나 AI가 핫합니다. AI가 가장 큰 타격을 준 영역은 역시 창작 분야, 그 중에서도 변화가 가장 느껴지는 영역이 글쓰기입니다. 저는 2023년도 여름에 석사 졸업을 했는데요, 오랜만에 대학원생 친구들을 만나면 ‘대학원 졸업은 챗지피티 전후로 나뉜다’라는 농담을 하더라구요. 일전에는 연구를 하면서 궁금한 주제가 생기면 RISS 같은 학술연구정보서비스에서 직접 키워드를 통해 논문을 찾고, 읽고, 요약하는 것이 정석인데 이제는 그 과정을 모두 AI가 해 줘 버리니까요. 

이미지 영역도 마찬가지입니다. 요즘 제 주위에서 이야기가 많이 들린 AI 활용 웹툰이 있습니다. 바로 전두환 손자로 잘 알려진 전우원의 SNS 계정에 올라온 ‘몽글이’ 웹툰입니다. 양을 주인공으로 한 이 웹툰에서 전우원 본인은 흰 양, 가족들은 검은 양으로 표현됩니다. 동화처럼 만화를 그려내면서 전우원은 직접 일화를 풀면서 말하는 방식으로서가 아니라, 우회적으로 일화를 이야기로 자신의 경험을 드러내고 있습니다. 지금은 해당 계정에서 인스타툰이 내려간 상태지만, 여러 기사나 블로그 글을 통해 확인할 수 있었는데요, 이 웹툰에 대해 전문가들은 자신의 서사를 콘텐츠로 풀어내는 것이 개인의 트라우마를 치유하는 한 과정이 될 수 있다고 평가합니다. 

AI가 창작자들에게 기회이자 위협이 되는 이유는, AI가 아이디어를 현실화하는 데 너무 능하기 때문입니다. 창작은 생각만으론 이루어질 수 없고 결국 움직여야 뭔가가 만들어진다는 걸 창작자들은 너무 잘 알고 있습니다. 그러나 어떻게 표현할지 떠올려도, 생각을 행동으로 연결하기가 어렵죠. 무슨 일을 하든 자리에 앉는 데까지 시간이 가장 많이 드는 법이니까요(저만 그런가요…?). 그러나 AI는 프롬프트를 넣으면 어떤 결과물이든 가져오긴 합니다. AI가 개개인의 어시스턴트가 된다면, 인간은 AI에게 실천을 외주화할 수 있게 됩니다. 인간은 더 잘하기 위해서 방향성을 더 정확하게 표현하면 되는 것이죠. 하지만 어디든 완전한 유토피아는 없고, 저는 자꾸 되묻게 되더라고요. 과연 그럴까…

방송 산업에서도 AI가 실무 범위로 확장해 오는 것을 쉽게 느낄 수 있습니다. 챗지피티가 워낙 유명해지면서 주변 PD님이나 작가님들이 아이디어에 살을 붙이거나 문장을 윤문할 때 도움을 받는다고 말씀을 하시긴 했었어요. 작년부터도 기획 회의에 AI를 활용한 사례들은 더러 있었습니다. 직접 프로그램 결과물에 반영된 것은 아니더라도, 아이디어를 사람들에게 전달하는 게 중요하기 때문입니다.

프로그램 기획 회의를 하면서 주로 다루는 주제는 출연진과 구성입니다. 출연진은 어느 예능 프로그램이나 메인이 되지만, 구성의 경우는 프로그램의 특성마다 다릅니다. 연애 프로그램이라면 ‘어떻게 서로의 마음을 확인시킬 수 있는 장치를 구현할 것이냐’가 주요 주제가 될 것이고, 두뇌 서바이벌이라면 ‘탈락 매치는 어떻게 만들까’가 될 거예요. 

저희 팀은 구성에서 게임이 중요해 룰을 구체화 하는 회의에 긴 시간을 할애했습니다. 그런데 말이나 글로, 언어로 표현된 룰을 듣는 것만으로는 어떤 장면이 연출될지 표현하고 이해하기가 쉽지 않았습니다. 눈으로 보는 게 가장 확실하니까요. 그래서 챗지피티로 그림을 그려가기 시작했습니다.

아주 단순하게 ‘모래 뺏기’ 게임이라고 예를 들어볼게요. AI에게 게임의 룰과 세트장의 분위기, 게임 참여 인원을 명시한 후에 그 장면을 그려오라고 합니다. 이렇게 하면 게임에 참여하는 출연진들의 구도와 전체적인 풍경을 직관적으로 보여줄 수 있죠. 한 두 사람이 이렇게 AI로 이미지를 만들어 회의에 가져오기 시작하니 모두가 아이디어를 가져올 때마다 꼭꼭 AI로 이미지를 만들어오게 되었습니다.

위에서 AI의 변화가 실제 업무에 어떤 영향을 끼쳤는가를 이야기해보겠다고 했는데요, 예능 PD인 저는 역시 비디오 AI를 사용했던 경험부터 이야기 해야겠습니다. 이번 프로그램은 해외 여행 리얼리티 프로그램이라 현장에서 정해지는 것이 많았습니다. 대략 몇 시까지 어디에 도착해 어떤 장면을 찍어야 한다까지는 정해두더라도, 구체적인 상황은 정해두지 않고 상황을 따르는 방식이었습니다. 그렇기 때문에 제작진이 주어진 시간 내에 최대한 많이 찍으려고 해도 시공간적 제약으로 필요한 소스를 못 찍는 상황이 생기게 되었습니다.

가장 대표적인 예시가 바로 ‘인서트샷(insert shot, 화면의 특정 상황을 강조하기 위해 삽입된 화면)’인데요, 새로운 상황이 되었을 때 넓게 들어가는 그 장소의 풀샷, 혹은 인물이 행동했을 때 특정 사물을 찍은 클로즈업 샷이 그 예시가 되겠습니다. 가장 유명한 예시로는 요리 프로그램의 완성된 요리 클로즈업 샷이 있지요. 셰프들이 열심히 한 요리에서 김 하나 나지 않고 맛없어 보이게 나와버리면 시청자 입장에서는 그 상황에 몰입되지 않습니다. 그러니 제작자 입장에서는 본 촬영 외에도 인서트샷도 신경 써야 하는 것이죠.

'급식대가'의 요리, 여기 흰밥에 붉은 국물이 묻어 있었더라면 맛없어 보였을 겁니다…  

© 넷플릭스 <흑백요리사> 시즌1 캡쳐

여행 프로그램에서 중요한 인서트샷은 특정 장소를 한눈에 볼 수 있는 익스트림 와이드샷(Extreme wide shot, 넓은 배경을 볼 수 있는 샷)입니다. 장소가 달라졌을 때 그것을 말로 설명하기보다는 장면 하나로 보여주는 것이죠. 많은 여행 예능에서는 드론을 날려 그 장소를 보여주곤 합니다. 근 몇 년 간 화제가 되었던 <태어난 김에 세계일주>로 예시를 들자면, 기안84가 갠지스강에 갔을 때 어떤 액티비티를 했는지 넓게 보여주는 컷들이 꼭 있었죠. 아마 드론 감독님은 이런 장면을 위해 혼자 육지에 남아 드론을 날리고 계셨을 것입니다.

정작 촬영 현장에 들어가면 이 모든 걸 찍을 수 있는 완벽한 일정은 없다는 걸 느낍니다. 가끔 다른 스팟으로 넘어가는 비행기 시간이 바뀌기도 하고, 출연진과 관련해 예상치 못한 사고가 일어나 반나절 촬영을 쉬어야 할 수도 있습니다. 꼭 찍어야 하는 것들의 우선순위를 정하고 타협하게 되면 가장 먼저 포기되는 것이 바로 인서트샷입니다. 인서트샷엔 인물이 없고, 예능에서 출연진이 없으면 말짱 도루묵이니 인물이 있는 컷부터 무조건 먼저 찍게 되거든요. 

그래서 편집 기간에 부족한 인서트샷을 채우기 위한 갖은 노력들을 합니다. 우선 저희 팀에서 가장 많은 인서트샷을 구한 곳은 영상 소스를 판매하는 사이트입니다. 예를 들어, POND5에서는 원하는 촬영 스팟의 영상들이 있어 프리미엄 라이센스로 구매해 실제 촬영본 소스 사이사이에 넣어 두었습니다. 

하지만 소스를 구매할 수도 없을 때엔 AI에 기댈 수밖에 없었습니다. 출연자가 묵었던 특정 숙소를 찍은 밤 드론 샷이 필요한 상황이었는데, 이런 건 자료 구매 사이트에선 찾기 어렵거든요. 선배님들도 편집을 하시면서 우리가 찍어온 촬영 소스가 100% 만족스럽지 않을 때 점점 “이거 AI로 안 되냐..?” 말씀하시기 시작했습니다. 그렇게 비디오 활용 AI에 손을 뻗었습니다. 영상을 만들어주는 대부분의 AI들은 텍스트 프롬프트를 기반으로 합니다. 영상 AI 중 유명한 ‘나노바나나’는 인물 외형을 유지하고 원하는 장면을 자연스럽게 만들어내는 것으로 탁월함을 증명했죠. 

이번 프로그램을 제작하면서 필요한 것은 영상을 새로 만드는 것보다, 이미 있는 '영상'을 활용해 다른 '영상'으로 만들어내는 것이었습니다. 예를 들어, 특정 촬영본의 시점을 낮이 아니라 밤으로 바꾼다거나, 기존 샷의 각도를 바꿨을 때 어떤 영상이 나올지 결과물이 필요했습니다. 직접 영상 AI 서비스를 찾아보니 업로드 할 수 있는 파일의 용량 문제로 비디오에서 비디오로 변환하는 서비스는 많지 않았습니다.

가장 유용하게 활용한 사이트는 Hailuo AI였습니다. 이 서비스 역시 인풋으로 비디오는 직접 넣을 수 없었지만, 꾀를 쓸 수 있는 단서가 있었습니다. 동영상을 생성할 때 첫 프레임과 끝 프레임을 생성할 수 있는데, 촬영소스를 캡쳐해 첫점과 끝점으로 업로드 해 프롬프트를 입력한 것이죠. 결과는 성공적이었고, 촬영본에 사용할 수 있었답니다!

그렇다면 오디오 AI는 어떨까요? 일반 사용자들은 음성 생성 기능을 사용할 일이 많지 않을 거예요. 오디오 AI가 등장했을 때, 사람들이 가장 우려한 것은 보이스피싱이었습니다. AI로 목소리까지 모방한다면 사기 대상 피해자의 판단능력은 더 흐려질수밖에 없기 때문입니다. 저도 실무에서 직접 AI로 가상 목소리를 만들어 보면서 ‘이거 꽤 위험한데…?’라는 생각을 했습니다. 정말 작정하고 남을 속이려고 하면 되겠다는 생각이 들 정도로 기술 발전이 뛰어남을 느꼈기 때문입니다.

사실 이런 음성 AI 활용이 엔터테인먼트 산업에 적용되는 것은 꽤 오래된 일입니다. 한때 ‘위버스’ 대항마가 되겠다고 2021년 출시되었던 NC소프트의 ‘유니버스’란 K-POP 플랫폼이 있었습니다. 이 플랫폼이 화제가 되었던 이유 중 하나는 스타가 직접 전화한다는 느낌을 제공하는 ‘프라이빗 콜’ 서비스 때문이었습니다. 팬들의 마음을 상품화한다는 비판을 피할 수 없는 K-POP 플랫폼인데, 아티스트의 목소리로 사적인 감정을 판다는 비판을 피할 수 없었던 것이죠. 당시에는 AI 활용에 대한 친숙도가 매우 낮았으니까요. 기술적으로도 미흡해서 톤이나 속도가 부자연스럽다는 평도 많았습니다.

음성을 활용한 AI의 훌륭한 예시도 있습니다. AI 보이스 클로닝(Voice Cloning) 기술을 업계 최초 도입한 예시로 드라마 <환혼>이 있었습니다. 이 드라마에서는 시각 장애인을 위한 화면 해설 장면에 시청자에게 친숙한 목소리인 전미도 음성을 나레이션으로 쓰기 위해 AI를 사용했습니다. 톤이나 발음, 억양, 속도 등 목소리의 특징을 학습해 가상의 음성을 생성한 것입니다. 시청 소외 계층에게 해설 나레이션은 필요하지만, 유명인이 직접 녹음하기엔 양이 방대하다는 점을 AI란 열쇠로 풀어낸 것이죠. 목소리를 제공하는 사람의 동의를 얻어 꼭 필요한 곳에 쓴다면, 이렇게 기술은 얼마든지 선한 영향력을 끼칠 수 있습니다. 

2022년 tvN <환혼> 해설 촬영 비하인드 © CJ올리브네트웍스 사이트

저희 팀에서 오디오 AI를 쓴 이유는, 출연진의 나레이션이 필요한 상황에서 더 이상 오디오 후시 녹음을 해줄 수 없다는 답변을 받았기 때문입니다. 워낙 바쁜 분이었기에 ‘필요한 상황이 온다면 음성 AI를 사용해도 좋다’는 동의를 받은 이후였습니다. 그럼에도 고민이 많았습니다. 해보지 않은 것이기 때문에 찝찝하기도 했고 부자연스러울까봐 걱정도 됐던 것이죠. 최대한 기존 오디오를 활용해 편집하려고 했습니다.

그러나 출연진이 직접 작성한 긴 구절을 그의 목소리로 꼭 읽어야 감성이 사는 구간이 생겼습니다. 해당 파트 편집을 맡은 선배님이 또 조용히 막내들을 불러 요청을 하셨습니다. “이것도 AI로 만들어보자…” 그래요, 이미 비디오 AI의 맛을 본 뒤라 저희는 새로운 걸 할 준비가 되어 있었습니다. 찾아보니 기존 음성과 원하는 구절을 넣으면 아웃풋을 내주는 보이스 클로닝 사이트가 꽤 많았습니다. 저희가 사용한 사이트는 Supertone으로, 저작권 문제 없이 상업적 사용이 가능한 곳이었습니다. 편집에 필요한 문장은 10개 이내였으므로 편집실에서 금방 만들 수 있었습니다.

과연 결과물의 반응은 어땠을까요? 편집 과정을 함께 지켜 보았던 사람들은 해당 음성을 AI로 만들었다는 사실을 알고 있었으니 ‘자연스럽다’는 반응을 보였으나, 이 맥락을 모르는 분은 ‘본인 목소리가 아니었어?’ 하고 의아해 했습니다. 예능 편집본답게 기존 이미지에, 음악까지 깔리니 가짜 목소리를 들으면서 가짜라고 생각을 못 했을 정도로 자연스러웠던 것이죠. 

AI의 발전 앞에서 실무자인 저는 고민이 많아집니다. 지금은 AI가 제 일을 도와주는 개념이라 편하지만, 결과물이 감쪽같아지는 걸 보면서 제 일자리를 뺏기게 될 것 같은거죠. 종종 PD들끼리는 “요즘은 AI가 컷도 알아서 다 붙여주는데 우리 직업 잃는 거 아냐?”  농담을 하기도 합니다. 프롬프트를 입력해 만들어진 결과물의 감도가 인간이 직접 찍은 것과 비교하면 ‘튀기 때문에(차이가 나기 때문에)’ 지금은 완전 상용화가 되지는 않았습니다. AI로 제작된 영상을 보면 개인적으론 아직까지 불쾌한 골짜기처럼 느껴질 때가 많습니다. 특히 <심야괴담회>의 한 에피소드 같은 경우, 이미지가 불쾌하다는 이유로 시청자들의 비난을 받기도 했습니다. 

겪어 보니 미디어 산업에서는 무조건 변화를 받아들이고 다음을 준비하는 것이 현명합니다. 자극적인 콘텐츠가 메인이 되어 미디어를 집어삼킬 거라는 우려를 받았던 유튜브도, 망중립성 문제로 떠들썩했던 OTT 산업마저도 지금은 우리의 삶에 안정적으로 정착해 있으니까요.

부자연스러움을 안고서라도 예산 감축을 위해 AI 사용을 확대하는 프로그램도 점점 생기고 있습니다. 특히 MBC가 이런 활용에 적극적인데, 2025 선거방송에서도 AI를 활용해 역사적 인물들의 이미지를 움직이게 만들었고, MBC <심야괴담회>에서도 재연 영상을 AI로 제작하고 있습니다. 심지어 재연배우들로 유명했던 MBC <신비한 TV 서프라이즈>에서도요. 다큐나 예능의 특정 꼭지는 드라마나 영화와는 별개로 허구와 사실을 넘나들면서 보여주는 컨셉이 명확히 있기 떄문에, 방송 시청자로서 AI 콘텐츠를 받아들이는 장벽도 점차 낮아지리라고 생각합니다.

프로그램을 만드는 과정에서 어떻게 AI를 활용해 더 큰 재미를 만들거나 더 나은 설명을 제공할지, 혹은 제작 예산을 줄여볼까 고민하는 단계가 온 것은 분명합니다. 미디어 산업이 더 적극적으로 AI를 활용하려면, 메인 급의 PD들이 저연차 PD들을 통해 더 적극적으로 AI를 이해하려는 노력이 필요하다고 생각합니다.

저연차 PD들은 프로그램을 제작하는 데 결정권이 상대적으로 적은 편이고, 제작에 개입하기가 상대적으로 어렵습니다. 동시에 저연차 PD들이 변화에 가장 민감합니다. AI를 기획 중심으로 하는 프로그램이 아닌 이상 AI가 사용되는 건 촬영 이후의 편집이나 후반작업 단계일텐데요, 이때는 주로 실무를 담당하는 게 저연차거든요. 실무단에서 직접 더 나은 결과물이 나올 때까지 ‘AI를 돌리면서’ 친숙해지고 있는 것이지요.

방송 현장은 연차별 역할이 나뉘어 있는 수직적 집단으로 존재해 왔지만, 방송 경험은 적어도 기술 경험은 풍부한 저연차의 말에 귀기울일 수 있어야 합니다. 아이디어 단에서만큼은 수평적인 분위기를 만들어갈 때가 되었습니다.

불량 연애(Badly in Love) | Official Trailer | Netflix