AI의 아버지가 구글 퇴사를 결심한 이유

저 멀리서 불어오는 AI 규제의 바람 🌬️

2023. 5. 8.

AI의 아버지가 구글 퇴사를 결심한 이유

지금을 읽고 싶은 사람들의 미디어 이야기, 어거스트

안녕하세요. 에디터 찬비입니다.

지난 레터에서 이야기한 'AI 개발을 잠시 중단하자'는 생명의 미래 연구소*(FLI)의 공개서한, 기억하시나요? 당시에도 아쉬운 점들을 이야기했었죠. 실제로 AI를 개발하는 기업에서 서명을 받지 못했고, 서명에 참여했던 일론 머스크가 얼마 후 X.AI라는 자신만의 AI 회사를 설립했다는 게 알려지기도 하면서 그 의미가 사라지는 듯했어요. 하지만 AI 업계를 포함해 전 세계의 많은 시민까지 이 문제에 관심을 가지는 데에는 효과적이었던 것 같아요. 여러 기사와 팟캐스트 등에서 AI의 위험성에 대해 이야기하고, 전 세계적으로 규제에 대한 준비도 시작하는 듯 하네요.

오늘은 책 ⟪라이프 3.0⟫과 함께 경쟁적인 AI 개발의 위험성과 AI 규제 움직임에 관해 이야기해봅니다.

*이전 레터에서는 Future of Life Institute를 삶의 미래 연구소라고 번역했는데요, 생명의 미래 연구소로 정정합니다.

👋 오늘의 에디터 : 찬비

요즘엔 자꾸 AI 이슈들이 눈에 들어오네요 👀

오늘의 이야기

1. AI 대부가 구글을 퇴사한 이유

2. 10년 전에부터 강조되었던 AI 안전 연구

3. 전 세계 불어오는 규제 움직임

AI 대부가 구글을 퇴사한 이유

제프리 힌튼 (출처: 토론토대/ZDNET)

AI에 관해 공부하게 되면 만나게 되는 빅네임들이 있습니다. 앤드루 응, 얀 르쿤, 요수야 벤지오 같은 사람들이요. 자주 언급되는 또 하나의 이름은 제프리 힌턴(Geoffrey Hinton)입니다. 그는 인공신경망에 대한 연구를 본격적으로 하면서 지난 50년간 AI 분야를 개척한 컴퓨터 과학자로 AI 대부(godfather)라고 불리기도 해요. 그리고 이런 그가 지난 월요일, 구글을 퇴사한 것으로 알려지면서 화제가 되었습니다. 퇴사의 사유는 AI의 위험성에 대해 좀 더 자유롭게 이야기하기 위해서.

뉴욕타임스와의 인터뷰에서 힌턴은 '거대 기술기업이 멈출 수 없는 경쟁에 갇혀있다'고 이야기했어요. 불과 작년까지만 해도 구글에서는 해가 될 가능성이 있는 것들은 공개하지 않으려 노력하며 '적절한 관리인' 역할을 하고 있었지만, 마이크로소프트가 챗봇과 검색엔진을 결합한 빙 검색(Bing search)을 선보이면서 구글 역시 비슷한 기술을 빠르게 배포하려 하고 있다고요.

힌턴은 중단기적으로는 허위 정보의 문제와 일자리 문제를, 장기적으로는 AI 시스템이 의도한 목적에서 벗어난 행동을 하며 발생할 문제를 우려하고 있다고 이야기했습니다. 이중 허위 정보 문제는 매일 조금씩 더 심각해지고 있습니다. 미드저니와 달리-2로 생성된 아래 이미지는 실제론 촬영된 적 없는 미국 대통령 바이든과 부통령 해리스의 사진이지만, 미국 공화당의 선거 캠페인을 위한 영상에 활용되어 논란이 되었습니다. AI로 만들어진 영상이라는 영상 설명을 보지 않았다면 충분히 언젠가 찍혔던 실제 영상이라고 믿었을 만하지 않나요? 악시오스는 아래 영상을 예시로 들면서 AI가 미국 대선 판도를 가를 것이라 분석했습니다.

"만약 역대 가장 힘 없는 대통령이 재당선 된다면, 여러분은 어떻겠습니까?" (출처: 유튜브 갈무리)

챗GPT로 텍스트 생성 역시 손쉬워지면서 AI가 생성한 스팸이 벌써 온라인에서 쉽게 발견된다고도 해요. 챗GPT는 AI로서 답하면 안 될 질문을 받았을 때 "As an AI language model, I cannot generate inappropriate or offensive content (AI 언어모델로서 부적절하거나 모욕적인 콘텐츠를 생성할 수 없습니다)"라는 표현을 자주 사용한다고 하는데요, 그중 "As an AI language model"을 미처 지우지 않고 업로드된 아마존 리뷰를 쉽게 발견할 수 있다고 해요. 트위터에도 챗GPT가 자주 사용하는 "I'm sorry, I cannot generate inappropriate or offensive content." 문장이 담긴 6만 개가량의 계정을 발견했다고도 합니다.

어렵지 않게 발견한 위 콘텐츠들은 이제 사람들이 마음만 먹으면 낮은 비용으로도 설득력 있는 허위 정보를 만들 수 있다는 것을 의미합니다. 예를 들어, 백신에 대한 허위 정보, 보이스피싱이나 금융 사기 등을 행하는 것 역시도 이전보다 쉬워졌다는 이야기죠. 사람이 썼는지 AI가 썼는지도 구별하기 어려운 시대가 올 수 있고, 읽고 있는 내용이 진실인지 구별하는 데에 시간을 더 많이 써야 할 지도요.

챗GPT가 자주 사용하는 문구를 담고 있는 아마존 리뷰 (출처: 아마존/Vice)

다시 힌턴의 이야기로 돌아와 볼게요. 저는 힌턴이 은퇴한다는 뉴스를 접했을 때, '이번 뉴스로 사람들이 더 많이 경각심을 갖게 되겠다'는 생각과 동시에 '왜 인제 와서?' 라는 궁금증이 들었어요. 사실 그는 이미 75세의 나이이기도 하고, 지난 10년간 구글에서 계속 근무해 왔잖아요. 오히려 AI 업계에서 이미 입지가 있는 인물이기에 구글에 근무하면서 만들 수 있는 변화가 더 크지 않았을까? 혹은 이미 변화를 만들 수 있지 않았을까? 하는 생각도 들었고요.

BBC와의 인터뷰에서 힌턴은 물론 은퇴할 만한 나이인 것을 고려하기도 했지만, AI 모델에 대한 인식이 바뀐 것이 큰 계기가 되었다고 답했어요. 불과 1년 전까지만 해도 AI 모델은 인간의 뇌를 모방해야 한다고 생각했기 때문에 아직 갈 길이 멀다고 생각했지만, 최근의 발전을 보면서는 AI가 디지털 시스템에 기반한 지능이기 때문에 뇌를 모방하지 않아도 되겠다는 생각이 들었다고요. 오히려 뇌가 하는 일보다 더 잘, 효과적으로 학습할 수도 있을 것이고, 그렇다면 생각보다 이른 시일 내에 인간의 지능을 넘어설 수 있을다고 생각했다고 합니다.

10년 전부터 강조되었던 AI 안전 연구

이번 레터를 위해 리서치하다가 10년 전부터 이미 AI의 위험성과 이를 막기 위한 방향성 설정이 필요하다는 이야기를 해온 사람이 있다는 걸 알게 되었어요. 물리학자이자 MIT 교수인 맥스 테그마크는 ⟪라이프 3.0⟫의 첫 번째 챕터에서 인간에게 도움이 되는, 안전한 AI를 만들기 위해 연구계가 함께 이야기해야 한다는 필요성을 느꼈다고 이야기합니다. 그렇게 그가 2014년에 설립한 기관이 바로 '생명의 미래 연구소(FLI)'예요. 네, 위에서 이야기했던 'AI 개발을 잠시 멈추자'며 공개서한을 보냈던 바로 그 기관이요.

책 자체는 AI가 인간의 지능을 넘어서는 시점이 되면 어떻게 할 것인가에 대한 이야기를 많이 다루고 있지만, 저는 현재 시점에서 어떤 방향성을 가지고 어떤 대안을 마련하면 좋을지를 위주로 읽었습니다.

맥스 테그마크 (출처: SHIHO FUKADA/Sunday Times)

테그마크는 AI가 우리 삶을 여러 방면에서 훨씬 낫게 만들 수 있지만, 실제 시스템을 AI로 대체할 때는 AI가 우리가 원하는 일을 하도록 학습시키는 것이 가장 중요하다고 이야기합니다. 이 과정에서 새로운 문제를 불러오지 않으려면 크게 네 가지 사안에 대해 고민해야 한다고 합니다.

(안전) AI 시스템이 오작동하거나 해킹당하지 않도록 튼튼하게 만드는 방법
(법률) AI와 보조를 맞추고 관련 위험을 통제하기 위해 법률 시스템을 더 공정하고 효율적으로 갱신하는 법
(국방) 자율 무기를 향한 군비 경쟁 없이 무고한 사상자를 줄이도록 무기를 개발하는 법
(경제) 사람들이 돈을 못 벌거나 목표를 상실하지 않으면서도 계속해서 번영하는 법

특히 첫 번째 사안은 AI의 안전성에 대한 이야기로, 다른 세 가지 사안보다도 먼저 고민하고 연구해야 하는 사안입니다. 역사적으로 인류는 실수로 사고가 발생하면 이를 방지할 대안을 만드는 식으로 개선하며 나아가 왔습니다(자동차 발명→교통사고→안전벨트, 에어백 발명). 하지만 점점 기술이 강력하고 영향력이 커지면서 사고가 한 번이라도 생기지 않도록 사전에 방지하는 것이 중요해졌지요. 그런 점에서 이로운 AI를 만들기 위해서는 AI의 성능을 개선하는 것만큼이나 AI 안전 연구 역시 매우 중요하다고 책에서는 이야기합니다.

책의 에필로그에서 FLI가 어떻게 이로운 AI를 만들기 위해 노력했는지도 볼 수 있었는데요, 핵심은 그전까지는 주류에서 밀려나 있던 AI 안전 연구를 주류로 가져오는 것이었습니다. 먼저, 2015년 푸에르토리코 컨퍼런스에서 AI 안전 연구가 가치 있고 필요하다는 합의를 형성한 후, 취지에 공감한 일론 머스크(!)에게 천만 달러를 지원받아 AI 안전 연구를 지원했어요. 덕분에 AI 안전 연구가 어느 정도 궤도에 오를 수 있었고, 다양한 기업에서도 이로운 AI를 위한 산업 협력체를 출범시켰으며, 이로운 AI를 추구하는 비영리 기업인 오픈AI도 설립되었다고 합니다.

AI 안전 연구의 흐름 (출처: FLI)

테그마크를 비롯한 많은 연구자는 AI가 안전하고 이롭도록 많은 연구와 이야기를 해왔습니다. 이렇게 일찍부터 중요한 논의를 해온 사람들이 있다는 것이 신기하고 대단해 보였지만, 동시에 좀 허무해지기도 했어요. 출범 당시에는 FLI와 지향점이 비슷했던 오픈AI가 결국 FLI가 다시금 공개서한을 쓰는 계기가 되었으니까요.

AI 안전 연구는 크게 검증, 확인, 안전, 통제 네 가지로 나눠지는데, 이중 검증은 "내가 시스템을 제대로 만들었나"를 의미한다면 확인은 "내가 제대로 된 시스템을 만들었나"를 의미한다고 해요. 하지만 지금 공개된 챗GPT를 비롯한 챗봇들은 검증과 확인이 어느 정도까지 이루어진 채로 공개되었는지가 의문입니다. 챗GPT는 '베타'를 붙이고 처음 공개된 이후로 내부적으로 안전성을 개선하는 작업을 수없이 반복했죠. 오픈AI는 안전하지 않은 서비스를 빠르게 공개함으로써 AI 업계에서 앞서나가는 회사로 자리매김하는 걸 택한 거예요.

2017년의 아실로마 컨퍼런스에서 FLI는 아실로마 AI 원칙을 발표했어요. '인공지능 연구의 목표는 방향성 없는 지능을 개발하는 것이 아니라 인간에게 유용하고 이로운 혜택을 주는 지능을 개발하는 것이다'로 시작하는 이 문서는 AI 거버넌스 원칙 중 가장 초기에 만들어졌다고 할 수 있습니다. 주목할 만한 조항들을 아래에 몇 가지 적어보았습니다

5) 경쟁 피하기 : 인공지능 시스템 개발팀들은 안전기준에 대비해 부실한 개발을 피하고자 적극적으로 협력해야 한다.
6) 안전 : 인공지능 시스템은 작동 수명 전반에 걸쳐 안전하고 또 안전해야 하며, 적용 가능하고 실현 가능할 경우 그 안전을 검증할 수 있어야 한다.
11) 인간의 가치 : 인공지능 시스템은 인간의 존엄성, 권리, 자유 및 문화적 다양성의 이상에 적합하도록 설계되어 운용되어야 한다.
12) 개인정보 보호 : 인공지능 시스템의 데이터를 분석 및 활용 능력의 전제하에, 사람들은 그 자신들이 생산한 데이터를 액세스, 관리 및 통제할 수 있는 권리를 가져야 한다.

과연 이중 AI를 개발하는 기업들은 얼마나 지키고 있다고 자신할 수 있을까요?

테그마크는 책을 마무리할 때 자신은 이제 희망이 생겼다고 이야기해요. 이렇게 좋은 일들이 많이 일어나고 있다고요. 하지만 역시 돈 앞에선 모든 것이 무용해지는 것 같습니다. 연구자끼리의 약속이 지금까지의 AI 연구를 어느 정도 가이드 해왔다면, 이제는 빠른 전 세계적인 규제가 중요해지는 시점이 된 것 같아요.

전 세계에 불어오는 규제 움직임

(출처: Unsplash)

위의 AI가 문제를 일으키지 않도록 하려면 고려해야 하는 네 가지 사안 중 하나는 법률이에요. AI와 보조를 맞추고 관련 위험을 통제하기 위해 법률시스템을 갱신하는 법. 기술은 항상 빠르게 발전해 왔지만, 법률 시스템은 항상 한두 발짝씩 늦어왔잖아요. 이로운 AI를 만들기 위해서 법률도 중요하다는 이야기를 보고 역시 그렇구나 싶었습니다.

법률이나 규제가 기술보다 한참 늦었던 가장 큰 이유는 법을 만드는 사람들이 기술을 잘 모르기 때문입니다. 미국 캘리포니아 공화당 소속으로 유일하게 인공지능 석사 학위를 지닌 하원의원인 제이 오버놀트는 이렇게 이야기했습니다. "규제를 위해서는 어떤 위험성이 있는지에 대한 합의가 있어야 하고, 그러려면 AI에 대해 이해해야 한다. AI의 가장 큰 위험이 눈으로 레이저를 쏘는 악당 로봇이 아니라는 사실을 얼마나 많이 이야기했는지 모른다."라고요.

규제에 가장 앞서나가고 있는 것은 역시 유럽이에요. 유럽에서는 세계 최초로 지난 3월 'AI 법(AI Act)'의 초안을 공개했습니다. 비록 실제 사용자에게 미치는 영향만으로 AI 시스템을 좁게 해석하여 한계가 크다는 비판을 받았지만, 가장 빠르게 AI에 대한 대응을 시도하고 있다는 점이 고무적입니다.

미국에서는 지난해 10월 미국에서는 'AI 권리장전을 위한 청사진(Blueprint for an AI Bill of Rights)'을 발표했고, FTC를 포함한 규제기관들에서도 기자회견을 통해 규제에 대한 의지를 밝혔다고 합니다. 며칠 전인 4일에는 AI 개발사 CEO를 백악관으로 초청해 AI의 책임감 있는 혁신을 강조하고, 위험을 최소화하는 것이 우선이라고 이야기도 했다네요. 비록 법안 제정의 단계에 닿진 못했지만, 미국 정부치곤 꽤나 빠른 거라고 하네요.

다양한 기관에서는 정책 제정에 참고할 수 있는 자료들도 많이 발표하고 있다고 합니다. (출처: FLI)

뉴욕타임스 칼럼니스트 에즈라 클라인은 자신의 칼럼에서 자신이 이야기해 본 많은 연구자가 AI에 대한 규제를 적극적으로 원하고 있으며, 개발 속도가 늦춰지더라도 괜찮다고 이야기한다고 합니다. 같은 글에서 그는 정책에 포함되면 좋을 것들을 언급했는데, 모델에 대한 이해도 높이기, 보안 철저히 하기, 엄격한 평가와 감사, 기업체에 확실한 책임 부여, 그리고 AI와 사람을 구별하는 법에 대한 고민이 주요 내용이었어요. 저는 이중에서 모델에 대한 이해도를 높이는 것과 엄격한 평가와 감사가 곧 위에서 이야기한 AI 안전 연구와 궤를 같이 한다고 이해했어요.

글에서는 항공기와 식약품을 예로 들어요. 항공 사고가 거의 나지 않는 이유는 항공 관련된 규제가 매우 엄격하고, 이 규제를 따라야만 운행할 수 있기 때문입니다. 식약품 역시 안전하지 않은 제품은 퇴출할 수 있는 까다로운 절차를 통해 인증을 받도록 하고 있어요. 광범위한 영향을 미칠 수 있는 AI 서비스에는 이런 절차가 현재 전무한 상황이고, 각 기업에서 이런 테스트는 각자 자발적으로 불투명하게 하고 있어요. 그렇기 때문에 AI 서비스를 사용하는 사람들이 안전할 수 있도록 모니터링하는 체계가 꼭 필요하다고 생각해요.

안 좋은 이야기만 주구장창 했지만, 사실 AI가 불러올 새로운 것들에 대한 기대도 커요. 그런데 챗GPT가 불붙인 속도전에 눈이 멀어서 너무 많은 것을 포기하지 않을지에 대한 우려가 생깁니다. 아무리 은퇴할 나이이더라도 권위 있는 학자가 굳이 이 시기에 이목을 끌면서 퇴사하겠다는 결심을 하게 만들었다는 것은 주목할 만한 일이라는 생각이 들기도 했고요. 우리가 조금씩 더 관심을 가지고 지켜봐야할 부분인 것 같습니다.