🙃 AI 업계의 자강두천, 오픈AI와 앤트로픽

아무래도 대중에게 가장 잘 알려진 대화형 인공지능 서비스는 챗GPT죠. 그래서 많은 사람들은 챗GPT의 개발사인 오픈AI가 AI 업계의 대표주자라고 많이들 생각할 것입니다. 지난 9월에는 ‘생각하는 AI’라고 불리는 GPT의 다음 버전 모델인 o1을 성공적으로 출시하기도 했으니까요.

그런데 최근 오픈AI의 주요 인사들, 특히 안전을 담당하던 임직원들이 줄줄이 떠나고 있습니다. 이 배경에는 작년에 샘 알트만을 잠시나마 몰아냈던 안전성과 수익 사이의 갈등이 아직 끝나지 않은 것 같다는 분석이 있어요.

수석 과학자면서 샘 알트만을 축출하는 데에 일조했던 일리야 수츠케버도, 안전 분야 전문가였던 얀 레이케도, 알트만이 쫓겨났을 때 임시 CEO를 맡았던 최고기술책임자 미라 무라티도, 최구연구책임자 밥 맥그루도 모두 사직했습니다. 올해에만 오픈AI의 임원 및 안전성을 담당하는 핵심 인력이 20명 이상 오픈AI를 떠났다고 하는데요, 11명의 공동 창업자가 세웠던 오픈AI에는 이제 2명만이 남아있습니다.

오픈AI는 ‘인류를 이롭게 하자’는 취지와 함께 비영리 연구소 형태로 설립되었습니다만, 이후 빠른 성장을 위해 비영리 이사회가 영리 자회사를 통제하는 형태로 변경되었습니다. AI를 빠르게 개발하기 위해서는 대규모 투자금을 받아야 했으나 구글이나 메타처럼 자체적인 클라우드 리소스를 활용할 순 없었기 때문입니다.

그리고 이제는 영리 기업으로 전환해야 하는 상황이에요. 오픈AI는 최근 66억 달러의 자금 조달에 성공했는데, 이 투자에 걸린 조건이 ‘비영리 이사회의 통제에서 벗어나 완전히 영리 기업으로 전환할 것’이거든요. 2년 이내에 이행하지 않으면 투자자들이 자금을 회수할 수 있다고 해요.

이러한 변화는 초기에 연구조직을 보고 합류했던 사람들에게는 당황스럽게 느껴졌을 것 같아요. 목적이 완전히 달라지면서 업무 스타일이나 기조도 바뀔 테니까요. 연구조직에서는 좀 더 장기적인 안목으로 안전을 기하면서 AI 연구를 하는 것을 목적으로 한다면, 영리 기업에서는 제품을 만들고 판매하는 것이 목적인 것처럼요.

얀 레이케는 회사를 떠나며 ‘안전을 중시하는 문화와 프로세스가 빛나는 제품의 뒷전으로 밀려났다’고 이야기했어요. 그 말마따나 이미 이런 모습이 관찰되고 있습니다. 워싱턴포스트에 따르면 출시할 만큼 안전하다고 판단되기 전에 GPT-4o의 출시 파티를 열었다고 하고, 월스트리트저널에서는 GPT-4o의 안전 관련 테스트를 진행할 시간이 9일밖에 주어지지 않았다고 보도했어요. 더버지는 현재의 오픈AI를 '한 명의 강력한 대표 통제 하에 있는 전형적인 테크 기업'이라고 평했습니다.

얀 레이케와 존 슐먼을 비롯해 오픈AI를 떠난 핵심 인력 중 몇몇은 현재 오픈AI의 가장 강력한 라이벌로 떠오른 앤트로픽에 합류했습니다. 재미있게도 앤트로픽의 창업자들 역시 오픈AI 출신인데요, 이들은 오픈AI가 지나치게 상업화되어 가는 것에 대한 실망감과 모델이 커지면 커질수록 위험한 지점에 도달할 수 있다는 우려로 2021년 회사를 설립했습니다. ‘AI 안전성 연구소’를 표방한 앤트로픽은 GPT-2와 GPT-3 모델 개발을 이끌었던 다리오 아모데이가 대표를 맡았고, 정책 및 안전성 팀을 총괄했던 다니엘라 아모데이가 사장을 맡았습니다.

앤트로픽은 처음에 다른 회사의 AI 모델을 활용해 안전성 연구를 하고자 했습니다. 하지만 가장 최신의 연구를 위해서는 자체적으로 강력한 모델을 만드는 것이 필요하겠다고 판단했다 해요. 이들은 오픈AI와는 달리 공익기업(public benefit corporation)의 형태를 취하고 있는데요, 영리기업이면서도 사회적인 책임을 다하겠다는 의미입니다. ‘도움이 되면서’ ‘해를 끼치지 않고’ ‘정직하자’가 앤트로픽의 목표라고 해요.

🦾 귀찮은 작업 대신 해드릴게요, AI 에이전트

2023년 3월, 앤트로픽은 자체 개발한 대화형 인공지능 서비스 ‘클로드’의 첫 모델을 선보였습니다. 이름은 디지털 통신과 정보이론의 아버지라고 불리는 20세기 수학자 클로드 섀넌에서 따왔습니다. 그로부터 4개월 후 출시한 클로드2가 챗GPT보다 우수한 성능을 보이며 큰 주목을 받았는데요.

이들은 아마존과 구글로부터 대규모 투자를 받아내면서 공격적으로 성장 기반을 마련했고, 올해 초 출시한 클로드3 역시 데이터분석가 맥심 로트가 진행한 ‘IQ 테스트’ 결과에서 최고 성능을 보여주었다고 해요. 더불어 지난달 출시한 클로드 3.5 소넷도 주목할 만합니다. 이번 모델의 특징은 ‘컴퓨터 활용’을 할 수 있도록 했다는 거예요.

위의 예시 영상에서 사용자는 이런 프롬프트를 전달합니다.

‘벤터 스프레드시트나 검색 포털 탭에 있는 정보를 활용해서

앤트라는 회사에 대한 서류 좀 작성해 줘.’

클로드는 화면 캡처를 하면서 정보가 스프레드시트에 있는지 확인하고, 정보가 없다는 것을 확인한 이후에는 포털 탭에서 앤트라는 회사를 검색해요. 그리고 직접 서류에 필요한 정보를 확인해 작성하기 시작합니다.

화면을 캡처해 이미지에서 필요한 정보를 파악하고, 마우스를 옮기고 클릭해서 액션을 하는 것이 놀라웠어요. 기존에는 하나하나의 액션을 명령해야 했다면, 이제는 모델이 적합도를 판단하고 복합적인 액션을 구현할 수 있게 된 것이죠. 아직 현재의 모델은 느리고 정확도도 많이 떨어지기에 개선할 점을 찾기 위한 목적으로 개발자들이 사용할 수 있도록 오픈했다고 합니다.

신기하게도 비슷한 시기에 다른 회사들에서도 비슷한 형태의 소위 ‘AI 비서(에이전트)’라고 부를 수 있는 서비스를 공개했어요. AI 에이전트는 사용자의 지시에 따라 필요한 작업을 스스로 결정하고 수행할 수 있는 소프트웨어를 의미하는데요. 마이크로소프트(MS)는 자사의 CRM 제품인 다이나믹스 365에 10가지 새로운 자동 기능을 공개했고, 링크드인은 채용담당자를 위한 AI 에이전트 ‘하이어링 어시스턴트’를 공개했어요. 애플 역시 시리에 챗GPT를 통합하는 버전을 테스트 중이며 iOS 18.1에 함께 출시할 예정이라고 합니다.

AI 에이전트가 주목받는 이유는 이렇습니다. 기존에 챗봇을 기반으로 한 서비스보다 더 사람들이 필요로 하고, 한번 익숙해지면 계속 사용하게 될 것으로 예상되기 때문이에요. 그래서 업계에서는 AI 서비스 중 시장을 지배할 확률이 높은 서비스의 형태로 꼽고 있다고 합니다.

물론 우려되는 점들도 있습니다. PC를 자동 조작할 수 있는 권한을 준다는 것은 그만큼 AI가 잘못 작동했을 때의 부작용도 클 수 있다는 것을 의미해요. 동시에 AI가 작성한 갖가지 스팸과 퀄리티가 떨어지는 웹사이트들도 많아질 수 있겠고요. 제공한 정보로 의도치 않은 액션을 한다거나 외부에서 해킹을 할 수도 있겠죠. 또한 기업에서 활용할 때는 어디까지 정보가 서비스 제공사와 공유되는지도 중요하고요.

저는 일단 빨리 써보고 싶은 마음이 큽니다. 여전히 디테일하게 프롬프트를 작성해야 하긴 하지만, 그래도 한 단계씩 쪼개서 적어줘야 했던 과거보다는 발전한 것이 돋보이기 때문이에요. 주기적인 단순 작업들을 요청할 수도 있을 것 같고, 다른 앤트로픽이 공개한 예시처럼 일정을 조정하고 계획하는 것을 대신 해줄 수도 있을 거예요. 어쩌면 우리가 상상해왔던 ‘AI가 대신 해줄 수 있는 일들’에 조금 더 가까워지고 있는 것 같다는 생각이 들었어요.

🚨 돌고 돌아 안전성의 문제

오픈AI를 떠난 사람들의 적지 않은 수가 앤트로픽에 합류한 이유는, 바로 앤트로픽이 보여주는 안전성에 대한 진심 때문이에요. 2023년 뉴욕타임스 기자 케빈 루스는 앤트로픽에서 몇 주간 시간을 보내며 받은 인상을 공유했어요. 이들이 AI에 대해서 밝고 긍정적인 이야기만 할 줄 알았는데, 생각보다 실제로 AI 모델이 끼칠 수 있는 해악에 대해서 진심으로 두려워하고 고민하는 것이 인상적이었다고 이야기합니다.

이들의 두려움은 제품을 만들 때도 적용됩니다. 앤트로픽의 ‘레드팀’이 모델이 생성한 결과물이 불쾌하거나 공격적일 수 있는 경우를 계속 찾아내면, 그만큼 제품의 출시일이 늦춰진다고 하더라고요. (위의 오픈AI 사례와는 상반되는 것이 보이시죠?)

앤트로픽이 가지고 있는 두려움은 그들이 AI를 세상에 내어놓기 위해 만든 내부적인 조건에서도 볼 수 있습니다. 두 가지를 짚어보고 싶은데요, 하나는 ‘원칙 기반 AI’이고, 하나는 ‘책임 있는 확장 정책’입니다.

원칙 기반 AI(Constitutional AI)를 한 마디로 설명하면 AI 내에 ‘헌법’으로 작용할 만한 원칙을 심어두고 여기에서 벗어나는 결과물을 생성하지 않도록 하는 것입니다. 결과물이 유해하거나 차별적이지는 않은지, 사람들이 불법적이거나 비윤리적인 활동을 하는 것을 도와주고 있지는 않은지를 자체적으로 확인하게 하는 것이죠. 기존에는 인간 피드백을 활용해 학습했기 때문에 이 과정이 오래 걸리고 까다로웠다면, 모델 내부적으로 평가하도록 하고 강화학습을 통해 모델이 자체적으로 개선할 수 있게 한 것이 특징입니다. 모델 규모가 커지더라도 대응할 수 있는 장점이 있다고 해요.

책임 있는 확장 정책(Responsible Scaling Policy)은 좀 더 장기적인 안목에서 흔히 말하는 강력한 AI 또는 인공일반지능(AGI)을 염두에 두고 재난적인 위험에 대비하기 위해 만든 프레임워크입니다. AI 모델을 각각이 생성할 수 있는 결과물의 퀄리티나 능력의 범위에 따라 ‘AI 안전 수준(ASL)’을 4단계로 규정하고, 단계가 높아질수록 더 엄격하게 안전성을 평가하고 감독해야 한다는 것입니다.

현재의 대규모언어모델은 대부분 2단계에 속하는데요. 예를 들자면 생화학무기를 만드는 법을 요구하는 사용자에게 정보를 검색해서 전달할 수는 있지만, AI가 이를 직접 연구해서 개발해 낼 수 없고 제공하는 정보도 신뢰도가 낮은 상황이라 ‘재난적인 위험’을 초래하기는 어려운 단계라는 뜻입니다. 하지만 직접 자체적인 연구를 수행할 수 있는 수준이 된다면(3단계) 안전성 평가의 기준은 달라져야겠죠. 해당 정책은 이러한 부분을 규정해 두고 있습니다.

개별 회사가 자체적으로 가이드라인을 만드는 실정이 아쉽긴 하지만, 앤트로픽에서 안전성을 중요시하고 있는 점이 이런 데에서 드러난다고 생각해요. 그래서 오픈AI의 빠른 상업화에 반대했던 공동 창업자와 안전성을 담당하던 인력들이 앤트로픽에 합류하지 않았을까 생각이 드네요.

🧐 앞으로의 미래를 대비하며

• 생물학과 신체적인 건강 (Biology and physical health)
• 신경과학과 정신적인 건강 (Neuroscience and mental health)
• 경제 발전과 빈곤 (Economic development and poverty)
• 평화와 거버넌스 (Peace and governance)
• 일과 의미 (Work and meaning)

최근에는 팟캐스트에서 오픈AI의 AGI 안전 대비팀 수석 고문이었으나 최근에 (또) 퇴사한 마일스 브런디지의 인터뷰를 들었는데요. 팟캐스트 호스트가 AGI를 대비해야 하는 이 시대에 개인이 할 수 있는 일을 물었고, 그는 크게 세 가지를 답합니다.

1. 최신 AI 기술을 써볼 것 (이 시스템들이 세상을 바꿀 것이기 때문에 무얼 할 수 있고 무얼 할 수 없는지를 알아야 함)
2. AI가 나의 일과 커리어에 미치는 영향을 살필 것
3. 최신 기술의 동향을 살피면서 나와 주변 사람들을 지킬 것

부끄러운 이야기지만, 저는 이 레터를 쓰면서 처음으로 AI 서비스를 좀 제대로 써본 것 같아요. 번역을 위해서는 거의 매일 같이 쓰고 있었지만, 여러 번 원하는 것을 위해 프롬프트를 튜닝해 가면서 요청하는 것은 처음이었어요.

이번 레터를 쓰면서 클로드를 활용해서 문장을 다듬고 보완점에 대한 의견을 받았습니다. 생각보다 꽤 좋은 의견을 주더라고요? 앞으로도 종종 다양한 프롬프트를 주면서 서비스가 잘하는 것, 못하는 것을 확인해 보려고 해요. (사실 이전에도 써본 적은 있는데, 왜 더 쓰지 않았는지 확실히 깨달았어요. AI 서비스들이 진짜 못하는 것은 글에 대한 제목 뽑기입니다… 하나 같이 다 노잼이었어요.)

그런 점에서 저는 이 레터가 여러분에게 최신 AI 업계 동향을 살피는 데에 도움이 되었기를 바라요. 저처럼 ‘그런 게 있구나’ 하고 지나쳤거나 살짝만 써보셨던 분들은 한 번씩 더 시도해 보시고, 이 서비스가 현재 나의 커리어에 어떤 임팩트를 줄지 상상해 보셨으면 좋겠습니다.

혼자서 뚝딱뚝딱 연구할 수 있는 대학원생 수준의 인공지능이 공개된다면 세상은 어떻게 바뀔까요? 그 세상이 괜찮은 곳이 되려면, 우리는 어떤 일에 미리 대비해야 할까요?

장강명 | 단행본이라는 뉴미디어