구독자님, 만나서 반가워요. 객원 에디터로 처음 인사드리는 정아입니다. 저는 IT스타트업에서 금융 앱을 만드는 PM(프로덕트 매니저)으로 일하고있어요. 

일할 때 챗GPT를 활용해봤지만 “답변이 너무 쓸모없는데?”라고 생각해 본 적 있으신가요? 저도 그런 적이 있어요. 하지만 끈질기게 써보면서 조금만 질문을 다르게 하면 쓸모 있는 답변을 얻게된다는 점을 알게 되었답니다.

업무가 주로 IT와 금융에 얽혀있다보니 AI를 다루지 않고는 살아남을 수 없겠다는 생각이 들어, 챗GPT가 출시된 후 현재까지 챗GPT, 클로드(Claude), 퍼플렉시티(Perplexity), ,달리(DALL·E)와 같은 생성형 AI를 업무와 앱서비스 개발에 활용하고 있습니다. 챗GPT 출시 후 AI 프로젝트를 진행하면서 고객과 친구들의 챗GPT 활용법을 관찰하니, IT업계뿐만 아니라, 다른 업계에서도 챗GPT를 활용하는 능력이 매우 중요해지겠다는 생각이 들더라고요. 이번 레터에서는 왜 그런 생각에 이르게 되었는지 이야기 해보겠습니다.

*챗GPT 사용기는 GPT-4o모델을 기준으로 작성되었습니다.

나의 빠른 퇴근을 돕는 동료, 챗GPT!

저는 챗GPT의 '프로젝트' 기능을 활용해 제 업무를 도와주는 챗GPT를 4가지 버전으로 꾸려두고 활용하고 있습니다. 전략기획이나 데이터분석 업무를 할 때는 미리 셋팅해둔 ‘데이터 분석가’ 프로젝트와 ‘시니어PO’ 프로젝트로 진입해서 챗GPT와 채팅하는 식으로요. 

프로젝트마다 챗GPT의 컨셉을 지정해줄 수 있는 ‘지침’이라는 기능이 있습니다. 프로젝트별로 챗GPT가 방대한 지식들 중 어떤 테마로 저에게 답변을 해야 하는지, 답변할 때 고려해야할 저의 개인적인 상황은 어떤지, 어떤 미션을 갖고 있는지를 저장해 두었어요. 그래서 매번 사전 배경 지식을 설명하지 않고, 빠르게 질문할 수 있어 무척 편하더라고요.

프로젝트

지침

또 제 업무는 데스크 리서치를 하는 일들이 많은데요. 챗GPT를 활용하기 전에는 텍스트부터 동영상까지 다양한 자료를 들여다보는데 시간이 많이 소요되었는데, 지금은 찾은 자료를 죄다 챗GPT에게 첨부한 후 일단 요약을 요청합니다. 챗GPT가 제일 잘하는게 요약이다보니 방대한 자료들을 훨씬 수월하게 읽을 수 있습니다. 

특히나 동영상은 유튜브 같은 곳에서 영어로된 영상의 스크립트를 따와 챗GPT에게 넘겨주는 크롬 익스텐션을 활용하고 있어요. 크롬 익스텐션으로 유튜브 영상의 자막을 넘기고, 그걸 챗GPT가 요약해주는데 이게 아주 시간 절감을 기가 막히게 해주는 요물입니다. 

또 챗GPT에게 자료 요약을 시킨 후에는 ‘우리 제품에 어떻게 적용하면 좋을지 제안해줘’라고 지시해 인사이트를 얻을 수 있어요. 또 그 인사이트에 반박하며 논리적 검증을 시도하는 식으로 활용하기도 하고요. 그러면서 데스크 리서치에 들어가는 소요시간이 절반정도로 줄었습니다.

하지만… 이런 효율성만 믿고  일을 대충하다가는 큰 코 다칠 수가 있겠더라고요. 챗GPT의 태생적 한계와 단점 때문입니다.

첫 번째, 챗GPT의 말을 무조건적으로 신뢰할 수가 없어서 크로스체크하는 데에 시간이 소요됩니다. 예를 들어 챗GPT의 답변을 그대로 보고서에 녹였다가 큰코 다칠 수 있습니다. LLM 모델의 한계로 인해 거짓말을 아주 그럴 듯하게 말하곤 하거든요. 이를 할루시네이션(hallucination)이라고도 부릅니다. 그래서 크로스체크가 필수입니다. 저는 이 부분 때문에 항상 프롬프트에, 그렇게 생각하는 이유와 근거, 출처를 달라고 명시합니다. 그래야 적은 리소스로 이 친구의 말이 진짜 맞는 말인지 꼼꼼하고 빠르게 확인할 수 있거든요.

두 번째, 대충 대충 챗GPT에서 나온 대로 가져다 쓰면 티가 납니다. 누군가 작성한 보고서에서 ‘챗GPT를 대충 긁어온 글’이라는 걸 발견해보신 적 있으신가요? 일명 ‘챗GPT 문체’라고 불리는데요. 챗GPT가 준 답변 중에서는 특유의 어색한 문장 구조가 티가 나기에 실무에 활용하실 때 주의해야 합니다.

세 번째, 질문이 제대로 작성되지 않으면, 고퀄리티의 답변을 얻기가 힙듭니다. 기본적으로 챗GPT에게 하는 질문은 ‘검색엔진에 검색하는 것’과는 다릅니다. 최대한 배경과 맥락을 구체적으로 설명하고, 지시사항도 명확하게 써야 좋은 답변을 얻을 수 있죠. 하지만 이런 질문을 작성하려면 ‘프롬프트 엔지니어링’의 관점이 필요해 약간의 허들이 있습니다.

이런 챗GPT의 태생적 한계가 있지만 그렇다고 챗GPT가 가져온 생산성 향상과, 생성형AI의 능력을 무시할 순 없죠. 일개 PM인 제가 봤을때도 생성형 AI의 능력이 폭발적으로 성장함에 따라 다양한 산업군에서 고객이 겪는 문제들을 AI로 해결해가고 있는 게 눈에 보이거든요. 

저도 고객의 금융 문제를 챗GPT로 해결해볼 수 있을 것 같아 챗봇 서비스를 기획했어요. 기획하는 과정에서 먼저 거쳐가신 선배님의 발자취를 엿볼 수 있는 문서를 찾고 싶었으나, 한국에서 AI 챗봇 서비스를 만들면서 겪은 경험과 노하우를 공유한 분이 많이 없더라고요. 다들 이제 막 시작이라  혼란스러워서 그런게 아닌가 싶기도 합니다.

그래서 저와 같은 외로움을 어딘가에서 겪고있을 동료 PM을 위해, 서비스를 만들면서 얻게된 레쓴런 몇 가지를 정리해 보았습니다. 이 레쓴런들은 굳이 IT업계에 근무하는 PM이 아니더라도 일반 직장인인 제 친구들이 챗GPT를 활용할 때도 도움이 될 것 같아요. 정말 조금만 방법을 찾으면 생산성이 금방 증가하는 걸 느낄 수 있을 거에요. 모두의 빠른 퇴근을 위하여!

AI 챗봇 만들기 대작전(aka. 워킹데이 7일간의 프롬프트 노가다)

추억의 심심이를 아시나요? 막말도 서슴치 않던 아주 얄궂은 챗봇인데요. 우리가 기억하는 심심이와 같이 챗봇이란 기본적으로 채팅을 사람이 아닌 봇과 하게되는 채팅 서비스를 뜻합니다. 여기에 봇이 AI기능을 탑재하고 있으면 ‘AI 챗봇 서비스’가 됩니다. 사례로 영어 교육 앱 ‘스픽(Speak)’의 ‘스픽 AI 튜터’를 들어보겠습니다.

스픽의 AI 튜터는 챗GPT가 탑재되어있습니다. 챗GPT가 탑재되었다는 건 우리는 스픽 앱에서 스픽 AI 튜터와 대화하고 있지만, 사실은 챗GPT와 대화를 하고 있다는 뜻입니다. 껍데기만 스픽인거죠. 그렇다면 스픽 AI 튜터도 챗GPT니까, 영어 공부와 상관 없이 궁금한 건 뭐든 물어보면 답변해줘야 하지 않을까요? 하지만 대화를 해보면 영어 공부 외의 질문을 하면 답변을 하지 않거나 자연스럽게 영어 공부로 대화 주제를 넘기고 있습니다.

이는 개발자가 ‘프롬프트’로 챗GPT에게 ‘스픽의 AI 튜터’라는 페르소나를 부여하고, ‘영어 교육에 관련된 답변만 하라’라고 제한을 걸어주었기 때문입니다. 여기서 프롬프트란 AI와 대화하기 위해 사용하는 명령문을 뜻하는데요, 챗GPT 웹사이트에서 우리가 텍스트로 작성해 질문하는 모든 것이 챗GPT에게 내린 명령, 즉 프롬프트라고 보면됩니다.

챗GPT에게 튜터라는 페르소나를 부여하고, 영어 교육에 관련된 대화만으로 제한하는 프롬프트를 입력해둔 것은 ‘시스템 프롬프트’라고 불러요. 스픽 사용자가 채팅창에서 질문을 입력하는 것도 ‘프롬프트’ 이지만 헷갈리지 마세요! ‘시스템 프롬프트’는 사용자가 볼 수 없는 뒷단에서 사용자의 질문보다 먼저 입력되는 프롬프트라고 보시면 됩니다.

이 시스템 프롬프트를 어떻게 입력하느냐에 따라, AI챗봇으로서 사용자에게 전달하는 답변 퀄리티가 크게 달라집니다. 또 시스템 프롬프트를 어떻게 구성하고 개발해야 AI가 고퀄리티의 답변을 내놓을 수 있을지 고민하는 방법론을 ‘프롬프트 엔지니어링’이라고 합니다.

이 프롬프트 엔지니어링 전문가가 저의 동료로 있었다면 얼마나 좋았을까요? 될성부르고 소중한 저희 회사는 ‘프롬프트 엔지니어’가 계시지 않습니다. 높은 연봉으로 모셔와야 하거든요. 그래서 프롬프트를 짜는 것은 PM인 저의 역할이었습니다.

시스템 프롬프트로 챗GPT를 컨트롤 하는 것은 '금쪽이 길들이기'와 같아요. 시스템 프롬프트를 하나하나 디테일하게 쓰면, 너무 세세하게 앞뒤 꽉막힌 전형적인 답변을 하고요. 그렇다고 러프하게 프롬프트를 짜면, 자기 마음대로 서비스의 방향성과는 다른 발언을 하거나, 거짓말을 지어내어 답변을 하는 경우도 있거든요.

이런 이유 때문에 실제 고객이 이용하는 서비스에 챗GPT를 적용할 때는 답변이 적정 범위에서 나올 수 있도록 커스터마이징하는 것이 매우 중요합니다. 저의 경우는 여러 시행착오 끝에 챗GPT를 프롬프트 엔지니어로 만들어 피드백을 받아가며 테스트하기로 결정했습니다. 챗GPT의 도움이 있었음에도 불구하고 워킹데이 7일 내내 야근하면서 시스템 프롬프트를 작성하고 챗봇을 테스트하는데에 할애했습니다.

처음 하다보니 테스트 기법이 갈피를 못잡은 것도 한 몫 했지만, 답변의 퀄리티가 일관성도 없고 품질도 들쭉날쭉해서 여간 빠르게 끝낼 수가 없겠더라고요. 나중에 정리해보니, 그렇게 될 수 밖에 없던 이유가 있었습니다. 

첫 번째는 챗GPT의 기억력 문제입니다. 앞에서 한 얘기를 잊어버려서 같은 질문을 반복해야 하는 일이 많았어요. 사용자의 질문을 요약해서 답변에 계속 포함시키거나, 특정 정보를 저장하는 방식으로 보완했지만, 여전히 종종 엉뚱한 답이 나왔습니다.

두 번째는 사용자들의 질문 방식이에요. 챗봇이 좋은 답을 하려면 어느 정도 맥락이 있는 질문이 필요한데, 대부분 네이버 검색하듯이 “대출 금리” 같은 단어만 던지더라고요. 결국 챗봇이 먼저 “어떤 대출을 찾고 계세요?” 하고 되물어보도록 프롬프트를 설정했습니다.

세 번째는 챗GPT의 산수 실력입니다. 처음엔 그저 제 프롬프트가 별로여서 기본적인 덧셈 뺄셈을 못하는 줄 알았는데, 그게 아니었어요. 언어를 기반으로 학습한 모델이라 벌어지는 어쩔 수 없는 문제였습니다. 그래서 챗GPT에게 사칙연산을 시키는 것은 최소화하고, 인간이 직접 계산해 결과값을 넣어주는 방식으로 대응할 수 밖에 없었습니다.

이외에도 챗봇의 역할, 성격, 말투, 보안 지침을 모두 적용한 시스템 프롬프트의 길이가 매우 길어서 프롬프트 속 문구들을 제대로 읽어내지 못하는 현상이 있기도 했습니다. 이 과정에서 중요한 걸 하나 배웠습니다. 프롬프트의 배치 위치가 답변 품질을 좌우한다는 점이에요. 챗GPT는 중간에 있는 내용을 못 읽어내는 경우가 많았고, 중요한 지침을 프롬프트 맨 앞과 맨 뒤에 배치하면 효과가 훨씬 좋았어요. 이건 나중에 알게 된 사실인데, 실제로 LLM 연구 내용 중에 프롬프트의 최상단과 최하단의 배치한 문장들을 더 잘 실행한다는 결과가 존재하더라고요.

고난의 테스트 기간이 끝나고, 가까스로 챗봇 베타 서비스를 출시했습니다. 이 지난한 과정을 거치면서 실제 업무에 챗GPT를 활용하는 수준이 더 높아진 것은 물론, 다음 서비스에도 본격적으로 활용할 수 있는 여러가지 프롬프트 작성 팁을 얻을 수 있어서 굉장히 유의미했습니다.

야매 팁 대방출! : 노가다 끝에 배운 기본 수칙 6가지

“쓰레기를 넣으면(garbage-in) 쓰레기나 나온다(garbage-out)”는 말이 있습니다. 제가 무수히 많은 프롬프트 노가다... 아니 테스트를 하면서 느낀 점을 정확히 대변해주는 문장 같아요. 

좋은 질문이 좋은 답변을 만들고, 챗GPT의 좋은 답변은 우리의 업무 생산성을 두 배, 세 배 끌어올려 빠른 퇴근을 만들어 줄 수 있습니다! 그렇다면 챗GPT에게 좋은 질문은 무엇일까요? 제가 알게된 6가지 팁으로 정리해보았습니다! 

1) 구글 검색하듯이 쓰기보단, 구체적으로 어떤 작업을 원하는지 명료하게 제시해 주세요. 

2) 맥락을 충분히 제공해 주세요. 타겟이 누구인지, 그걸 요청하는 이유(why)는 무엇인지, 추가적으로 지켜야할 세부사항은 무엇이 있는지 꼼꼼히 써주세요!

❌ "새로운 스케줄에 대해 이메일을 써줘."
✅ "나는 피트니스 센터 매니저야. 직원들에게 월/수/금 ‘필라테스’ 수업 시간이 7AM에서 6AM으로 변경되었음을 알리는 짧고 친근한 이메일을 작성해줘."

3) 예시를 제공할 수 있다면, 질문과 예시 문단을 구분해서 제공해주세요. 원하는 문체나 형식을 얻기 더 쉬워져요. 기존에 작성되었던 파일을 첨부해주는 것도 좋아요. 

❌ "편한 구어체로 뉴스레터 요약을 작성해줘."

✅ 아래 내가 작성한 참고 문장을 참고해서 이번주 뉴스레터 요약을 작성해줘

###참고 문장###
- 이번 뉴스레터 주제는 2024년 스타트업 투자 트렌드야.

- AI 스타트업에 자금이 몰리는 이유와 최근 투자받은 대표적인 AI 기업 3곳 (Ex. Anthropic, Mistral, Perplexity)을 소개했어.

-클라이메이트 테크(Climate Tech)가 올해 유망한 투자 분야로 떠오르는 이유도 분석했어.

-’이제는 성장보다 수익성이 중요하다’는 최근 투자자들의 태도 변화를 살펴봤어.

-스타트업이 투자받을 때 매출보다는 고객 유지율(retention rate)이 더 중요한 이유를 사례를 들어 설명했어.
###참고 문장 종료###

4) 챗GPT가 생성한 답변에 평가를 구체적으로 해주세요. AI가 빠뜨린 내용이 있다면 지적해주시고, 어떤 점이 별로인지 구체적으로 작성해 주세요. 그래야 수정을 제대로 해줍니다!

❌ "이 마케팅 전략이 별로야."
✅ "마케팅 전략이 너무 일반적이야. 더 창의적인 접근법을 제안해줘."

5) 한 번의 채팅으로는 완벽한 결과물을 얻기 힘들어요. 여러가지 차원에서 요구를 반복적으로 해보세요.

 “다른 정보는 더 없어?” 라거나, “이건 일생일대의 답변이니까 신중하게 말해줘”라든가, “답변을 창의적으로 바꿔줘” “대화체로 다시 작성해줘”, “더 짧게 2문장으로 만들어줘” 등의 여러가지 질문을 하다보면 원하는 결과물에 더 가까워집니다! (거의 어르고 달래야해요 하하)

6) 전세자금대출 제도와 같이 정보의 최신성, 정확성이 중요한 질문은 챗GPT의 웹 검색 기능을 켜고 질문하시는 것을 추천드립니다. 하지만 정확한 정보는 꼭 챗GPT가 걸어준 출처를 확인하세요.

프롬프트 작성 조차도 AI가 하게된다는 소문이 있습니다. 미래가 어떻게 될 지 확신할 순 없지만, 당분간의 빠른 퇴근을 위해서라도 AI와 소통하는 방법을 배워보시는 것을 강력 추천드립니다. 조금만 배우더라도 확실히 결과가 다른걸 보시면 배우실 수 밖에 없을 거예요!

“김훈처럼 써라. 챗GPT도 단문, 두괄식, 명쾌한 동사 좋아한다” (강수진 박사)