[Yumm-IT] 요즘 핫한 챗GPT 원리 '3분 정리'🤖

2023. 8. 23.

👩‍🍳 IT 셰프 PICK! Chef’s Choice 👨‍🍳

챗GPT의 원리

오늘 살펴볼 내용은요🍽

1. 챗GPT 캐릭터가 모여 사는 마을의 정체는?
2. 챗GPT 원리 핵심 정리.zip
3. VR, AR, XR! 가상 현실 들여다보기

님, 어서 오세요.

챗GPT 200% 이해하기 프로젝트👩‍🍳

지난 요리를 맛본 손님들께서

챗GPT를 더 자세히 알고 싶다는 의견을 남겨주셨는데요.

오늘은 좀 더 깊이 이해할 수 있는 '챗GPT의 원리'로 준비했답니다.

[Starter] 놀러오세요, 챗GPT 마을!

(출처 : arXiv 공식 홈페이지)

님, 만약 AI 캐릭터들이 모여 산다면 무슨 일이 벌어지게 될까요🤖? 지난 3월 스탠퍼드 대학교와 구글 연구팀은 가상 공간에 마을을 구현하고 챗GPT 캐릭터 25명을 만들어 그 안에 살게 했어요. 각 캐릭터별로 나이, 가족관계, 성격, 직업을 설정한 후 기억을 기반으로 변화하는 환경을 인식하고 행동하도록 설계했죠. 실제로 캐릭터들은 별도의 명령 없이도 서로 파티에 초대하고 토론을 이어가는 등 자발적으로 다른 캐릭터와 대화하고 관계를 만들어 나갔어요. 이처럼 챗GPT는 '사람처럼' 행동하고 관계를 맺을 수 있을 만큼 발전했어요!

[Main Dish] 챗GPT 원리 200% 이해하기

챗GPT 3초 브리핑🤖
지난 야밋 26호에서 만나본 챗GPT는 마치 인간처럼 텍스트를 생성(Generative)해 내는 대화형 인공지능(AI)이에요. 챗GPT는 인간의 언어 구조를 사전에 학습(Pre-trained)한 후 특정 분야에 대해서만 미세 조정하는 과정을 거쳐요. 우리가 한글을 먼저 익힌 후 교육과정을 통해 특정 지식을 습득하는 것처럼 말이죠. 또한 대규모 데이터 셋을 학습하는 알고리즘(Transformer)을 통해 문장의 전체적인 맥락과 의미를 학습하는데요. 그래서 주어진 범위 안에서 단순한 답변만 가능했던 기존 챗봇과 달리 더욱 풍부한 대화를 주고받을 수 있답니다. 챗GPT가 가진 놀라운 대화 능력의 비밀은 무엇일까요?

✅야밋 26호로 챗GPT 복습하기 Click!

컴퓨터가 인간 언어를 이해하는 방법
챗GPT가 사람처럼 언어를 구사할 수 있는 이유는 바로 ‘자연어 처리 기 술(NLP, Natural La nguage Processing)’ 때문이에요. 자연어란 사람이 의사소통할 때 사용하는 언어를 말하는데요. 이러한 자연어의 문법, 의미, 구조 등을 컴퓨터가 이해하고 활용할 수 있는 형태로 변환하는 기술을 자연어 처리 기술이라고 해요. 컴퓨터는 이 기술을 통해 인간과 비슷한 언어 이해 능력을 갖춰 텍스트 분류, 개체 인식, 기계 번역, 감정 분석 등 언어와 관련된 다양한 작업을 수행할 수 있어요.

텍스트에도 순서가 있다?

텍스트와 음성과 같은 데이터는 앞뒤 순서가 존재해요. 그래서 이번에 들어온 정보를 기반으로 출력값을 예측할 때 이전 시점의 정보까지 함께 참고하면 문장의 맥락을 보다 잘 이해할 수 있죠. 조금 단순화해서 설명해 볼게요!👩‍🍳 가령 "내일 날씨가 어때?"라는 문장은 '내일', '날씨가', '어때?'로 나뉘어 입력되는데요. 이때 가장 앞 단어인 '내일'을 기억하지 못하고 흘려보내면 엉뚱한 결과값이 출력될 수 있어요🙄.

순환신경망 알고리즘의 한계

이렇게 직전에 흘러가 버린 정보도 기억하면서 순차적으로 데이터를 처리하는 방식을 '순환신경망(RNN, Recurrent Neural Network)'이라고 해요. 자연어 처리의 경우 입력값이 한 개 이상의 단어로 구성되는 경우가 많은데요. 순환신경망은 이전 단어를 함께 살펴보기 때문에 맥락을 보다 잘 이해할 수 있답니다🤓. 하지만 문장이나 대화가 길어지면 멀리 떨어져 있는 정보는 잃어버리는 문제가 발생했어요. 데이터를 순차적으로 처리하기 때문에 대용량 데이터 학습에는 너무 많은 시간이 소요된다는 한계도 있었고요⌛️.

Attention is all you need!
처리해야 할 데이터는 점점 늘어나고 입력된 모든 단어를 기억하기 어려워지자, 입력되는 데이터를 전반적으로 살펴보면서도 필요한 부분에만 집중하는 ‘Attention 메커니즘’이 등장했어요👀. 이 메커니즘은 각 단어 간의 관련성을 계산하는 데에 사용된답니다. 멀리 떨어진 단어 간의 관련성도 파악할 수 있어 문장이 길어지더라도 전체적인 의미와 문맥을 이해할 수 있게 되었죠🙆‍♂️. 구글은 2017년 ‘Attention is all you need’라는 논문에서 이 Attention 메커니즘을 적용한 트랜스포머 알고리즘을 소개했어요.

트랜스포머, 방대한 데이터도 한 번에 빠르게 Clear!
‘트랜스포머(Transformer)’는 이전의 순환신경망과 달리 데이터 병렬 처리가 가능해 훨씬 빠르게 대규모 데이터를 처리할 수 있어요. NVIDIA에 따르면 일반 AI 모델의 학습 연산 능력이 2년간 25배 증가한 것 대비, 트랜스포머 모델 이후에는 2년간 약 275배 성장했다고📈. Attention 메커니즘과 트랜스포머는 기존의 자연어 처리 기술에서 많은 발전을 이끌어냈어요. 이러한 트랜스포머를 기반으로 하는 대표적인 거대 언어 모델로는 오픈AI의 GPT와 구글의 BERT가 있답니다!🗣

데이터 독서왕, 거대 언어 모델

‘거대 언어 모델(LLM, Large Language Model)’이란 일반적으로 수십억 개의 단어로 구성된 방대한 양의 텍스트 데이터를 학습한 언어 모델을 말해요. 마치 어린아이가 수많은 책을 읽으면서 스스로 언어를 깨치는 것처럼 책, 언론 기사, 온라인 콘텐츠 등의 데이터를 통해 대규모 텍스트 말뭉치(Corpus)를 학습해요. 이를 통해 단어와 단어 사이의 패턴과 관계를 파악하고 인간의 언어를 깊이 이해하게 되죠📚.

거대 언어 모델이 언어를 공부하는 법✍️

Susie [ ] singing.

야밋 셰프의 타임 어택 퀴즈! 빈칸에 들어갈 말은 무엇일까요? 아마 님이라면 빈칸에 올만한 단어들을 쉽게 떠올릴 수 있었을 거예요! 거대 언어 모델은 이런 방식으로 여러 개의 단어가 주어졌을 때 그 다음 단어를 예측할 수 있도록 학습한답니다. 문장의 빈칸을 채우거나 어울리는 문장인지 판단하는 등 언어 관련 학습을 끊임없이 반복해요. 이를 통해 자연스럽게 인간 언어의 특성을 사전 학습하는 거죠.

특정 작업에 특화시키는 파인 튜닝

이렇게 거대 언어 모델은 대규모 텍스트 데이터를 사전 학습하는 과정에서 인간의 언어 구조를 이해하게 되었지만, 아직 끝이 아니에요! 좀 더 특화된 지식을 습득하도록 모델을 조정하는 '미세 조정(Fine-tuning)' 과정을 통해 구체적인 작업을 수행할 수 있답니다. 예를 들어 질의응답 작업을 위해 관련된 데이터 셋으로 모델을 학습시키거나, 특정 언어로 번역 작업을 하기 위해 해당 언어 데이터를 사용해 모델을 조정하는 거죠. 이를 통해 거대 언어 모델은 일반적인 언어 능력부터 특정 작업까지 수행 가능한 능력을 갖출 수 있답니다🤲.

말할 수 있는 비밀(feat. 챗GPT)

거대 언어 모델인 챗GPT 또한 인간의 언어 구조를 사전 학습한 후, 인간과 상호작용하며 추가 학습하는 과정을 거쳤어요📝. 먼저 질문과 정답(레이블)이 있는 대화 세트로 미세 조정하는데요. A라는 질문에는 어떤 답변을 하는 게 좋은지 사람이 미리 만들어둔 모범 답안으로 추가 학습하는 거죠. 그다음에는 챗GPT가 생성한 여러 개의 답변을 보고 사람이 등수를 매기는 작업을 해요. 이러한 과정을 거치면 그 질문에 대한 최적의 답변으로 다시 구성된 대화 세트가 만들어지죠. 이렇게 새로운 대화 세트로 다시 학습한 결과 사용자의 의도를 파악하고 그에 맞는 답변을 할 수 있을 정도로 대화 능력이 향상되었답니다!

님과 대화하고 싶어 먼 길을 달려온 챗GPT.

내용이 많아 조금 어려웠다면

오늘의 야밋, 이것만 기억해 주세요!

1. 기존 챗봇의 한계를 깨고 AI 기술의 가능성을 증명한 챗GPT🤖. 챗GPT가 사람처럼 말을 잘 할 수 있는 이유는 기본적으로 '자연어 처리 기술(NLP, Natural Language Processing)'을 통해 인간의 언어를 이해하고 처리할 수 있기 때문!

2. 2017년 구글이 공개한 'Attention 메커니즘'과 '트랜스포머 알고리즘'은 자연어 처리 기술 역사에 한 획을 그었음. 입력문이 길어지더라도 문장의 전체적인 의미와 문맥을 이해할 수 있고, 데이터 병렬 처리가 가능해 대규모 데이터도 문제없다는😏!

3. 챗GPT는 트랜스포머 알고리즘을 기반으로 하는 '거대 언어 모델(LLM, Large Language Model)'로, 엄청난 양의 텍스트 데이터를 사전 학습해 인간의 언어 구조를 깊이 이해하고 있음🧠.

[Side Dish] 가상 현실의 Next Level

영화 <레디 플레이어 원>의 주인공은 VR 헤드셋을 착용해 가상 현실 게임 '오아시스'에 접속하고, 현실과 가상 세계를 넘나들며 모험을 펼쳐요. 가상 현실(VR)은 증강 현실(AR), 확장 현실(XR)까지 발전해 왔는데요. 언뜻 비슷해 보이는 이 용어들을 어떻게 구분할 수 있을까요👩‍🍳?

🍴가상 현실(VR, Virtual Reality) : 사용자가 가상의 3차원 세계를 체험할 수 있도록 하는 기술을 말해요. 사용자는 헤드셋이나 특수 안경 등 HMD(Head Mounted Display) 단말기를 착용한 상태에서 VR 전용 콘텐츠를 시청해 가상 현실을 경험할 수 있죠.

🍴증강 현실(AR, Augmented Reality) : 실제 현실에 가상 물체가 겹쳐 보이도록 하는 기술을 말해요. 게임 '포켓몬GO'와 같이 특정 공간이나 QR 코드를 스마트폰으로 찍으면 실존하지 않는 건물이나 물체가 스마트폰 화면에 나타나는 사례가 대표적인 증강현실 서비스랍니다.

🍴확장 현실(XR, eXtended Reality) : 가상 현실과 증강 현실의 개념을 결합한 것으로, 사용자에게 더욱 확장된 경험과 몰입감을 제공해요. XRHealth는 환자들이 즐겁게 물리 치료를 받을 수 있도록 XR과 게이미피케이션(gamification) 원리를 접목시키기도 했죠.

가상 현실이 풀어야 할 숙제
VR은 생산성 관점에서 다양한 가능성을 보여주고 있지만, 제한된 HMD 기기 이동성과 호환성, 비싼 가격, VR 멀미 등 아직 풀어야 할 과제들이 남아있어요. 그럼에도 불구하고 지속적인 연구를 통해 사용자의 불편함을 개선한다면 앞으로 보다 큰 가능성을 보여줄 것으로 기대되고 있답니다🎇.