[Module3] ML개론 PART3 최근 LLM

Part3. Recent Progress of Large Language Models

 

GPT-3

• OpenAI 사의 third-generation Generative Pretained Transformer
• 처음 생성 당시 1750억 Parameter로 이루어진 Model → 초거대 언어모델
• GPT-3 이전에는 모든 연구 결과를 공개하였으나 GPT-3부터는 Source Code를 공개하지 않음 

 

InstructGPT

 

GPT-3와 InstructGPT의 가장 큰 차이점은 모델에게 직접적으로 지시할 수 있냐 없냐

 

 

GPT-3에서 InstructGPT로 재학습

GPT-3 모델은 InstructGPT 모델로 만들기 위해 RLHF(reinforcement learning with human feedback) 적용

 

 

 

지시문을 따라 결과를 완성하는 초기 모델 완성

→ 사람의 feedback을 모사하는 reward model  확보

→ 초기 모델이 사람이 더 선호하는 결과를 추론하도록 강화학습 진행 

 

GPT-4

• multimodal language model
• 이미지, 텍스트 입력을 받고 텍스트 결과를 낸다
• 2023년 3월 14일에 발표
• Bing과 같은 Microsoft의 상품에 쓰이는 중 
• 예전에는 디테일 발표했는데 이제는 연구에서 상품이 되어서 기술적 디테일을 공개하지 않음 
• GPT-3.5 같은 경우에는 4096개의 토큰을 기반으로 해서 Output을 내다보니 그전에 사용자와 대화한 것을 잊는 것, GPT-4의 경우 32768개의 토큰까지 됨(Context Length가 빠르게 증가함을 알 수 있다)
• GPT-3.5는 하위 10% → GPT-4.0 상위 10%

• Multilinguality가 요즘 가장 포인트, 한국어도 빠르게 발전하고 있음