0. Intro
요즘 ChatGPT가 유행하고 있다! 또한 GPT를 이용한 재밌고 신기한 기술들이 정말 많이 발표되고 있다. 여러 분야의 상담 서비스를 위한 챗봇, Copilot, AutoGPT, k8sgpt, ChatGPT Plugin까지... (성경을 학습한 BibleGPT도 있었다...!)
ChatGPT와 Copilot은 안 쓴 날이 없을 정도로 자주 사용하고 있다. 그리고 GPT를 더 잘 이용하기 위해 프롬프트 엔지니어링에 대해서도 공부도 하고 링크드인 스타의 글이나 추천받은 기사들을 관심있게 보는 중이다.
그러던 중 AI 분야 스타가 많다는 Upstage 기업에서 '모두를 위한 ChatGPT UP!' 온라인 워크샵을 오픈한다는 링크드인 글을 발견했다! 그리고... 그 글을 보자 마자 바로 99000원 결제해서 신청했다. 활석 님이 사내에서도 직접 강의했다고 하셨는데, 그 내용을 조금 엿볼 수 있지 않을까...?
참고 링크: Upstage 모두를 위한 ChatGPT UP!
오늘 1회 일부 뿐이지만, 역시나 워크샵은 너무 재미있었고 이건 링크드인에 짧게 쓰기 아깝다는 생각에 이 리뷰 글을 쓰게 됐다.
1. LLM/ChatGPT의 큰 그림 이해하기
맨 처음은 이활석 님이 기계 학습 부터 딥러닝, LLM 모델이 나오기 전까지 과정에 대해 설명해주셨다. 이전에 공부했던 내용들이라 정말 쉽게 느껴졌다. 물론, 활석 님이 간단한 예시와 함께 정말 쉽게 설명해주신 덕도 있을 것이다.
GPT에 대한 글이니... ChatGPT를 이용해서 강의 글을 요약해보면 다음과 같다!
- Rule-based programming: 사람이 직접 특징과 분류 기준을 정하는 방식입니다. 예를 들어, IF-THEN 규칙을 사용하여 입력과 조건에 따라 출력을 결정합니다. 이 방식은 사람의 지식과 경험에 의존하며, 특정 문제 도메인에 적합한 규칙을 개발해야 합니다.
- Hand-designed feature-based machine learning: 사람이 특징을 찾고, 기계가 분류 기준을 학습하는 방식입니다. 사람은 도메인 지식과 경험을 활용하여 입력 데이터로부터 유용한 특징을 추출하고, 기계 학습 알고리즘이 이러한 특징을 기반으로 분류 모델을 학습합니다.
- Deep Learning: 기계가 특징과 분류 기준을 모두 학습하는 방식입니다. 인공 신경망을 사용하여 입력 데이터로부터 특징을 추출하고, 이러한 특징을 사용하여 복잡한 패턴을 학습하는 기법입니다. 예를 들어, Convolutional Neural Networks (CNN)은 이미지 처리에 효과적이며, Recurrent Neural Networks (RNN)은 순차적인 데이터 처리에 적합합니다.
- Pre-training & Fine-tuning: 사전 학습과 세부 조정 과정을 통해 모델을 구축하는 방식입니다. 먼저, 대규모 데이터로 사전 학습된 모델을 사용하여 다양한 특징을 학습합니다. 그런 다음, 실제 작업에 맞게 모델을 세부 조정하여 최적화합니다. 이 방식은 사전 학습된 모델의 일반화 능력을 활용하면서 작업에 특화된 모델을 개발할 수 있도록 도움을 줍니다.
2-1. GPT 시리즈
다음은 박은정 님이 GPT 시리즈에 대해 설명해주셨다.
GPT를 만드는 데에 OpenAI의 Alec Radford, Ilya Sutskever가 큰 기여를 하였으며, GPT는 Transformer 아키텍처를 이용한 Big Model이다(LLM이라고도 하는 것 같다). 가장 흥미로웠던 점은 모델이 커지고 학습 데이터가 많아질 수록 "Emergence!"(예상치 못한 사이드 이펙트라고 이해했다)라는 효과를 얻을 수 있다는 것이다! 더 재밌는 건(가설이긴 하지만), GPT가 사고를 할 수 있다는 것이다!
“언어에 인류의 지식이 녹아들어있다면, 그리고 지식은 곧 사고와도 연결이 된다면 이는 언어 모델의 핵심이 되는 게 아닐까?”
...
Outro.
위와 같이 머신 러닝, 딥러닝, GPT-3까지에 대한 내용을 배울 수 있었다. ChatGPT 생태계, 학습 데이터, 프롬프트 등 그 이후의 내용도 있지만, 중간에 강의가 끊기는 바람에 이후의 내용은 아쉽게도 듣지 못했다 ㅠ 5일 내에 다시 보기 영상이 패스트 캠퍼스에 업로드 된다니 그 때 이어서 작성해야겠다.
...
+) 본 후기 글과 관련없지만 좋은 GPT 및 프롬프트 관련 좋은 강의, 자료가 있어서 공유한다.
- Prompt Engineering Guide: https://www.promptingguide.ai/techniques/fewshot
- DeepLearning.AI 강의 "ChatGPT Prompt Engineering for Developers": https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/
- AIFactory 주관, 챗GPT 러닝데이: https://aifactory.space/page/aifactory/learning
