ChatGPT 와 Goal 설정

Ingu Kang·2022년 12월 13일
0

ChatGPT 와 Text Generation

GPT3.5 의 등장과 함께 ChatGPT와 같은 LLM을 쉽고 빠르게 접할 수 있는 서비스가 등장하며 언어 모델에서의 Generative AI 의 수준이 눈에 띄게 발전했음을 알 수 있다. 기존의 NLP 에서 텍스트 기반 모델들의 주요 쓰임새는 Sentiment Classification, Summarization, 유사도 측정, Machine Translation 등의 크게 보면 많은 자료량의 데이터를 압축하거나 변형하는 과정 (분류, 요약 등) 이었다면 ChatGPT의 등장은 그런 방향성의 변화를 대중적으로 체감하게 해준 계기라고 생각된다.
Text Generation이라고 하면 물론 종래에도 기사문 및 소설과 같은 장문의 창작이나 챗봇모델에 응용 되어오고 있었지만 Image Generation에서 그러하듯 조금만 들여다보면 그 성능의 한계를 느끼곤 했던 분야이다.
쉽게 말해 "그럴싸" 하지만 상용화에는 애매한 연구결과로써의 의미로만 그 의의를 갖는 느낌이었다.
앞서 말했듯, 흔히 알고 있는 대부분의 NLP Task는 많은 양의 자료량 혹은 많지 않아도 처리하기 힘든(외국어) 자료의 처리가 주였다면 Text Generation은 그와는 전혀 다른 하나만 알려줘도 열을 만드는 작업인 것이다.
어떠한 목적성도 지니지 않은 셀 수 없는 양의 단어들 간의 확률분포적 관계를 벡터 정보로 가지고 있는 언어모델은 그 규모가 기하급수적으로 커지면서 목적성은 없지만 "유의미한" 결과물을 만들어 내기 시작한 것이다.

ChatGPT에 대한 소감

ChatGPT를 잠깐이나마 써보며 놀랐던 점은 다음과 같다.

  • 대화의 맥락 정보 유지
  • 알 수 없거나 애매한 질문에 대한 응답
  • 코드 제너레이션
  • 같은 질문에도 새로운 스레드마다 다른 대답



(온전치 않은 내 영어 실력에도 불구하고 꽤나 훌륭한 성능으로 대답을 해주고 있다.)
위 질답에서 알 수 있듯, 사전에 내가 제공한 정보가 최대한 활용된 대답을 제공하고 있다.
그리고 자체적으로 해결할 수 없는 질문(개인적이거나 모호) 혹은 최신데이터가 필요한(내일의 나스닥 지수 예견 같은) 경우를 "판별" 할 수 있고 그에 따른 한계점을 명시한다.
또 다른 놀랄 점은 코드 작성 혹은 일종의 튜토리얼 기능인데, 기본적인 sorting 알고리즘, design pattern등에 대한 자세한 설명과 사용법부터 여러 언어나 프레임웍에 관련된 코드도 제공해 준다는 것이다.
프로그래밍을 익히면서 가장 에너지 소모가 큰 부분은 문제 해결에 필요한 "질문" 을 떠올리는 과정과 그 질문에 대한 대답을 얻기 위한 키워드를 찾는 과정이라고 생각한다.
그렇기 때문에 보통은 원하는 대답을 얻기 위한 적절한 쿼리를(이를테면 비개발자가 동작오류 원인을 찾는다면 "~가 안돼요" 라는 식으로 질문할 때 개발자라면 그냥 에러메세지 로그를 찾아내 구글링 하는 것처럼) 익히거나 찾아내는 데 들어가는 비용이 상당하다.
하지만 이처럼 자연어를 최대한 유의미한 쿼리로 전환 후 정보를 제공해 준다면 어떤 분야든 진입장벽을 낮추고 정보를 취득하는 데 있어 그 부담이 현격히 줄어들 것이다.

그래서 뭐?

늘 그렇듯 남는 질문은 그래서 어쩌라는 것이다.

단적인 지표이지만 AI 관련 연구는 해가 거듭될수록 보다시피 기하 급수적으로 활발해지고 실제로 체감하고 있다.
ChatGPT는 물론 놀랍고 조금은 무서워질정도의 성과이다. 하지만 이는 패러다임 변화의 과정에서 보이는 작은 현상이고 생각하지 못한 수준의 모델 성능 발전속도는 생각해본적 없는 니즈와 그에 따른 태스크들을 낳을 것이다.
그렇기 때문에 오늘의 프로젝트 골은 내년엔 무의미해 질 수도 있고, 언제든 피봇할 준비가 필요할 수도 있다.

profile
Currently into NLP

0개의 댓글