Today I Learned

오늘은 면접 준비에 준비했었던 AI 관련 이슈들을 매번 찾기 번거로워 정리하고 다시 머리에 새겨넣는 작업을 했다.

생성형 AI

새로운 데이터나 콘텐츠를 생성하는 데 사용되는 AI 기술

이미지 출처 : free-walkers

• 주어진 입력 데이터나 지시에 대해 새로운 내용을 생성하거나 변형할 수 있다.

• 딥러닝 및 자연어 처리 기술을 기반으로 한다.

• 새로운 아이디어나 창의적인 콘텐츠를 자동으로 생성할 수 있는게 가장 큰 장점

• 할루시네이션 문제나 저작권 이슈, 인종차별, 사생활 침해 등 윤리적인 문제가 있다.

언어 생성 모델(Language Model)

텍스트를 생성하는 데 사용되는 인공지능 모델

• 최근에는 대규모 데이터셋을 활용한 사전학습이 강조되는 모델들이 주목받는다.
  대표적인 것이 GPT.

• 언어의 문맥을 이해하고 주어진 문장 또는 문맥에 기반해 다음에 오는 단어나 문장을 예측하고 생성할 수 있다. 웹에서 수집한 다양한 텍스트 데이터를 사용해 언어의 구조, 문법, 의미를 학습한다.
  학습한 데이터를 기반으로 다음 단어의 확률 분포를 계산하고 확률이 가장 높은 단어를 선택해 문장을 생성한다.

• 트렌스포머라는 신경망 아키텍처를 기반으로 한다. Attention Mechanism을 사용해 문장 내 단어간의 관계를 이해하고 기억한다.

• 대규모 텍스트 데이터를 통한 사전 학습 후에도 특정 작업에 특화된 세부사항을 학습하도록 파인 튜닝을 실행할 수 있다. 이로서 특정 도메인이나 작업에 더 잘 적응할 수 있다.

LLM vs sLLM

• LLM은 매개변수가 수천억개인 언어모델로 컴퓨팅 자원이 많이 소모되어 비용이 많이 들지만 매개변수가 많아 범용적인 활용이 가능하다.

• sLLM은 매개변수가 수십억개 수준인 언어모델로 비용이 저렴하며, 파인 튜닝으로 유연하게 도메인 목적에 맞는 설계가 가능하다. 하지만 파라미터 자체가 적기 때문에 원하는 작업에 충분히 연산 능력이 미치지 못하거나 아니면 학습했던 내용을 뒤의 다른 내용이 덮어써버리는 문제가 있을 수 있다.