LLM: 기초 정리

Ohback·2025년 2월 28일

SK 네트웍스 Family AI camp

목록 보기

36/73

1. LLM 이란?

LLM(Large Language Model, 대형 언어 모델)은 딥러닝과 자연어 처리(NLP)의 발전으로 탄생한 인공지능 모델이다. 기존의 NLP 모델은 사전 정의된 규칙 기반 시스템이나 비교적 작은 데이터셋을 활용한 통계적 기법에 의존했지만, 이러한 방법은 확장성과 유연성에서 한계를 보였다.
2017년 Google이 발표한 "Attention Is All You Need" 논문에서 트랜스포머(Transformer) 아키텍처가 등장하며(RNN → LSTM → Transformer 구조로 발전) NLP의 판도를 바꾸었다. 이후, 대량의 데이터와 강력한 GPU/TPU 연산 능력을 활용하여 점점 더 크고 강력한 언어 모델이 개발되었다.
현재 LLM은 자연어 이해, 생성, 번역, 코딩, 음성 인식 등 다양한 분야에서 활용되고 있다.

2. 주요 LLM 모델

모델명	개발사	특징
GPT-3	OpenAI	175B(1750억) 매개변수, 텍스트 생성 능력 강함
GPT-4	OpenAI	멀티모달(텍스트+이미지), 논리적 사고력 강화
Gemini	Google DeepMind	멀티모달 AI, Bard 후속작
Claude	Anthropic	안전성과 윤리적 대응 강화
LLaMA 2	Meta	오픈소스 기반, 경량화된 LLM
Mistral	Mistral AI	효율적인 성능과 빠른 속도

3. LLM의 활용 사례

텍스트 생성
코딩 보조
고객 응대: 챗봇 시스템
교육 보조
과학 논문 요약
법률 문서 분석
의료 상담 보조

4. LLM의 장단점

4-1. 장점

강력한 자연어 이해 및 생성
문장 생성, 번역, 요약, 질의응답 등 다양한 언어 관련 작업 수행 가능
대규모 학습 데이터 기반
인터넷에서 수집한 대량의 텍스트 데이터로 학습하여 방대한 지식 보유
다양한 활용 가능성
챗봇, 코딩 보조, 콘텐츠 생성, 교육, 연구 등 광범위한 분야에 적용 가능
적응성 & 확장성
특정 도메인(의료, 법률, 금융 등)에 맞게 미세 조정(Fine-tuning) 가능

4-2. 단점

할루시네이션(Hallucination)
존재하지 않는 정보를 마치 사실인 것처럼 생성하는 문제 발생
예: 역사적 사실 오류, 잘못된 논리 구성
높은 연산 비용 & 환경 부담
학습과 추론에 막대한 GPU/TPU 리소스 필요
전력 소모가 크며, 환경적인 부담 증가
데이터 편향(Bias) 문제
학습 데이터에 존재하는 인종, 성별, 정치적 편향 등이 모델에 반영될 가능성
실시간 정보 부족
최신 뉴스나 동적인 정보는 학습된 데이터 이후의 정보가 반영되지 않음
단, Web 검색 연동 기능으로 일부 해결 가능

5. 할루시네이션(Hallucination)

5-1. 할루시네이션이란?

LLM이 잘못된 정보를 사실처럼 만들어내는 현상. 사람의 "착각"과 유사한 개념으로, AI가 논리적으로 타당해 보이지만 실제로는 틀린 답변을 제공하는 경우를 의미한다.

5-2. 할루시네이션 발생 원인

훈련 데이터의 한계
특정 정보가 학습되지 않았거나 부족할 경우, 유사한 데이터를 기반으로 추론하여 틀린 정보를 생성
확률적 생성 방식
LLM은 다음 단어를 예측하는 방식으로 작동하기 때문에, 논리적으로 완전하지 않은 문장을 생성할 가능성이 있음
데이터 편향 & 왜곡
편향된 데이터셋을 학습하면 특정 주제에 대해 편향된 답변을 생성할 위험

5-3. 할루시네이션 예시

유형	설명	예시
사실 왜곡	존재하지 않는 정보를 생성	세종대왕 맥북 프로 던짐 사건
논리 오류	문맥상 논리적 오류 포함	"달에서 인터넷이 연결되면 더 빠를 것이다"
출처 없는 정보	근거 없이 주장하는 정보	"과학적으로 입증된 사실입니다" (출처 없음)