LLM 기술

우리팀이 생각한 프로젝트는 AI 기반 면접 서비스 이기 때문에 AI가 필요하다.
사용자가 이력서를 등록을 하면 AI가 등록한 이력서를 읽고 알맞은 질문을 생성한다.
질문을 생성하기 위해서 LLM 기술을 도입하기로했다.

LLM 기술은 신기술로 많은 기업에서도 많이 쓰인다. 아주 다양한 LLM 모델이 있지만, AWS의 비용 지원을 받기 때문에 LLM은 AWS 에서 고려 하기로 하였다.

### LLM = Large Language Model (대규모 언어 모델)
- 인간 처럼 문장(자연어)의 **의미, 맥락, 패턴**을 파악
- 엄청난 데이터로 학습된 AI 모델



### LLM이 할 수 있는 일

1. 요약 :  긴 문서 → 핵심 요약
2. 질문 응답 
3. 대화: 사람처럼 채팅가능
4. 글쓰기
5. 코드 생성
6. 번역
7. 역할 수행 → 면접관,강사,코치 등등 역할 수행
등등


### 대표적인 LLM의 종류

> ```
GPT-3, GPT-4 : 가장 널리 쓰이는 LLM
Claude : 윤리와 대화 품질에 초점
Gemini : 검색과 통합
LLaMA : 오픈소스 중심
Mistral, Falcon : 경량화 + 오픈소스

사용이유

AI의 LLM 라고 한다면 GPT가 정말 유명하다. 하지만 전체적인 서비스가 AWS 환경 
위에서 운영 되기 때문에 LLM도 AWS에서 사용하면 통합 관리가 편하다라는 장점이 있었다. 
또한 외부 API 호출보다 네트워크 안정성이 높다. 
API 호출 → 응답 지연 및 네트워크 이슈 가능성이 높을것이라고 판단하였다.

LLM의 다양한 모델 (AI면접 서비스 기준)

특징과 적합성을 비교해 보았다.

모델	특징	추천도	단점
Claude 3.5 (Anthropic)	매우 뛰어난 품질, 정밀한 응답	❌ 너무 고성능/고비용	비쌈
Claude 3 Haiku	빠르고 저렴한 버전, 품질 양호	✅ 매우 적합	가장 적합함
OpenAI GPT-3.5 Turbo	실시간 응답 + 비용 저렴	✅ 매우 적합	응답이 기계적, 감정표현 떨어짐
Mistral 7B / Mixtral	오픈소스, 경량화 모델	✅ 자체 호스팅 시 유리	운영 인프라 부담 큼, API형 서비스에는 부적합 (직접 운영 필요)
LLaMA 3 (8B)	Meta의 고품질 오픈소스	✅ 기업 내 구축 시 적합	GPU 환경 필수, 운영 인프라 부담 큼
Gemini 1.5 Flash (Google)	속도+비용 최적화, 일부 과업에 강함	✅ 면접 질문 자동화에 유용	응답의 논리성 떨어짐, API 불안정
Cohere Command R+	RAG 최적화, 문서 기반 QA 강함	🔄 문서 연동형 면접에 적합	RAG에 특화

적합모델 비교(최종판단)

항목	Claude 3 Haiku	GPT-3.5 Turbo
출시	2024.03	2023.03
가격 (1K 입력/출력 token)	$0.25 / $0.25	$0.50 / $1.50
응답 속도	빠름 (하위 1%)	빠름 (상위 10%)
품질	자연스러운 응답 + 감정 포함 가능	논리적 문장 구성 강점
API 안정성	Anthropic API (점유율 낮음)	OpenAI API (점유율 압도적)
Fine-tune	❌ 불가 (현재)	✅ OpenAI finetuning 지원
기업 도입률	낮음 (신생 기업)	매우 높음 (표준처럼 사용됨)

💡 참고 => Fine-tune 이란?

사전 학습된 LLM 모델에 ‘특화된 데이터’를 추가 학습시켜, 
특정 상황에 더 잘 맞는 답을 생성하게 만드는 방법

최종 판단

Claude 3 Haiku

1. 가격 ⇒ GPT-3.5에 비해 5배 저렴하다.
2. 속도 ⇒ 하위 1% 수준의 응답 지연 (≈ 400ms), 실시간 응답형 서비스에 적합 (엄청 빠름)
3. 대화의 자연스러움 ⇒ 공감형, 감정 표현, 인격적 대화 품질이 매우 우수
4. 기본 지식 ⇒ GPT-3.5와 거의 동등 수준의 정보 인지 가능 (2023년 중반까지 커버됨)
   1. https://github.com/HaoooWang/llm-knowledge-cutoff-dates?utm_source=chatgpt.com
5. 단순 API 사용 ⇒ 복잡한 설정 없이 바로 사용 가능 (Bedrock or Anthropic API)

Anthropic의 공식 문서

Claude 3 Haiku와 GPT-3.5 Turbo 비교

Claude 3 의 모델들 비교

종합 평가

• 비용 효율성: Claude 3 Haiku는 입력 및 출력 토큰 비용 모두에서 GPT-3.5 Turbo보다 저렴하다.
• 성능: MMLU 및 HellaSwag 벤치마크에서 Claude 3 Haiku가 GPT-3.5 Turbo보다 높은 점수를 기록
• 기능성: 더 큰 컨텍스트 창과 멀티모달 지원 등에서 Claude 3 Haiku가 우위에 있다