LLM 응용과 한계점

1. LLM 응용 사례

1.1. LLM Agent

• LLM을 활용한 계획 수립 및 도구 사용 시스템
• 주요 기능
  • 요청 처리를 위한 계획 수립
  • 상황별 적절한 도구 활용
  • 대화 기록과 관련 정보 참조
• 실제 예시: "2022년 GDP 기준 남북한 경제력 비교" 태스크
  • 인터넷 검색과 계산기 도구 활용
  • 결과값 도출 ("남한은 북한보다 55배")

1.2. Visual ChatGPT

• 텍스트와 이미지를 함께 다루는 상호작용 시스템
• 구성 요소
  • ChatGPT: 작업 계획 및 가이드라인 제시
  • Visual Foundation Models (VFM): 이미지 처리 담당
• 작동 과정
  1. Prompt Manager를 통한 VFM 특징 전달
  2. ChatGPT의 계획 수립
  3. 필요시 VFM 활용한 중간 결과물 생성
  4. 최종 결과 출력

1.3. JARVIS

• HuggingFace의 AI 모델들을 언어로 연결하는 시스템
• 진행 단계
  1. Task Planning: 사용자 의도 파악 및 세부 태스크 분할
  2. Model Selection: HuggingFace에서 적합한 모델 선택
  3. Task Execution: 모델 실행 및 결과 수집
  4. Response Generation: 최종 응답 생성
• 실제 예시: 이미지 생성 및 설명 태스크
  • 자세 인식 → 이미지 변환 → 객체 인식 → 텍스트 변환 → 음성 생성

1.4. LLM-Planner

• 로봇 제어를 위한 LLM 기반 계획 시스템
• Prompt 구성 요소
  1. 기본 지침
  2. 가능한 Action 목록
  3. 유사 예제(In-context example)
  4. 현재 상태 정보(과제 설명, 완료된 계획, 관찰 가능한 객체)

2. LLM의 주요 한계점

2.1. Hallucination (환각)

• 존재하지 않는 정보를 사실처럼 제시하는 현상

2.2. Toxicity (유해성)

• 부적절하거나 유해한 내용을 생성하는 문제

2.3. Bias (편향성)

• 성별, 국적, 인종, 장애 등에 대한 편향된 응답 생성
• 학습 데이터의 편향성이 주요 원인

2.4. Privacy Invasion (개인정보 침해)

• 학습 데이터에 포함된 개인정보 노출 위험

2.5. Outdated Information (구식 정보)

• 고정된 학습 데이터로 인한 최신 정보 반영 불가
• 시간 경과에 따른 정보 정확도 저하

LLM Planning 관련 주요 고려사항

데이터 규모에 따른 접근법 선택

• 충분한 데이터(10k+) 존재: 지도학습 방법론 검토
• 데이터 부족 상황: LLM 활용 고려
• Fine-tuning 필요 데이터량: 최소 1k

LLM의 효과적 활용 조건

• 자연어 형태의 데이터 처리
• Out-of-Distribution 상황 대응
• 코드 데이터 학습된 모델의 우수성
• Fine-tuning된 모델의 성능 우위