LLM Day 17 - Hallucination

Soyee Sung·2025년 2월 28일
0

LLM

목록 보기
21/34

인공지능(AI) 기술이 발전함에 따라, AI 시스템이 실제로 존재하지 않거나 사실이 아닌 정보를 마치 사실인 것처럼 생성하는 '환각 현상(Hallucination)'이 주목받고 있습니다. 이러한 현상은 AI의 신뢰성과 정확성에 직접적인 영향을 미치며, 특히 의료, 법률, 금융 등 정확한 정보가 필수적인 분야에서 큰 우려를 낳고 있습니다.

AI 환각 현상의 정의

AI 환각 현상은 AI 시스템, 특히 생성형 AI가 부정확하거나 무관한 정보, 또는 완전히 허구의 정보를 생성하는 현상을 의미합니다. 예를 들어, AI가 "에펠탑이 로마에 있다"와 같이 명백히 잘못된 정보를 제공하는 경우를 들 수 있습니다.

환각 현상의 유형

AI 환각 현상은 여러 가지로 분류될 수 있으며, 주요 유형은 다음과 같습니다:

외재적 환각(Extrinsic Hallucinations): 입력 데이터나 실제 세계의 지식과 전혀 관련이 없는 콘텐츠를 생성하는 경우입니다. 예를 들어, 고객 서비스 챗봇이 존재하지 않는 회사 정책을 안내하는 상황이 이에 해당합니다.

내재적 환각(Intrinsic Hallucinations): 입력된 데이터를 잘못 해석하거나 의미를 왜곡하여 생성하는 경우입니다. 예를 들어, 기계 번역 시스템이 관용구를 잘못 해석하는 상황이 이에 속합니다.

사실적 환각(Factual Hallucinations): 객관적 사실과 모순되는 정보를 생성하는 경우입니다. 예를 들어, AI가 "에펠탑이 로마에 있다"고 말하는 상황입니다.

충실성 환각(Faithfulness Hallucinations): 원본 소스나 컨텍스트와 일치하지 않는 콘텐츠를 생성하는 경우입니다. 예를 들어, 기술 보고서를 요약하면서 원본 문서에 없는 내용을 추가하는 상황입니다.

환각 현상의 원인

AI 환각 현상의 주요 원인은 다음과 같습니다:

데이터 품질 문제: AI가 부정확하거나 편향된 데이터를 학습하면 잘못된 정보를 생성할 수 있습니다.

생성 방법의 특성: AI는 입력된 데이터의 패턴을 기반으로 가장 가능성 있는 단어나 문장을 예측하는데, 이 과정에서 부정확한 정보를 생성할 수 있습니다.

불충분한 프롬프트: 사용자가 제공하는 입력이 모호하거나 불명확할 때, AI는 부정확한 추정을 시도하여 환각 현상이 발생할 수 있습니다.

환각 현상의 영향

AI 환각은 특히 정확성이 중요한 분야에서 치명적인 결과를 초래할 수 있습니다. 예를 들어, 법률 분야에서 AI가 존재하지 않는 판례를 생성하여 법원에 제출하면 심각한 법적 문제가 발생할 수 있습니다.

환각 현상의 완화 방안

AI 환각 현상을 줄이기 위한 방안으로는 다음과 같은 것들이 있습니다:

명확하고 구체적인 프롬프트 제공: 사용자가 AI에게 명확하고 구체적인 지시를 제공하면 부정확한 정보 생성을 줄일 수 있습니다.

능동적 완화 전략 적용: AI의 설정을 조정하여 부정확한 정보 생성을 줄이는 방법입니다. 예를 들어, 생성 과정에서 온도(temperature) 값을 낮추어 AI의 출력을 더 예측 가능하게 만들 수 있습니다.

검색 증강 생성(Retrieval-Augmented Generation, RAG) 활용: AI가 외부 데이터베이스에서 관련 정보를 검색하여 응답의 정확성을 높이는 방법입니다.

지식 그래프와의 통합: AI를 지식 그래프와 통합하여 사실 검증을 강화하고, 부정확한 정보 생성을 줄일 수 있습니다.

AI 환각 현상은 현재 AI 기술의 한계 중 하나로, 이를 완화하기 위한 지속적인 연구와 노력이 필요합니다. 사용자는 AI의 출력을 맹신하기보다는 비판적으로 검토하고, 중요한 결정에는 인간의 판단을 병행하는 것이 바람직합니다.

0개의 댓글