선대인경제연구소 박태웅 의장 인공지능 혁명 youtube (LLM, transformer, multi-modal) 할루시네이션은 없앨 수 없다. LLM으로 논문 읽기

원 영상

https://www.youtube.com/watch?v=vQF3E-Rmbz4

이 무슨 갑분 영상 회고냐 하면,
매주 있는 주간 회의 때 팀장님이 보여주신
클로드를 사용해서 논문 읽기 방법을 알려줌과 동시에
한번 보면 좋을 것 같아서 추천해주신 영상이라
한 번 진지하게 봤다.

사실 ai engineer 랍시고 gpt 불러서 agent 만들고 깔짝깔짝 테스트 하고 프롬프트 수정하고 좋다는 논문 정리하고 기계처럼 있다가 인사이트 찾는 노력은 사실 안했던 것 같다.
암튼 갑자기 영상을 보다가 왜 글을 쓰게 되었냐 하면
'트랜스포머'를 사용하는 이상 거대 언어 모델의 할루시네이션(Hallucination)을 피할 수 없다는 것이다.
또한 이 할루시네이션은 '버그'가 아니고 '특성' 이라는 것이다.

트랜스포머에는 반드시 할루시네이션이 있을 수 밖에 없다?

1. 확률적 생성 방식

• 트랜스포머 기반 모델(예: GPT 계열)은 다음 단어를 확률적으로 예측하는 방식으로 동작한다. 즉, 확률적 생성 방식 으로 훈련 데이터에 없는 새로운 정보를 창작해낼 가능성이 항상 존재한다.

2. 정확성보다 유창성 우선

• 트랜스포머 모델은 문장을 자연스럽고 유창하게 만드는 데 최적화되어 있다. 정확한 사실을 기반으로 생성하는 것이 아니라, 문맥상 가장 적절해 보이는 단어를 예측하므로 근거 없는 내용을 만들어 낼 수 있다.

3. 사실 검증 과정 부재

• 인간은 정보를 생성하면서 팩트체크를 하지만, 트랜스포머 모델은 그런 과정을 거치지 않는다. 단순히 확률적으로 그럴듯한 문장을 만들어내고 그것이 진실인지 아닌지는 판단하지 않는다.

4. 지식의 불완전성

• 모델이 학습한 데이터는 특정 시점까지의 정보이며 최신 정보나 훈련되지 않은 데이터를 알지 못한다. 그럼에도 불구하고 질문에 답을 해야하니 그럴듯한 거짓 정보를 만들어낼 수 밖에 없다.

5. 프롬프트 의존성

• 사용자가 어떻게 질문을 하느냐에 따라 모델의 응답이 달라질 수 있다. 예를 들어 단정적인 질문을 하면(예: OOO은 사실인가요?) 모델이 단언적으로 답을 생성하는 경향이 있어 할루시네이션이 더 쉽게 발생한다.

그렇다면 대안은?

할루시네이션을 줄이기 위해서는 몇 가지 전략을 사용할 수 있다.

1. 출처 기반 응답

• 모델이 참고할 수 있는 외부 데이터베이스나 검색 기능을 추가하여 최신 정보와 사실 기반 응답을 강화한다. (검색 증강 생성 RAG나 검색엔진 퍼플렉시티 이용)

2. 확률값 활용

• 응답의 신뢰도를 평가해서 불확실성이 높은 답변에 경고 표시

3. 사용자 피드백 반영

• 부정확한 정보를 사용자 피드백을 통해 수정하는 시스템 구축

4. 프롬프트 엔지니어링

• 출처를 기반으로 답변해 주세요. 같이 정확성을 높이는 방ㅂ식으로 질문을 작성한다.

여기서 중요한 점은 할루시네이션은 완전히 없앨 수 없다.
하지만 최소화할 수는 있다는 것이다.

아무튼 논문 효율적으로 읽는 법 보다가 재밌어서 호로록 봤네.
AGI를 바라보는 거나 AI 규제화를 위한 로비가 총기 로비 금액보다 더 넘었다는 거나 슈퍼 엘리트들이 AI를 좌지우지 하고 있다는 거나 정부효율화나 기술의 진보가 사회 문제를 해결할거다. 즉 인류를 해방시킬 거라는 가속주의(accelerationism)도 알게 됐다.
AI 규제가 외교의 부분이다. 라는 부분도 알게 됨
미디어의 초창기에만 할 수 있는 부분이 있듯이 AI 초창기에만 할 수 있는 일이 있다.