🔎 Overview

  최근 데브코스 단기 심화 과정을 수료하며 여러 새로운 기술들과 개념들을 학습하고 있다. 약 한 달 여의 기간 동안 카프카를 비롯해 DDD(헥사고날 아키텍쳐) 와 MSA, 스프링 배치, 엘라스틱 서치 등의 개념들을 배우고 실습을 진행했다.

  현재는 이러한 기술들을 적용한 새로운 프로젝트를 진행하고 있으며, 필자는 현재 이 중 카프카, 엘라스틱 서치를 사용하고 있다. 이후 MS 분리 및 헥사고날 아키텍쳐로 마이그레이션을 진행할 예정이다.

  1차 스프린트가 종료되고 새로운 개념을 추가로 배웠는데, 해당 내용이 바로 AI 및 LLM과 RAG에 관한 내용이다. 이 지식들을 기반으로 프로젝트에 AI 기능을 추가해나갈 예정이다.

  원할하게 프로그램에에 해당 기능을 추가하기 위해서는 당연히, 적용하려는 AI에 대한 개념이 확실하게 잡혀있어야 한다. 강의를 통해 배운 내용을 토대로, 해당 개념을 정리해두기로 결정했다.

🤖 인공 지능

---

1. 약 인공지능

• 특정한 작업을 수행할 수 있도록 설계되어 있는 AI
• ChatGPT, 스팸 필터링, 얼굴 인식, 체스 바둑 등
• 범위를 벗어나면 작업 수행 불가능

2. 강 인공지능

• 사람이 가질 수 있는 지능, 지성 등을 컴퓨터의 정보처리 능력으로 구현한 시스템
  • 사람처럼 다양한 범위의 문제를 해결할 수 있는 범용 AI
• 아직 구현되지 않은 기술
  • 현재는 이론적으로만 존재
  • 아직 연구 단계

🪧 AI의 작동 방식

---

1. 규칙 기반 AI

• 사람이 명시적으로 정의한 규칙에 따라 작동하는 AI
  • ex) 나이에 따른 할인 적용
• 예측 가능한 범위 내에서 명확하고 정확한 결과 제공
  • 예측을 범어난 경우, 이러한 것들이 어려움

2. 학습 기반 AI

• 데이터로부터 스스로 학습하는 AI
  • 패턴을 찾아냄
  • ex) ChatGPT 같은 생성형 AI
• 굉장히 많은 데이터를 필요로 하며, 이를 처리하고 학습해야 하기 때문에 물리적인 리소스 많이 사용

3. 머신 러닝

• 데이터에서 패턴을 학습하여 명시적 규칙 없이 스스로 예측/분류 등을 수행하는 모델
• 텍스트 분류, 이미지 분류, 예측 모델, 추천 시스템 등 다양한 패턴 학습 문제를 해결
  • ex) 키워드 추출
    • 정해진 패턴에 따라 키워드를 추출
  • 결과를 나열
    • 정보를 전달해주기만 함

4. 생성형 AI

• 질문에 대한 대답을 넘어서서 맥락을 이해하고 부연 설명을 추가
  • 머신 러닝 중에서도 새로운 데이터를 생성하는 모델에 속하는 분야

5. 정통적 AI vs 생성형 AI

1️⃣ 정통적 AI

• 분석을 통해 일어날 일을 예측
• 특정 작업을 위해서 훈련이 되어있으므로, 그 작업에 대한 수행만 가능
  • 다른 작업을 위해서는 반드시 해당 작업에 대한 훈련이 다시 필요
• 입력 구조가 고정
  • ex) 정형화된 데이터, 특정 포맷의 이미지
  • 자연어처럼 자유로운 입력을 직접 다루는 건 불가능

2️⃣ 생성형 AI

• 존재하지 않는 텍스트, 이미지 등을 생성 가능
• 하나의 모델만으로 질문, 답변, 요약, 답변, 코드 생성 등 다양한 작업 가능
• 자연어로 구성된 문장만으로 작업을 수행 가능

🦖 LLM(Large Language Model)

---

1. LLM의 기본 원리

• 대규모 언어 모델
• 학습에 사용한 데이터의 패턴, 통계적 관계를 바탕으로 다음 단어를 예측
• 크게 2가지의 학습 단계로 구분
  • 그 외 다양한 단계들도 존재
• 하나의 문장을 여러 개의 토큰으로 분리 (토크나이징)
  • 각각의 토큰은 고유한 ID로 변환
• Attention Mechanism → 어떤 문장이 주어졌을 때 토큰 간 관계를 파악하여 문맥을 파악
• Temperature 값이 낮으면 토큰 다음 값이 확률이 낮으면 포함하지 않고, 높으면 토큰 다음 값의 확률이 낮아도 포함
  • ex) OpenAI Default → 0.8
• 확률을 통한 대답 생성을 수행

2. LLM의 학습 단계

1️⃣ 사전 학습

• 웹 페이지, 논문,공개된 코드 등 텍스트 데이터 활용
• 다음 데이터 예측 과제 제공
• 많은 컴퓨팅 자원 필요
• 모델이 커질수록 원천 데이터 양도 증가
• 데이터 중에는 부정확한 정보도 포함
• 데이터 규모가 커지면서 오류가 포함될 가능성 또한 존재

2️⃣ 미세 조정

• 사전 학습 이후 다시 한 번 학습시키는 과정
  • 강화 학습 (RLHF - Reignforcement Learning Human Feedback) 이후 이를 반영해 미세 조정

3. LLM의 구조적 한계

• LLM은 정확한 정보를 저장하고 검색하지 않고, 통계적으로 가장 그럴듯한 문장을 만들어내는 시스템
• 좋은 성능과 동시에 근본적인 한계점 존재
• 이를 환각(Hallucination) 효과라고 함

👁️ 환각(Hallucination)

---

1. 환각(Hallucination)

• LLM이 사실이 아닌 정보를 마치 사실인 양 자신있게 포함시키는 것
  • LLM은 질문을 받으면 항상 무언가를 생성
  • 학습했던 패턴을 조합하여 그럴듯한 대답을 생성
  • 하지만 사실 여부를 판단하지는 않으므로 정확하지 않은 정보 포함 가능
  • 또한 LLM은 본인이 학습한 시점까지의 데이터만을 가지고 있음
• 모르는 정보의 경우, 모른다고 이야기하지 않고 아는 지식의 조합을 통해 대답을 생성
  • 이로 인해 소비자는 정확하지 않은 정보를 정확한 정보인 양 전달 받는 경우가 있음
  • 버전이 올라가면서 없는 정보는 검색을 해보기 때문에, 비교적 적은 할루시네이션 효과 발생 (아예 발생하지 않지는 않음)
• Temperature 값이 높을수록 이러한 환각 효과가 더 자주 발생
• 맥락의 제한이 존재할 경우에도 발생
  • 윈도우 길이의 한계가 있기 떄문에 이 경우 오해 발생
• 학습 데이터의 편향과 오류가 존재하기 때문에, 이로 인해 환각 발생
  • 의도적으로 왜곡된 데이터도 존재하므로 위험성 또한 존재
• 기술적인 면에서 또한 이런 할루시네이션 현상이 존재
  • 존재하지도 않는 라이브러리 임포트
  • 그 외 존재하지 않거나 Deprecated된 클래스, 메서드, 잘못된 오버라이딩 등
  • 최신 버전일 **경우 모델이 아직 학습하지 못했을** 가능성이 있으므로, 더 자주 발생
• 이러한 환각 효과는 LLM의 구조적인 영향이므로 완전히 없앨 수는 없음
  • 이를 줄여가는 것이 최선책

2. Hallucination 감소 방법

• 구체적인 프롬프트 제공

  • ex)

    Spring Boot 3.4 버전에서,
    RestTemplate 대신 WebClient를 사용하는 방법을 예제 코드와 함께 설명해줘.
    
    모르면 모른다고 대답하고, 추측하지 말고 확실한 정보만 제공해

• RAG (Retrieval Augmented Generation)
  • 검색과 생성을 결합한 접근 방법
• 적절한 Temperature 생성
  • Temperature가 높을수록 할루시네이션 효과 발생 확률 증가
  • 그러므로, 적절한 Temperature 설정이 중요
  • ex) 사실적 정보가 중요하면 Temperature 값을 감소

🔩 프롬프트 엔지니어링

---

1. 프롬프트 엔지니어링

• 프롬프트를 설계하고 최적화하는 과정
  • 프롬프트 → 원하는 결과를 얻기 위해서 입력하는 텍스트
• 이렇게 최적화한 프롬프트를 통해 원하고자 하는 보다 정확한 결과를 얻고자 하는 것

2. 프롬프트 엔지니어링의 3원칙

• 프롬프트 엔지니어링의 기본 원칙은 크게 3가지가 존재

1️⃣ 명확성

• 프롬프트를 작성할 거면 모호한 표현은 피하고 원하는 표현을 구체적으로 작성

2️⃣ 맥락 제공

• LLM이 필요한 정보와 맥락을 충분히 제공해야 함

3️⃣ 구체화

• 복잡한 작업의 경우 단계별로 나누거나 정확한 정보를 제공해야 함

3. 프롬프트 템플릿

• 미리 정의된 프롬프트에 변수를 넣을 수 있도록 만들어둔 틀
  • 이를 통해 검증된 프롬프트를 표준화
• ex1)
  

• ex2)
  

• 크게 4가지 세션으로 구성

1️⃣ System Message

• LLM의 역할 및 기본 동작 방식 정의

2️⃣ Context

• 도메인 특화 정보
• 검색된 문서의 내용

3️⃣ User Input

• 사용자 입력 세션
• 사용자의 질문 및 요청 포함

4️⃣ Instructions

• 구체적인 명령

혹은 Instructions와 Output Format을 분리 가능

4. 프롬프트 템플릿 주의사항

• 변수 주입
  • 프롬프트 인젝션을 고려
    • 프롬프트 인젝션 → 악의적인 사용자가 시스템 지시사항을 무시하거나 변경시키는 것
• 토큰 제한
  • LLM이 처리할 수 있는 토큰의 총량
  • 토큰을 제한하여 시간당 사용할 수 있는 토큰 개수 부여
  • 문장이 길수록 토큰 사용량 증가
• 템플릿 관리 (=버전 관리)
  • 프롬프트를 관리할 수 있고 변경 이력을 추적할 수 있도록 설계
  • 템플릿에 변수 지정 및 런타임 시점에 실제 값을 바인딩

🔎 RAG(Retrieval Argmented Generation)

---

1. RAG

• 검색 증강 생성 (Retrieval Argmented Generation)
  • LLM이 답변을 생성하기 전에 먼저 검색과 자료를 참고하고, 그 이후 답변을 생성
• LLM은 한계점이 존재
  • 학습 시점 데이터 활용
  • 비공개 정보 활용 불가
  • 전문 도메인 지식 부재
  • 모델 학습의 요구 비용
• 모델 자체를 재학습시키지 않고도 외부 지식을 활용할 수 있는 방법
  • 사용자 질문 → 관련 문서 및 정보 검색 → 프롬프트에 포함 → LLM에 전달
  • 이를 통해 환각 효과를 크게 감소
    • 신뢰할 수 있는 결과 제공
    • 물론 환각 효과를 완전히 없애는 것은 현재로선 불가능

2. RAG 단계도

• 준비 단계 (Indexing)
  • 임베딩을 통해 데이터를 벡터로 변환
  • 벡터는 벡터 DB에 저장
• 검색 (Retrieval)
  • 벡터 DB의 벡터와 유사한 문서를 검색
    • 유사도 검색
  • 유사도가 높은 몇 문서들을 Chunk로 가져옴
    • 생성 시의 근거 자료
• 생성 (Creation)
  • 이전의 Chunk들을 기반으로 답변을 생성

3. 벡터 저장소

• 텍스트를 임베딩 벡터로 변환하여 저장하고, 필요할 때 의미적으로 유사한 데이터를 빠르게 검색할 수 있도록 도와주는 저장소
  • 고차원 공간에 배치된 벡터 간 거리를 계산하여 의미적으로 가까운 정보 획득
  • ex) Pincone, Weaviate, Chroma
• 일바적인 RDB로는 벡터 저장을 효율적으로 하기 어려움
  • 유사도 기반으로 빠르게 검사하기 어려움

4. 청킹

• 긴 문서를 작은 조각으로 나누는 과정
  • 임베딩 모델에는 토큰 제한이 있으므로, 나눠서 처리할 필요가 있음
• 섹션 별로 나눠서 임베딩 할 시 각 세션에 구체적인 내용이 비교적 잘 드러날 수 있음
• 고정 길이 방식
  • 몇 글자마다 잘라서 청크를 나누는 방식
  • 문단이나 문장의 경계를 무시
  • 문맥상 문제가 발생할 수 있으므로, 임베딩 시 원하는 결과가 담기지 않을 확률 존재
• 문장/문단 경계 방식
  • 자연스러운 단위로 청크를 나누는 방식
  • 자연스러운 문맥을 고려하여 임베딩하므로, 비교적 정교한 결과 제공
• 청크를 일정 부분 겹치게 만들면(Overwrap), 문맥 설치 방지 가능
  • 200 ~ 500 토큰 정도 오버랩이 적당하다고 알려져는 있으나, 비즈니스마다 달라질 수 있음

💾 임베딩(Embedding)

---

1. 임베딩(Embedding)

• 텍스트 데이터를 고차원 벡터로 변환

  • 단어나 문장의 의미를 숫자로 변환
  • 벡터는 간략하게, 여러 개의 숫자로 이루어진 배열 정보

• 의미가 비슷한 단어들은 비교적 비슷한 벡터로 치환

  • 이 벡터 간의 거리를 통해 단어 간의 유사도 측정 가능

• 임베딩은 딥러닝 모델을 통해 학습

• 임베딩 추론 예시
  

• 이러한 벡터 값들을 통해 유사도 검색을 진행 가능

• 유사도 보존

  • 단어 간의 의미 관계를 벡터 공간에서 근사적으로 보존

• 문맥 의존성

  • 같은 단어도 문맥에 따라 다른 벡터를 가질 수 있음
  • ex) 과일 사과 / 잘못이라는 의미의 사과

• 다국어 지원

  • 여러 언으의 단어들을 동일한 단어로 취급 가능

• 관계 표현 능력

  • 임베딩 된 단어 간의 산술 연산이 가능
  • 이로 인한 단어들의 관계 표현도 가능

• 불변성

  • 짧든 길든, 임베딩 결과는 모델이 표현 가능한 같은 차원의 벡터로 차원의 벡터로 치환
    • 1개의 단어든 100개의 단어든 모두 동일한 차원의 벡터로 치환

• 임베딩 모델

  • 임베딩을 수행하는 모델
    • Open AI → 텍스트 임베딩 3
    • 구글 → Gecko

2. 임베딩 유사도

1️⃣ 코사인 유사도

• 두 벡터가 가리키는 방향이 얼마나 비슷한지 측정
• 스프링 AI가 Default로 사용
• 장점
  • 벡터의 크기에 영향을 받지 않고 방향만 영향을 받음
  • 짧은 단어일수록 효과적인 반영 가능

2️⃣ 유클리디안 거리

• 두 벡터 사이의 직선 거리 측정
  • 두 점 사이의 거리를 구하는 피타고라스 정리를 고차원으로 확장한 것
• 벡터 크기에 영향을 받음

3. 인덱싱

• 벡터, 원본 텍스트 및 그 메타데이터들을 벡터 저장소에 저장하는 행위

4. 스프링 AI

• 임베딩과 Vector Store 기능을 이용해 RAG 구조를 구현
• 문서 길이가 길면 토큰 길이 제한에 걸리고, 너무 없으면 유사도가 낮으므로 적절한 개수로 가져오는 것이 중요
• 가장 간단한 RAG → 챗봇