🐳 3차 단위 프로젝트

소개

• “상식 수준의 의학정보 vs 최신 의학 논문 기반 정보 비교” 챗봇 시스템이다.

• 논문은 미리 벡터DB에 저장하고, 상식(사회 통념 및 트렌드)은 위키백과에서 질의를 받으면 크롤링 하는 방식을 채택하였다.

• VectorDB: ChromaDB

• AI Model : gpt-4.1

• Embedding Model : text-embedding-3-large

• 인용 사이트
  PubMed(https://pubmed.ncbi.nlm.nih.gov/)
  Europe PMC(https://europepmc.org/)
  MedRxiv(https://www.medrxiv.org/)

Github

📌 (바로가기) SKN13-3rd-1TEAM

프로젝트 진행 기록 벨로그

📌 (바로가기) 3차 프로젝트 진행 기록

3차 프로젝트를 마무리하며

일요일 밤에 졸린 눈을 비비며 쓴 일기이다. 월요일에 팀원끼리 각자 만들어온 결과물을 비교하기로 했는데, 일요일 밤 11시 반이 넘어서야 챗봇 모델이 제대로 구현 되는 것을 확인했다. 피곤했지만 정말 뿌듯했다.

그리고 월요일, 팀원끼리 각자의 결과물을 확인하며 피드백을 주고 받았다. 나의 결과물을 개선할 수 있는 좋은 기회였다.

피드백을 받고 1차로 개선한 점을 소개한다. 먼저 챗봇의 답변 속도가 너무 느리다는 점은, 구조를 LangChain에서 LangGraph로 바꾸어 개선했다. 다음으로, 프롬프트를 적절히 적어내 기존 주제인 "전문 지식 vs 사회적 통념,트렌드" 구조를 살리고, 답변시 인용한 자료의 출처를 남기게끔 했으며, 인용 자료가 없는 경우 내용 기입을 하지 않도록 해 할루시네이션을 방지했다.

아직 내 결과물에 대해 남은 과제는 두 가지이다. 첫째는 데이터베이스에 논문 데이터가 더 필요하다는 것이고, 이는 팀원들이 구축한 DB를 가져오면 된다. 둘째는 사회통념, 트렌드 자료는 질의를 받으면 "실시간으로" 크롤링 하게끔 코드를 수정하는 것이다.

최종적으로 건우 오빠의 결과물을 발전시켜 팀 결과물을 완성했다. 👍🏼

발표 시간을 통해 다른 조의 프로젝트도 볼 수 있었는데, 주제가 정말 신선해서 좋았다. 저작권 안내 챗봇, 올리브영 화장품 추천 챗봇 등.. 다양한 아이디어들을 보는 것만으로도 유익했다!

---

🦥 이번 주 배운 내용

sLLM 파인튜닝, 양자화, PEFT, LoRA

[14. sLLM 파인튜닝] sLLM 파인튜닝 개요 (250623 수업)

• sLLM 파인튜닝은 작은 언어 모델을 특정 작업이나 도메인에 맞게 추가 학습해 성능을 높이는 과정이다. 전체 또는 일부 레이어만 재학습하며, LoRA 같은 효율적 기법을 활용해 적은 자원으로도 효과를 낼 수 있다.

• 양자화는 모델 파라미터를 더 작은 데이터 타입(예: fp16, bf16, int8)으로 변환해 모델 크기와 연산량을 줄이는 기술이다. int8 양자화는 크기와 속도 면에서 가장 효율적이지만, 정보 손실 가능성이 있다. Absmax 양자화는 최대값 기준으로 스케일링하며, 블록 단위로 적용해 정밀도를 높일 수 있다.

• PEFT는 전체 모델이 아니라 일부만 학습하는 파라미터 효율적 미세조정 방식으로, LoRA, 어댑터, 프롬프트 튜닝 등이 있다.

• LoRA는 기존 모델 파라미터는 고정하고, 작은 행렬 두 개만 추가로 학습해 저비용·고효율 파인튜닝을 가능하게 한다. 필요한 파라미터 수가 크게 줄고, 메모리·연산 효율성이 높아진다.

Base Model, Instruction Model

[14. sLLM 파인튜닝] Base Model vs Instruction Model (250625 수업)

• Base Model은 대규모 텍스트로 언어의 기초만 학습한 모델로, 명령어를 잘 이해하지 못한다.
• Instruction Model은 Base Model을 명령-응답 데이터로 추가 학습해, 사용자의 지시에 맞춰 요약, 번역 등 다양한 작업을 정확히 수행할 수 있다.

ViT, CNN

[15. Vision] 이미지 처리 - ViT, CNN (250625 수업)

• ViT는 이미지를 패치로 나누고 self-attention으로 전역적 관계를 파악해, CNN보다 넓은 문맥을 이해할 수 있다.
• CNN은 합성곱과 풀링 등으로 지역적 특징을 잘 잡지만, 전역 관계 파악에는 한계가 있다.
• 즉, ViT는 self-attention 덕분에 이미지 전체 구조를 한눈에 이해할 수 있다는 점이 CNN과의 주요 차이점이다.

CNN Fine Tuning, LoRA

[15. Vision] CNN Fine Tuning (250626 수업)

• 이 글은 CNN Fine Tuning과 LoRA, 그리고 전이학습의 다양한 방식에 대해 소개한다.
• 전이학습은 기존 모델의 지식을 새로운 과제에 적용하는 것으로, Fine-Tuning, LoRA, Prompt-Tuning 등 다양한 방식이 있다. 이러한 기법들을 활용하면 특정 목적에 맞는 맞춤형 모델을 효율적으로 만들 수 있다.
• CNN Fine Tuning은 사전학습된 CNN 모델의 일부 계층만을 재학습하여 새로운 데이터셋에 빠르게 적응할 수 있는 기법이다. 반면, LoRA는 Transformer 모델에서 저랭크 행렬만 추가 학습하여 파라미터 효율성을 높이는 방법이다.

GAN, Stable Diffusion

[15. Vision] GAN 생성 모델 (250626 수업)

• 이 글은 생성 인공지능(GAN)과 Stable Diffusion에 대해 간단히 소개한다.
• GAN은 생성자와 판별자가 경쟁적으로 학습하며 현실감 있는 데이터를 만들어내는 신경망 구조이다. Stable Diffusion은 텍스트 입력을 바탕으로 고해상도 이미지를 생성하는 확산 모델로, 노이즈에서 점차 선명한 이미지를 복원하는 방식이 특징이다.
• 두 모델 모두 이미지 생성 분야에서 혁신적인 성과와 다양한 활용 가능성을 보여주고 있다.