논문 리뷰

트랜스포머 인코더 이번에는 트랜스포머의 인코더에대해 살펴볼 예정이다. 이미지 출처 이전 까지 입력 임베딩이 어떻게 생성되고 위치 인코딩이 어떤 방식으로 진행되는지 배웠다. 입력 임베딩에는 위치 정보가 없기에 위치 인코딩을 더해준다. 멀티 헤드 어텐션 1. Q,

이번에는 디코더이다. 트랜스포머 블록에서 입력 임베딩은 각각 쿼리, 키, 값 벡터로 나눠진다고 공부하였다. 의미를 좀 더 잘 와닿도록 되짚어보자.입력 문장: The cat ate fish를 한글로 번역해줘.쿼리(Q) 벡터: 현재의 요구사항은 무엇일까?? 쿼리 벡터는 입

이번에는 다른 PEFT 기법인 QLoRA를 공부해보겠다. 마찬가지 이 기술에 대한 자료는 모두 "QLORAEfficient Finetuning of Quantized LLMs" 논문의 자료를 참고 하였다.LoRA가 메모리를 줄여주긴 했지만, 대규모 모델의 Fine-tu

본격적으로 AI공부를 시작한지 대략 5개월째 되어가고 있다. 본래 데이터 분석가, 엔지니어 취업 준비와 ADP 자격증을 준비하다보니 ML에는 어느정도 지식이 있던 터라 빠르게 지식을 습득 할 수 있던 것 같다. 처음에는 내가 많은 것을 안다고 생각하고 RNN, CNN

이번에는 RAG 소개논문의 실험들을 정리해서 포스팅할 것이다. 내가 잘 모르는 것은 AI에게 질문하였고, 이를 포스팅에도 추가해서 이해를 돕고자 노력했다. 내가 했던 질문들은 (질문1,2...) 이런식으로 추가 되어있다.데이터 소스 및 인덱싱 (Section 3)비파라

시간도 많이 남으니 논문 리뷰도 꾸준히 하려고 한다. 그동안 읽고 그냥 방치한 것도 많은데 엔지니어로 취직하게 되면 많은 논문을 읽고 문제 상황에 맞는 모델을 찾아야하니 영어도 익숙해질 겸 2~3주에 1개씩 읽고 정리할 예정이다. The Llama 3 Herd of

저번에는 많이 사용되는 모델인 Llama-3모델의 소개논문을 읽었다. 이번에는 에이전트 설계의 기본이되는 ReAct 기법 소개논문을 읽어볼 예정이다.핵심은 프롬프트 구현 방식, 적용 효과 정도만 파악해보려고 한다.LLM은 자연어 이해, 의사결정 task에서 인상적인 성

우리는 다양한 방법으로 정보를 찾는다. 상황과 목적에 따라 인터넷 검색, 문서, 사전등 서류 자료를 활용한 다양한 탐색 방법이 존재한다. 우리가 AI가 폭발적으로 발전함에 따라 AI는 새로운 검색 수단으로서 사용하는 분들이 많아졌다.비교적 최근 놀면 뭐하니의 최신 회차

자연어 처리 분야에서는 RNN 계열 모델의 한계(장거리 의존성 소실, 순차 처리의 비효율)를 극복하며 Transformer가 등장했고, 병렬 처리와 Self-Attention 메커니즘을 통해 비약적인 성능 향상을 이뤄냈다.반면 Vision 분야는 AlexNet, Res