gemma2-2b모델을 파인튜닝 하여 게임 퀘스트 자동 생성 모델을 만들어 보았습니다.팀원 : 신동혁, 장호준후기 : 성공과 실패 처음엔 게임에 관한 데이터를 직접 수집하기 위해 움직였으나 게임 퀘스트 데이터 자체를 구하는 데에 실패하여 kaggle에 공개되어 있는 r

\- ex) 이전 대화에서 나온 정보나 질문에 대한 답변을 기억하여 활용하는 것

1. 출현 딥러닝의 발전 단어 임베딩(Word2vec, GloVe)를 통해 단어를 벡터로 표현하여 컴퓨터가 자연어를 이해할 수 있도록 만듦 딥러닝 모델(CNN, RNN, LSTM)들을 통해 자연어를 처리할 수 있는 기술이 급진적으로 성장 산업에서의 신경망

구성요소 Encoder Self-Attention Layer Normalization Skip Connection Feed-Forward Networks Multi-Head Attention Decoder Auto-regressive Teach

Attention 배경 : 사람이 글을 읽을 때 모든 단어에 집중하지 않음 문맥에 따라 집중할 단어를 결정할 필요가 있다고 느낌 시퀀스의 길이가 길수록 attention이 없으면 성능이 저하됨 RNNsearch/RNNenc Attention 포함/ 미

입력된 시퀀스(문장)을 다른 시퀀스로 변환하는 모델로, 인코더 RNN, 디코더 RNN으로 구성자연어 이해입력 시퀀스를 받아서 Context vector로 변환auto encoding자연어 생성Context vector로 출력 시퀀스 생성대다수 auto regressiv

LLM의 시대에서 모델링을 하는 과정을 크게 6단계로 나누는데 그 중 4단계나 포함할 정도로 중요한 과정이다!HTML태그, 특수문자, 이모티콘정규표현식 특정 정보 추출불용어(Stopword)의미 없는 단어들 제거어간추출(Stemming)의미를 가진 부분만 추출표제어추출

Linguistics(언어학)와 Computer Science의 교집합인공지능의 하위개념컴퓨터가 자연언어의 의미를 분석하여 이해하고 생성할 수 있도록 하는 기술사람들이 일상생활에서 자연스럽게 사용하는 언어인공언어(컴퓨터 언어)의 반대말

보통 인간의 언어를 의미일상 생활에서 많이 사용됨chat gpt, 요약하기 등등...추천 시스템ex)유튜브 알고리즘 - 추천으로 인해 서비스 유지 시간 향상OCR(Optical Character Recognition)ex) 문서나 사진의 글자를 인식비디오 요약ex) 경