멋쟁이 사자처럼 NLP

🐈 AI의 발전부터 바이브 코딩까지: 데스크톱 고양이 만들기 > 📅 2026.09.30 · Today I Learned > AI · 머신러닝 · 딥러닝 · 자연어 프로그래밍 · Vibe Coding 오늘은 AI의 기본 개념과 발전 과정을 배우고, Claude로 데스크톱 고양이 프로그램을 바이브 코딩으로 제작했다. 아이디어가 프로그램으로 바뀌는 과정...

📝 신경망에서 텍스트 벡터화까지: NLP 기초 정리 > 📅 2026.10.01 · Today I Learned > MLP · 전처리 · 토큰화 · BPE · WordPiece · Unigram · 임베딩 오늘은 신경망의 학습 과정을 살펴보고, 자연어가 모델의 입력이 되기까지의 과정을 배웠다. 핵심은 두 가지였다. 텍스트를 숫자로 바꾸는 것, 그리고...

[TIL] NLP 언어 모델과 PyTorch 학습 흐름 📅 2026.10.02 오늘은 언어 모델이 단어와 문맥을 처리하는 방법, 그리고 PyTorch로 모델을 학습시키는 과정을 배웠다. 1. 확률적 언어 모델과 N-gram 확률적 언어 모델은 앞 문맥을 바탕으로 다음 단어의 확률을 계산한다. 전체 문장 확률은 각 단어의 조건부 확률을 곱해 구할 수...

타이타닉 데이터로 PyTorch 모델 만들기 오늘은 타이타닉 승객 데이터를 이용해 생존 여부와 성별을 예측하는 모델을 만들었다. 아직 세부 코드를 모두 이해한 것은 아니지만, 데이터 준비부터 학습과 검증까지의 전체 흐름을 익혔다. 1. 데이터 확인과 feature 선택 각 열의 의미를 확인하고, 모델에 넣을 입력 정보와 예측할 정답을 구분했다. 입력...

[TIL] NLP Task 설계와 LLM의 학습·생성 흐름 📅 2026.10.06 오늘은 NLP Task에 맞게 입력과 출력을 설계하는 방법, 그리고 언어 모델이 텍스트를 처리하고 생성하는 과정을 배웠다. 사전학습 모델을 활용하고 미세조정하는 이유도 함께 정리했다. 1. 자연어와 NLP Task 자연어는 한국어·영어처럼 사람들이 의사소통하며 자연스...

[PyTorch 실습] 텍스트 전처리부터 모델 학습과 평가까지 오늘은 NLP 태스크의 입력과 출력을 살펴보고, PyTorch로 데이터를 준비하고 모델을 학습하는 기본 흐름을 실습했다. 전체 과정은 다음과 같다. 1. 태스크에 따른 입력 X와 정답 Y 모델을 구현하기 전에 입력 X와 정답 Y가 어떤 형태인지 먼저 생각해야 한다. | 태스크 | 입력 ...

SentencePiece와 RNN을 이용한 영화 리뷰 감정 분류 이번 실습에서는 NLTK의 영화 리뷰 데이터를 SentencePiece로 토큰화하고, Embedding → RNN → 출력층 구조로 긍정·부정을 예측했다. 리뷰의 앞부분과 뒷부분을 사용했을 때 정확도가 어떻게 달라지는지도 비교했다. 1. 데이터 준비 처음에는 리뷰 내용으로 영화 점수를 ...

RNN 계열 GRU를 이용한 독일어 → 영어 번역 실습 이번 실습에서는 WMT14 German-English 데이터셋을 이용하여 독일어 문장을 영어로 번역하는 Seq2Seq 기반 번역 모델을 구현했다. 전체적인 흐름은 다음과 같다. 1. WMT14 데이터셋 불러오기 먼저 Hugging Face의 datasets 라이브러리를 이용해 WMT14 Germ...

학습 결과 분석 GRU 기반 Seq2Seq 모델을 총 10 epoch 동안 학습한 결과, Train Loss는 6.3349에서 4.0999까지 지속적으로 감소하였다. 반면 Validation Loss는 초기에는 7.3586에서 7.1055까지 감소했지만, 4 epoch 이후 다시 증가하기 시작하였다. 따라서 Validation Loss가 가장 낮았던 ...

[TIL] 모델 학습과 Loss·Metric, GD·SGD 그리고 PPL 📅 2026.10.07 오늘은 모델이 예측을 만들고 손실을 계산한 뒤, 기울기를 이용해 파라미터를 수정하는 과정을 배웠다. 학습에 사용하는 Loss와 실제 성능을 평가하는 Metric은 역할이 다르다. Task에 맞는 출력과 평가 기준을 정하고, 경사하강법으로 학습 목표를 최적화...

클래스 불균형 데이터에서 BCE, 가중치 BCE, Focal Loss 비교 클래스 불균형이 있는 데이터에서는 모델이 다수 클래스 위주로 예측할 수 있다. 이번 실험에서는 유방암 데이터셋의 학습 데이터를 인위적으로 불균형하게 만든 뒤, 세 가지 손실 함수를 비교했다. 기본 BCE 가중치 BCE: BCEWithLogitsLoss(pos_weight=...)...

[PyTorch] MNIST MLP 학습과 Learning Rate 비교 실험 이번 실습에서는 PyTorch를 이용하여 MNIST 숫자 이미지 분류 모델을 구현하고, SGD Optimizer의 Learning Rate가 모델의 학습 성능에 어떤 영향을 미치는지 비교하였다. 비교한 Learning Rate는 다음과 같다. 0.001 0.01 0.1 모...

[PyTorch] MNIST MLP 구현과 Learning Rate 비교 실험 이번에는 PyTorch로 간단한 MLP를 만들어 MNIST 숫자 분류를 해보고, Learning Rate에 따라 학습 결과가 얼마나 달라지는지 직접 비교해봤다. 단순히 모델을 학습시키는 것보다, > Learning Rate를 작게 잡았을 때와 크게 잡았을 때 실제 Accur...