딥러닝 개념
1.RNN(Recurrent Neural Network)
\*본 게시글은 유튜브 '메타코드M' 딥러닝 자연어처리 RNN 개념을 30분안에 정리해드립니다ㅣ서울대 AI박사과정 자료를 참고한 점임을 알립니다.재귀적인 (반복되는) 뉴럴 네트워크시간에 따라 weight가 보존되는 네트워크시계열 데이터를 처리하기에 좋은 뉴럴 네트워크
2.LSTM(Long Short-Term Memory)
\*본 게시글은 유튜브 '김성범\[ 교수 / 산업경영공학부 ]' \[핵심 머신러닝 RNN, LSTM and GRU] 자료를 참고한 점임을 알립니다.장기 의존성 문제를 완화한 RNN 개선 모델기존 RNN의 'Hidden State($$h{t}$$)'와 더불어 'Cell
3.Neural Network / Cost Function / Gradient Descent
\*본 게시글은 유튜브 '김성범\[ 교수 / 산업경영공학부 ]' \[핵심 머신러닝 ]뉴럴네트워크모델 1 (구조, 비용함수, 경사하강법) 자료를 참고한 점임을 알립니다.입력변수($$x$$)의 선형 결합을 통해 출력변수($$y$$)를 표현출력변수($$y$$)는 실수의 범
4.Neural Network / Backpropagation
\*본 게시글은 유튜브 '김성범\[ 교수 / 산업경영공학부 ]' \[ 핵심 머신러닝 ]뉴럴네트워크모델 2 (Backpropagation 알고리즘) 자료를 참고한 점임을 알립니다.입력변수($$x$$)의 선형 결합을 통해 출력변수($$y$$)를 표현출력변수($$y$$)는
5.L1, L2 Norm 및 Regularization
\*본 게시글은 참고 자료
6.MLE (Maximum Likelihood Estimation)
\*본 게시글은 유튜브 '공돌이의 수학정리노트' 최대우도법(Maximum Likelihood Estimation) 소개, 블로그 '공돌이의 수학정리노트' 최대우도법(MLE) 자료를 참고한 점임을 알립니다.MLE의 기본 아이디어는 주어진 데이터 집합 $$X = {x_1
7.Entropy / Cross Entropy / KL Divergence
Entropy 1. 정보 이론에서의 Entropy 정보의 불확실성이나 혼돈 정도를 측정하는 지표 정보 이론에서 엔트로피는 어떤 사건이 발생할 확률에 따라 그 사건의 정보량을 측정합니다. 발생 확률이 낮을수록, 그 사건이 주는 정보량이 큽니다. 반대로, 발생 확률이
8.SGD / AdaGrad / RMSProp / Momentum / Adam
\*본 게시글은 유튜브 제목 자료를 참고한 점임을 알립니다.참고 자료제목
9.Batch Normalization
\*본 게시글은 유튜브 제목 자료를 참고한 점임을 알립니다.참고 자료제목
10.AdaDelta / Adamw / NAG / Nadam
AdaDelta 1. 동작 원리 2. 장점과 단점 > ## Adamw 1. 동작 원리 2. 장점과 단점 > ## NAG 1. 동작 원리 2. 장점과 단점 > ## Nadam 1. 동작 원리 2. 장점과 단점
11.Seq2Seq(Sequence-to-Sequence)
\*본 게시글은 유튜브 '신박Ai' \[Deep Learning 101] 시퀀스-투-시퀀스, Seq2seq 모델을 소개합니다 자료를 참고한 점임을 알립니다.Seq2Seq 모델은 입력 시퀀스를 다른 형태의 출력 시퀀스로 변환하는 문제를 해결하기 위해 개발된 딥러닝 아키
12.Attention Mechanism
\*본 게시글은 유튜브 JINSOL KIM Computer Vision for Autonomous Driving '배치 정규화(Batch Normalization)'(https://gaussian37.github.io/dl-concept-batchnorm/참
13.Perplexity(PPL) / BLEU
PPL은 언어 모델이 다음 단어를 얼마나 정확하게 예측하는지를 측정하는 지표입니다. 간단히 말해, 모델이 각 시점에서 느끼는 '혼란도'를 나타냅니다.낮은 PPL: 모델이 정확한 예측을 함높은 PPL: 모델이 불확실한 예측을 함PPL은 확률의 역수에 대한 기하평균으로 정