데이터사이언스를 공부하는 권유진입니다.
태그 목록
- 전체보기(50)
- 자습(17)
- 딥러닝(17)
- 컴퓨터비전(8)
- CV(8)
- 이미지분류(7)
- 밑바닥부터 시작하는 딥러닝(7)
- RS(4)
- NLP(4)
- 추천시스템(4)
- GoogleNet(3)
- 자연어처리(3)
- PyTorch(3)
- 머신러닝(3)
- AlexNet(3)
- VGG(3)
- LeNet(3)
- Attention(3)
- Resnet(3)
- transformer(3)
- BERT(2)
- 역전파(2)
- gan(2)
- mmcv(2)
- 음성인식(2)
- 순전파(2)
- LSTM(2)
- GRU(2)
- 최적화 알고리즘(2)
- 퍼셉트론(2)
- DenseNet(2)
- CNN(2)
- RNN(2)
- Representation(2)
- GPT(2)
- 활성화함수(2)
- Lasso(1)
- 통계기반기법(1)
- PR curve(1)
- hold-out(1)
- word2vec(1)
- Tensor(1)
- DSP(1)
- 신경망(1)
- SVM(1)
- logistic(1)
- AE(1)
- softmax(1)
- registry(1)
- GPT-1(1)
- AutoEncoder(1)
- 정확도(1)
- 푸리에변환(1)
- ZeroShot(1)
- HE(1)
- vector(1)
- transfer learning(1)
- SAE(1)
- mlp(1)
- kernel trick(1)
- 준지도학습(1)
- stt(1)
- 가상환경(1)
- matrix(1)
- CAE(1)
- EfficientNet(1)
- 분류(1)
- ElasticNet(1)
- decorator(1)
- skip gram(1)
- 추론기반기법(1)
- 엔트로피(1)
- Word2Vector(1)
- 배치정규화(1)
- 디지털신호처리(1)
- 비지도학습(1)
- cart(1)
- 스펙트럼(1)
- dropout(1)
- 상호정보량(1)
- 전이학습(1)
- speech recognition(1)
- 과적합(1)
- DDFL(1)
- LSA(1)
- PMI(1)
- 정밀도(1)
- scalar(1)
- Mel-spectrogram(1)
- Vectorization(1)
- 성능지표(1)
- SVD(1)
- docker(1)
- 지니 불순도(1)
- 가중치 초기값(1)
- Probability(1)
- tokenizer(1)
- 선형회귀(1)
- 경사하강법(1)
- 드롭아웃(1)
- SDAE(1)
- decision tree(1)
- 배치학습(1)
- Statistics(1)
- 손실함수(1)
- polynomial(1)
- __init__.py(1)
- roc auc(1)
- gpu(1)
- 교차검증(1)
- Ridge(1)
- DAE(1)
- CVAE(1)
- 멜스펙트로그램(1)
- Continual Learning(1)
- RBF(1)
- Glocal-K(1)
- 합성곱 신경망(1)
- AAE(1)
- 시소러스(1)
- PPMI(1)
- 객체탐지(1)
- Negative sampling(1)
- segmentation(1)
- 사례기반학습(1)
- github(1)
- 모델기반학습(1)
- BPTT(1)
- all(1)
- Bi-RNN(1)
- 지도학습(1)
- auto tagging(1)
- 가중치 초기값 설정(1)
- CBOW(1)
- reinforcement learning(1)
- RBM(1)
- GPT-2(1)
- mfcc(1)
- 동시발생행렬(1)
- 정규화(1)
- NCF(1)
- 과대적합(1)
- 논문리뷰(1)
- SGD(1)
- git(1)
- meta learning(1)
- 온라인학습(1)
- 회귀(1)
- 과소적합(1)
- Xavier(1)
- Spectrum(1)
- VAE(1)
- 강화학습(1)
- Fine Tuning(1)
- 선형대수(1)
- Domain adaptation(1)
- distribution(1)
- 커널 트릭(1)
- AutoML(1)
- 재현율(1)
- Object Detection(1)
- Truncated SVD(1)
- ctc(1)
- Seq2Seq(1)
- confusion matrix(1)
- mmaction2(1)
전체보기 (50)자습(17)딥러닝(17)컴퓨터비전(8)CV(8)이미지분류(7)밑바닥부터 시작하는 딥러닝(7)RS(4)NLP(4)추천시스템(4)GoogleNet(3)자연어처리(3)PyTorch(3)머신러닝(3)AlexNet(3)VGG(3)LeNet(3)Attention(3)Resnet(3)transformer(3)BERT(2)역전파(2)gan(2)mmcv(2)음성인식(2)순전파(2)LSTM(2)GRU(2)최적화 알고리즘(2)퍼셉트론(2)DenseNet(2)CNN(2)RNN(2)Representation(2)GPT(2)활성화함수(2)Lasso(1)통계기반기법(1)PR curve(1)hold-out(1)word2vec(1)Tensor(1)DSP(1)신경망(1)SVM(1)logistic(1)AE(1)softmax(1)registry(1)GPT-1(1)AutoEncoder(1)정확도(1)푸리에변환(1)ZeroShot(1)HE(1)vector(1)transfer learning(1)SAE(1)mlp(1)kernel trick(1)준지도학습(1)stt(1)가상환경(1)matrix(1)CAE(1)EfficientNet(1)분류(1)ElasticNet(1)decorator(1)skip gram(1)추론기반기법(1)엔트로피(1)Word2Vector(1)배치정규화(1)디지털신호처리(1)비지도학습(1)cart(1)스펙트럼(1)dropout(1)상호정보량(1)전이학습(1)speech recognition(1)과적합(1)DDFL(1)LSA(1)PMI(1)정밀도(1)scalar(1)Mel-spectrogram(1)Vectorization(1)성능지표(1)SVD(1)docker(1)지니 불순도(1)가중치 초기값(1)Probability(1)tokenizer(1)선형회귀(1)경사하강법(1)드롭아웃(1)SDAE(1)decision tree(1)배치학습(1)Statistics(1)손실함수(1)polynomial(1)__init__.py(1)roc auc(1)gpu(1)교차검증(1)Ridge(1)DAE(1)CVAE(1)멜스펙트로그램(1)Continual Learning(1)RBF(1)Glocal-K(1)합성곱 신경망(1)AAE(1)시소러스(1)PPMI(1)객체탐지(1)Negative sampling(1)segmentation(1)사례기반학습(1)github(1)모델기반학습(1)BPTT(1)all(1)Bi-RNN(1)지도학습(1)auto tagging(1)가중치 초기값 설정(1)CBOW(1)reinforcement learning(1)RBM(1)GPT-2(1)mfcc(1)동시발생행렬(1)정규화(1)NCF(1)과대적합(1)논문리뷰(1)SGD(1)git(1)meta learning(1)온라인학습(1)회귀(1)과소적합(1)Xavier(1)Spectrum(1)VAE(1)강화학습(1)Fine Tuning(1)선형대수(1)Domain adaptation(1)distribution(1)커널 트릭(1)AutoML(1)재현율(1)Object Detection(1)Truncated SVD(1)ctc(1)Seq2Seq(1)confusion matrix(1)mmaction2(1)
[논문 리뷰] Improving Language Understanding by Generative Pre-training
자연어 이해는 다양한 task를 포함한다.라벨링되지 않은 데이터는 충분한 반면, 특정 task에 맞게 라벨링된 데이터는 매우 부족하다.그래서 이를 모델이 충분히 성능이 나오도록 학습하는 것이 어렵다.라벨링 되지 않은 corpus에 대한 언어 모델의 생성적(generat
2022년 6월 29일
·
0개의 댓글·
0