데이터사이언스를 공부하는 권유진입니다.
태그 목록
- 전체보기(50)
- 자습(17)
- 딥러닝(17)
- 컴퓨터비전(8)
- CV(8)
- 이미지분류(7)
- 밑바닥부터 시작하는 딥러닝(7)
- RS(4)
- NLP(4)
- 추천시스템(4)
- GoogleNet(3)
- 자연어처리(3)
- PyTorch(3)
- 머신러닝(3)
- AlexNet(3)
- VGG(3)
- LeNet(3)
- Attention(3)
- Resnet(3)
- transformer(3)
- BERT(2)
- 역전파(2)
- gan(2)
- mmcv(2)
- 음성인식(2)
- 순전파(2)
- LSTM(2)
- GRU(2)
- 최적화 알고리즘(2)
- 퍼셉트론(2)
- DenseNet(2)
- CNN(2)
- RNN(2)
- Representation(2)
- GPT(2)
- 활성화함수(2)
- Lasso(1)
- 통계기반기법(1)
- PR curve(1)
- hold-out(1)
- word2vec(1)
- Tensor(1)
- DSP(1)
- 신경망(1)
- SVM(1)
- logistic(1)
- AE(1)
- softmax(1)
- registry(1)
- GPT-1(1)
- AutoEncoder(1)
- 정확도(1)
- 푸리에변환(1)
- ZeroShot(1)
- HE(1)
- vector(1)
- transfer learning(1)
- SAE(1)
- mlp(1)
- kernel trick(1)
- 준지도학습(1)
- stt(1)
- 가상환경(1)
- matrix(1)
- CAE(1)
- EfficientNet(1)
- 분류(1)
- ElasticNet(1)
- decorator(1)
- skip gram(1)
- 추론기반기법(1)
- 엔트로피(1)
- Word2Vector(1)
- 배치정규화(1)
- 디지털신호처리(1)
- 비지도학습(1)
- cart(1)
- 스펙트럼(1)
- dropout(1)
- 상호정보량(1)
- 전이학습(1)
- speech recognition(1)
- 과적합(1)
- DDFL(1)
- LSA(1)
- PMI(1)
- 정밀도(1)
- scalar(1)
- Mel-spectrogram(1)
- Vectorization(1)
- 성능지표(1)
- SVD(1)
- docker(1)
- 지니 불순도(1)
- 가중치 초기값(1)
- Probability(1)
- tokenizer(1)
- 선형회귀(1)
- 경사하강법(1)
- 드롭아웃(1)
- SDAE(1)
- decision tree(1)
- 배치학습(1)
- Statistics(1)
- 손실함수(1)
- polynomial(1)
- __init__.py(1)
- roc auc(1)
- gpu(1)
- 교차검증(1)
- Ridge(1)
- DAE(1)
- CVAE(1)
- 멜스펙트로그램(1)
- Continual Learning(1)
- RBF(1)
- Glocal-K(1)
- 합성곱 신경망(1)
- AAE(1)
- 시소러스(1)
- PPMI(1)
- 객체탐지(1)
- Negative sampling(1)
- segmentation(1)
- 사례기반학습(1)
- github(1)
- 모델기반학습(1)
- BPTT(1)
- all(1)
- Bi-RNN(1)
- 지도학습(1)
- auto tagging(1)
- 가중치 초기값 설정(1)
- CBOW(1)
- reinforcement learning(1)
- RBM(1)
- GPT-2(1)
- mfcc(1)
- 동시발생행렬(1)
- 정규화(1)
- NCF(1)
- 과대적합(1)
- 논문리뷰(1)
- SGD(1)
- git(1)
- meta learning(1)
- 온라인학습(1)
- 회귀(1)
- 과소적합(1)
- Xavier(1)
- Spectrum(1)
- VAE(1)
- 강화학습(1)
- Fine Tuning(1)
- 선형대수(1)
- Domain adaptation(1)
- distribution(1)
- 커널 트릭(1)
- AutoML(1)
- 재현율(1)
- Object Detection(1)
- Truncated SVD(1)
- ctc(1)
- Seq2Seq(1)
- confusion matrix(1)
- mmaction2(1)
전체보기 (50)자습(17)딥러닝(17)컴퓨터비전(8)CV(8)이미지분류(7)밑바닥부터 시작하는 딥러닝(7)RS(4)NLP(4)추천시스템(4)GoogleNet(3)자연어처리(3)PyTorch(3)머신러닝(3)AlexNet(3)VGG(3)LeNet(3)Attention(3)Resnet(3)transformer(3)BERT(2)역전파(2)gan(2)mmcv(2)음성인식(2)순전파(2)LSTM(2)GRU(2)최적화 알고리즘(2)퍼셉트론(2)DenseNet(2)CNN(2)RNN(2)Representation(2)GPT(2)활성화함수(2)Lasso(1)통계기반기법(1)PR curve(1)hold-out(1)word2vec(1)Tensor(1)DSP(1)신경망(1)SVM(1)logistic(1)AE(1)softmax(1)registry(1)GPT-1(1)AutoEncoder(1)정확도(1)푸리에변환(1)ZeroShot(1)HE(1)vector(1)transfer learning(1)SAE(1)mlp(1)kernel trick(1)준지도학습(1)stt(1)가상환경(1)matrix(1)CAE(1)EfficientNet(1)분류(1)ElasticNet(1)decorator(1)skip gram(1)추론기반기법(1)엔트로피(1)Word2Vector(1)배치정규화(1)디지털신호처리(1)비지도학습(1)cart(1)스펙트럼(1)dropout(1)상호정보량(1)전이학습(1)speech recognition(1)과적합(1)DDFL(1)LSA(1)PMI(1)정밀도(1)scalar(1)Mel-spectrogram(1)Vectorization(1)성능지표(1)SVD(1)docker(1)지니 불순도(1)가중치 초기값(1)Probability(1)tokenizer(1)선형회귀(1)경사하강법(1)드롭아웃(1)SDAE(1)decision tree(1)배치학습(1)Statistics(1)손실함수(1)polynomial(1)__init__.py(1)roc auc(1)gpu(1)교차검증(1)Ridge(1)DAE(1)CVAE(1)멜스펙트로그램(1)Continual Learning(1)RBF(1)Glocal-K(1)합성곱 신경망(1)AAE(1)시소러스(1)PPMI(1)객체탐지(1)Negative sampling(1)segmentation(1)사례기반학습(1)github(1)모델기반학습(1)BPTT(1)all(1)Bi-RNN(1)지도학습(1)auto tagging(1)가중치 초기값 설정(1)CBOW(1)reinforcement learning(1)RBM(1)GPT-2(1)mfcc(1)동시발생행렬(1)정규화(1)NCF(1)과대적합(1)논문리뷰(1)SGD(1)git(1)meta learning(1)온라인학습(1)회귀(1)과소적합(1)Xavier(1)Spectrum(1)VAE(1)강화학습(1)Fine Tuning(1)선형대수(1)Domain adaptation(1)distribution(1)커널 트릭(1)AutoML(1)재현율(1)Object Detection(1)Truncated SVD(1)ctc(1)Seq2Seq(1)confusion matrix(1)mmaction2(1)
[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT는 모든 계층에서 왼쪽, 오른쪽 문맥의 unlabeled text로 부터 깊은 양방향 표현법을 사전 학습하기 위해 설계되었다.사전 학습된 BERT 모델은 추가적인 1개의 output layer만 추가하여 fine-tuning되고 넓은 범위의 task에서 SOTA
2022년 6월 26일
·
0개의 댓글·
0
[D&A 운영진 딥러닝 스터디] 5주차 1차시
NLP 연구 분야의 큰 흐름 중 하나는 Attention Mechanism의 활용Encoder-Decoder 형식 보유Encoder가 특정 벡터로 정보를 저장하면 Decoder는 해당 정보를 이용해 Output 생성RNN 계열 모듈을 사용하지 않고 여러 개의 Atten
2022년 2월 8일
·
0개의 댓글·
0