- 전체보기(12)
- NLP(9)
- multi-modal(3)
- Zero-shot(2)
- 백준 문제풀이(1)
- Prompt learning(1)
- 알고리즘(1)
- Q&A(1)
- Long-tailed data(1)
- Parameter efficient learning(1)
- Deep Learning(1)
- machine learning(1)
[논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models
Prompt-based learning을 알아보다가, prompt-based learning의 한계점을 극복할 Parameter-Efficient Learning methods를 알아보았고, 그 중 LoRA라는 논문을 중점적으로 정리해보았다.reference : htt
[논문 리뷰] VL-LTR_ Learning Class-wise Visual-Linguistic Representation for Long-Tailed Visual Recognition
.
[논문 리뷰] ConZIC_ Controllable Zero-shot Image Captioning by Sampling-Based Polishing
.
Prompt-based Learning_soft prompt를 중심으로
PPT: Pre-trained Prompt Tuning for Few-shot Learning 논문 리뷰를 통해1) soft prompt에 해당하는 방법론을 간단히 정리하고, 2) 논문에서 제시한 prompt-tuning과 Clipcap의 아이디어인 prefix-tun
[논문 리뷰] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Paper : ALBERT: A Lite BERT for Self-supervised Learning of Language Representations ALBERT 핵심 요약
[논문 리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach
bert의 replication study인 RoBERTa 논문을 리뷰, 정리 해보았다.
QA 논문 리뷰, 실습
_해당 포스팅은 QA와 관련된 논문 스터디를 진행 중에 공부했던 'Question Answering on SQuAD 2.0' 이라는 논문을 정리해보면서, 1) 기존 'BIDAF'모델과 ' non-PCE Question Answering model'을 비교 분석 해보고,
AutoEncoder
데이터사이언스 과목 기말 발표 주제를 오토인코더로 정했다. ** '핸즈온 머신러닝' 서적을 참고하여 작성했습니다. 개념 오토인코더란 ? : 입력 데이터를 압축시켜 압축시킨 데이터로 축소한 후 다시 확장하여 결과 데이터를 입력 데이터와 동일하도록 만드는 일종의 Deep Neural Network 모델 * Auto Encoder*는 입력 데이터를 일종의 ...
[이론, 코드] Transformer~BERT 리뷰
BERT 모델을 복습하고자 해당 페이지에 정리해보았다! BERT를 이해하기 위해 우선 Transformer 구조부터 알아야한다. Transformer Paper: Attention is all you need 인코더, 디코더 구조를 지닌 딥러닝 모델. 기존의 seq
(복습) 회귀모형
선형 회귀 훈련시키는 두 가지 방법 1) 직접 계산할 수 있는 공식으로 비용 함수 최소화하는(=훈련세트에 가장 잘 맞는) 모델 파라미터 구한다.2) 경사 하강법다항 회귀\-> 과대적합되기 쉬움. -> 규제 기법로지스틱회귀, 소프트맥스 회귀y = theta0 + the