# generative

6개의 포스트
post-thumbnail

[TIL] Language Model (feat. Markov Assumption)

image 혹은 sequence data를 다루는 모델을 공부하다보면, Auto-Regressive라는 개념이 자주 등장한다. 또한, Sequence data를 다룰 때에 parameter를 너무 과도하게 가져가지 않기 위해 Markov Assumption을 이용하기도

2022년 3월 19일
·
0개의 댓글
·
post-thumbnail

[NLG] Text Summarization : Pegasus와 GLM 논문 요약 리뷰

https://en.ax-semantics.com/natural-language-generation-explained/Natural Language Generation주어진 정보를 기반으로 축약(abbreviation), 보강, 재구성NLU에 비해 발전이 많이

2022년 2월 23일
·
4개의 댓글
·

Dialogue Response Ranking Training with Large-Scale Human Feedback Data 논문요약 (2)

Generative dialogue model의 ranking 과정에서 사람의 피드백정보를 통합하면, 단어간의 관련성에만 의존하는 방법보다 자연스러운 대화모델을 개발할 수 있음

2022년 1월 16일
·
0개의 댓글
·

Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness 논문요약

Generative 방식에서 Persona Consistency를 높이는 방법 연구한 논문. 기존 방법은 페르소나 Contradiction에 insensitive 하다는 것을 강조하고 이를 보안하는 방법을 제안.

2022년 1월 16일
·
0개의 댓글
·
post-thumbnail

Deterministic vs Generative model

모델의 두 가지 종류인 Deterministic 방법과 Generative 방법의 기본 개념과 차이점에 대해 공부했다.Deterministic model이란 데이터 $X$가 주어졌을 때 라벨 $Y$가 나타날 조건부 확률 $p(Y|X)$에 대해 직접적으로 계산하는 모델을

2021년 12월 31일
·
1개의 댓글
·
post-thumbnail

Generative Adversarial Nets; GAN (NIPS'14) 논문리뷰

Adversarial Learning을 생성모델에 처음? 제대로 적용한 새로운 프레임워크generator와 discriminator 두 모델을 경쟁적으로 학습시켜 둘 모두를 동시에 최적화함.데이터의 분포에 대한 명시적인 가정없이 데이터 생성이 가능함.그 당시 생성모델연

2021년 6월 4일
·
0개의 댓글
·