nn.Embedding

Embedding(임베딩): 이산적, 범주형 변수를 sparse한 one-hot 인코딩 대신 연속적인 값을 가지는 벡터로 표현하는 방식

사용법

torch.nn.Embedding(num_embeddings, embedding_dim, 
					padding_idx=None, max_norm=None, norm_type=2.0, 
                    scale_grad_by_freq=False, sparse=False, _weight=None, 
                    device=None, dtype=None)

num_embeddings: 임베딩을 할 단어들의 개수 (단어 집합의 크기)
embedding_dim: 임베딩 할 벡터의 차원으로, 사용자가 정해주는 하이퍼파라미터
padding_idx: 패딩을 위한 토큰의 인덱스, 지정한 인덱스에대한 임베딩 벡터에대해서는 훈련시 파라미터가 업데이트 되지 않음
max_norm: 임베딩 벡터 norm이 이 값보다 크면, norm이 이 값에 맞추어 정규화 됨
norm_type: p-norm의 p 값 (default : 2.0)