PyTorch๋ฅผ ์ฌ์ฉํด์ ์ ๊ฒฝ๋ง์ ์ ์ํ ๋ ์ฌ์ฉํ๋ ํจํค์ง torch.nn์ด ์ ๊ณตํ๋ ๊ธฐ๋ฅ๋ค
๋ชจ๋ neural network modules์ ๊ธฐ๋ณธ class
๋๋ฆฌ ์ฌ์ฉ๋๋ datasets, model architectures, computer vision์์์ ์ผ๋ฐ์ ์ธ image transformations์ผ๋ก ๊ตฌ์ฑ
ํ์ดํ ์น์์๋ ๋ฐ์ดํฐ์ ์ ์ข ๋ ์ฝ๊ฒ ๋ค๋ฃฐ ์ ์๋๋ก ์ ์ฉํ ๋๊ตฌ๋ก์ torch.utils.data.Dataset๊ณผ torch.utils.data.DataLoader๋ฅผ ์ ๊ณตํ๋ค. Dataset์ ์ ์ํ๊ณ , ์ด๋ฅผ DataLoader์ ์ ๋ฌํด์ ์ฌ์ฉํ๋ฉด ๋๋ค.
Dataloader class๋ batch๊ธฐ๋ฐ์ ๋ฅ๋ฌ๋๋ชจ๋ธ ํ์ต์ ์ํด์ mini batch๋ฅผ ๋ง๋ค์ด์ฃผ๋ ์ญํ ์ ํ๋ค. ์ฌ๋ฌ ์ต์ (๋ฐ์ดํฐ ๋ฌถ๊ธฐ, ์๊ธฐ, ์์์ ๋ณ๋ ฌ์ฒ๋ฆฌ)์ ํตํด batch๋ฅผ ๋ง๋ค์ด์ฃผ์ด, ํ์ต ์์ data๋ฅผ batch๋งํผ ํธํ๊ฒ ๊บผ๋ด์ด ์ฌ์ฉํ ์ ์๋ค.
์ฝ๋๋ฅผ ์์ฑํ ๋ torch.nn.Sequantial์ ์ด์ฉํ๋ฉด forward() ํจ์์์ ๊ตฌํ๋ ์์ ํ๋ฅผ Layer ํํ๋ก ๊ฐ๋ ์ฑ ๋๊ฒ ์์ฑํ ์ ์๋ค.
Convolution ์ฐ์ฐ์ ์ํ Layer
Pooling ์ฐ์ฐ์ ์ํ Layer
์ ๋ ฅ ๋ฐ์ดํฐ์ ์ ํ๋ณํ(Y = Wx + b)์ ํ ํ ๊ฒฐ๊ณผ๋ฅผ ์ถ๋ ฅํ๋ Layer
๋ชจ๋ธ load
nn.Dropout() Overfitting์ ํด๊ฒฐํ ์ ์๋ ๋ฐฉ๋ฒ ์ค ํ๋๋ก, ์ผ๋ถ ํ๋ผ๋ฏธํฐ๋ฅผ ํ์ต์ ๋ฐ์ํ์ง ์์์ผ๋ก์จ ๋ชจ๋ธ์ ์ผ๋ฐํํ๋ ๋ฐฉ๋ฒ Train์์๋ Dropout์ ์ ์ฉํด์ผ ํ์ง๋ง Validation, Test์๋ ์ ์ฉํ๋ฉด ์๋จ
Mini-Batch ํ์ต ์งํ์, Internal Covariant Shift ํ์์ด ๋ํ๋ ์ ์๋ค. ๋ฐ๋ผ์ ํ์ต ๊ณผ์ ์์ ๊ฐ ๋ฐฐ์น ๋จ์ ๋ณ๋ก ํ๊ท ๊ณผ ๋ถ์ฐ์ ์ด์ฉํด ์ ๊ทํํด์ฃผ๋๋ฐ, ์ด๊ฒ์ด ๋ฐ๋ก ๋ฐฐ์น ์ ๊ทํ(Batch Normalization)์ด๋ค! Internal
ํ ์ ์ ์๋ ๋ชจ๋ ์์์ ์ต๋๊ฐ ๋ฐํdemension์ด ์ฃผ์ด์ง ๊ฒฝ์ฐ, (values, indices) tuple ๋ฐํdim : 1 (โ ๋ฐฉํฅ) , 0 (โ ๋ฐฉํฅ)
Embedding(์๋ฒ ๋ฉ): ์ด์ฐ์ , ๋ฒ์ฃผํ ๋ณ์๋ฅผ sparseํ one-hot ์ธ์ฝ๋ฉ ๋์ ์ฐ์์ ์ธ ๊ฐ์ ๊ฐ์ง๋ ๋ฒกํฐ๋ก ํํํ๋ ๋ฐฉ์
Python List์ ๋ง์ฐฌ๊ฐ์ง๋ก nn.Module์ ์ ์ฅํ๋ ์ญํ ์ ํ๋ฉฐ, index ์ ๊ทผ๋ ๊ฐ๋ฅํ๋ค.
์์ฐ์ด ์ฒ๋ฆฌ์์ ์ ์ฒ๋ฆฌ์ ์์ฃผ ์ฌ์ฉํ๋ ํจํค์ง๋ก ํ ํฐํ(Tokenization), ๋จ์ด ์งํฉ(Vocab) ๋ง๋ค๊ธฐ, ์ ์ ์ธ์ฝ๋ฉ(Integer encoding), ๋จ์ด ๋ฒกํฐ(Word Vector) ๋ง๋ค๊ธฐ ๋ฑ์ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ค.
torchtext.legacy.data์๋ ํ๋(Field)๋ผ๋ ๋๊ตฌ๋ฅผ ์ ๊ณตํ๋ค. ํ๋๋ฅผ ํตํด ์์ผ๋ก ์ด๋ค ์ ์ฒ๋ฆฌ๋ฅผ ํ ์ง ์ ์ํ ์ ์๋ค.
๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์ค๋ฉด์ ํ๋์์ ์ ์ํ๋ ํ ํฐํ ๋ฐฉ๋ฒ์ผ๋ก ํ ํฐํ๋ฅผ ์ํํ๋ค.
ํ ํฐํ ์ ์ฒ๋ฆฌ๊ฐ ๋๋๋ฉด ๊ฐ ๋จ์ด์ ๊ณ ์ ํ ์ ์๋ฅผ ๋งตํํด์ฃผ๋ ์ ์ ์ธ์ฝ๋ฉ(Integer enoding) ์์ ์ด ํ์ํ๋ค. ๊ทธ๋ฆฌ๊ณ ์ด ์ ์ฒ๋ฆฌ๋ฅผ ์ํด์๋ ์ฐ์ ๋จ์ด ์งํฉ์ ๋ง๋ค์ด์ฃผ์ด์ผ ํ๋ค! ์ ์ํ ํ๋์ .build_vocab()์ ์ฌ์ฉํ์ฌ ๋จ์ด ์งํฉ์ ์์ฑํ ์ ์๋ค.
ํ์ดํ ์น์์๋ torch.nn.RNN์ด๋ผ๋ ๋ช ๋ น์ด๋ฅผ ํตํด RNN์ ๊ตฌํํ ์ ์๋ค.