StyleGAN์ Encoding ๊ณผ์ ์ Clip Loss๋ฅผ ์ถ๊ฐํ์ฌ ํ ์คํธ๋ก Style์ ๋ฐ๊พธ๋ ์์ ์ ๊ฐ๋ฅํ๊ฒ ํ๋ค.
Latent Vector w
๋ก ๋ถํฐ ๋ง๋ค์ด์ง ์ด๋ฏธ์ง์ semantic embedding ๊ฐ์ด ๋ฏธ๋ฆฌ ์ค์ ํ ํน์ ํ ํ
์คํธ์ ์ ์ฌํด์ง ์ ์๋ ๋ฐฉํฅ์ผ๋ก Latent vector
๋ฅผ ์
๋ฐ์ดํธ ํ๋ ๊ฒ์ด๋ค.
์ด๋ค ์ฌ๋์ attribute์ ์กฐ์ ํ ๋๋ lambda ID์ ๊ฐ์ ์ผ์ ์น ์ฃผ๊ณ , Identity ๋ณ๊ฒฝ ์ lambda ID๊ฐ์ ๋ฎ์ ๊ฐ์ผ๋ก ์ค์
ํน์ text prompt์ ๋ํ mapping network ํ์ต
Manipulation์ type๊ณผ ์ธ๋ถ์ ์ผ๋ก ์ด๋ป๊ฒ ๋ณํํ๊ณ ์ถ์์ง์ ๋ฐ๋ผ ์ธ๊ฐ์ง ๋งคํ ๋คํธ์ํฌ coarse, middle, fine style๋ก ๊ตฌ๋ถ
LOSS
CLIP loss๋ mapper๋ก ํ์ฌ๊ธ CLIP latent space์ cosine distance๋ฅผ ์ต์ํํ๋๋ก ํจ
text prompt๋ฅผ ํตํด identity๋ฅผ ์ ์งํ๋ฉด์ ํ ๊ฐ์ง ์ด์์ ์์ฑ์ ํ๋ฒ์ ๋ณ๊ฒฝ ๊ฐ๋ฅ
global latent space์ text๋ฅผ ๋งคํํ๋ ๋ฐฉ๋ฒ์ผ๋ก ์ด๋ค ์ ๋ ฅ์ด ๋ค์ด์๋ ์ฌ์ฉ๊ฐ๋ฅ
์ํ๋ ํน์ฑ์ ์ง์ํ๋ text prompt๊ฐ ์ฃผ์ด์ง๋ฉด ์ํ๋ ์กฐ์ ๋ฐฉํฅ ฮs๊ฐ ๋ค๋ฅธ ํน์ฑ์ ํด์น์ง ์์ผ๋ฉฐ ์ํ๋ ์ด๋ฏธ์ง ์์ฑ
ฮฑ๋ ์ผ๋ง๋ ๋ง์ ๋ณํ๋ฅผ ์ค์ง์ ๊ดํ ๊ฒ(manipulation strength)์ด๊ณ ฮฒ๋ ์ฑ๋ ๋ณ threshold๋ก, ฮฒ๊ฐ ๋์ผ๋ฉด ํน์ ํ ์ฑ๋ ์คํ์ผ๋ง ๋ณ๊ฒฝ๋๊ณ ๋ฎ์ผ๋ฉด ์ถ๊ฐ์ ์ธ ํน์ง๋ ๊ฐ์ด ๋ณ๊ฒฝ
Latent mapper ๋ฐ global direction ๋ฐฉ๋ฒ์ TediGAN๊ณผ ๋น๊ต
๋ณต์กํ ์์ฑ์ผ๋ก๋ trump, ๋ ๋ณต์กํ๊ณ ๋ ๊ตฌ์ฒด์ ์ธ ์์ฑ์ผ๋ก๋ ๋ชจํ์นธ ํค์ด, ๋ ๋จ์ํ๊ณ ์ผ๋ฐ์ ์ธ ์์ฑ์ โ์ฃผ๋ฆ์ด ์๋โ๊ฒ์ผ๋ก ์ค์ ํ์ฌ ์คํ ์งํ
์คํ ๊ฒฐ๊ณผ, latent mapper๋ ๋ณต์กํ ์์ฑ์ ์ ํฉํ๊ณ , global direction์ ๋ ๊ฐ๋จํ๊ฑฐ๋ ๋ ์ผ๋ฐ์ ์ธ ์์ฑ์ ์ ํฉ
StyleGAN์ generator์ ์ฌ์ ํ์ต ๋ ๋ชจ๋ธ์ ์์กด์ ์ธ ๋ชจ์ต์ ๋ณด์ โ ์ฌ์ ํ์ต ๋ generator์ ๋๋ฉ์ธ์ ๋ฒ์ด๋ ๊ฒ๊น์ง ์ด๋ฏธ์ง๋ฅผ control ํ ์ ์์