klue/bert-basemodel.config ์ถ๋ ฅ ๊ฒฐ๊ณผํ์ต ์กฐ๊ฑดmax_len = 128, epoch = 5\-> max_len = 90, epoch = 4์์ ๋ฉ์ถค๋ชจ๋ธ ํ์ต ์ ๋val_accuracy: 0.8263\-> val_accuracy: 0.8239๊ฒฐ๊ณผ6๋ฑ์ผ
: KLUE(Korean Language Understanding Evaluation)๋, ํ๊ตญ์ด ๋ชจ๋ธ์ ์ฑ๋ฅ์ ํ๊ฐํ๊ธฐ ์ํ ์ผ๋ จ์ ๋ฐ์ดํฐ์ . 8๊ฐ์ง์ ๋ค์ํ๊ณ ๋ํ์ ์ธ(representative) Task๋ฅผ ํฌํจํจ.์ฌ์ดํธ: https://klue-bench
๊น๊ธฐํ์ ์์ฐ์ด ์ฒ๋ฆฌ ๋ฅ๋ฌ๋ ์บ ํ ํ์ดํ ์น ํธ - 7์ฅ. ์ํ์ค ๋ชจ๋ธ๋ง ๋ณต์ต๋จ์ด๋ค์ ์์ฐจ์ ์กฐํฉ๋ฌธ์ฅ์ ๋จ์ด์ ์์ ์ ๋ณด(์๊ฐ ๊ฐ๋ )๊ฐ ํฌํจ๋ ์ํ์ ๋ฐ์ดํฐEx) ๋ฌธ์ฅ ๋ด ๋จ์ด๋ค์ ์๋ค ์์น์ ๋ฐ๋ผ ์๋ก ์ํฅ์ ์ฃผ๊ณ ๋ฐ๋๋ค.1๏ธโฃ ๊ฐ๋ณ ๊ธธ์ด์ ๋ฐ์ดํฐ2๏ธโฃ time-ste
1. NNMT (Neural Network Machine Translation) 2. seq2seq > ์ ๋ ฅ๋ ์ํ์ค๋ก๋ถํฐ ๋ค๋ฅธ ๋๋ฉ์ธ์ ์ํ์ค๋ฅผ ์ถ๋ ฅํ๋ ๋ค์ํ ๋ถ์ผ์์ ์ฌ์ฉ๋๋ ๋ชจ๋ธ์ ๋๋ค. ์๋ฅผ ๋ค์ด ์ฑ๋ด(Chatbot)๊ณผ ๊ธฐ๊ณ ๋ฒ์ญ(Machine Translat
๋ ผ๋ฌธ ๋ฆฌ๋ทฐ ๋ฒ์ญ๊ธ : https://velog.io/@changdaeoh/Vision-Transformer-ReviewPyTorch ๊ตฌํ ๊ธ : https://hongl.tistory.com/235einops ๋ผ์ด๋ธ๋ฌ๋ฆฌ (ํผ์ด์ธ์ ๊ณต์ )https&#
1. ํ์ฌ ํ๊ตญ์ด ์ธ์ด๋ชจ๋ธ SOTA ๋ชจ๋ธ ์กฐ์ฌ & ํธ๋ ๋ ํ์ KcBERT ๊ตฌ์ด์ฒด/์ ์กฐ์ด ๋ฐ์ KcBERT๋ 2019.01-2020.06์ ํ ์คํธ๋ก, ์ ์ ํ ์ฝ 9์ฒ๋ง๊ฐ ๋ฌธ์ฅ์ผ๋ก ํ์ต์ ์งํ KcELECTRA (21๋ 4์) (https://github.com/Be
1 ์ฝํผ์ค ์์ง ๋จ๊ณ : Selenium๊ณผ BeutifulSoup์ ์ฐจ์ด ? (https://rubber-tree.tistory.com/88)2 ์ ์ (normalization) ๋จ๊ณ : re.sub(pattern, new_text, text)3 ๋ฌธ์ฅ ๋จ์ ๋ถ์
(1) ๋ฐ์ดํฐ ํฌ๋กค๋ง/์ ์ฒ๋ฆฌ/์ฆ๊ฐ์ด ๊ด๊ฑด, ํ๋ณดํ ๋ฐ์ดํฐ์ ๊ธฐ๋ฐ์ผ๋ก ๋ชจ๋ธ training ์คํ ๊ณํ ์๋ฆฝํ์(2)์ฉ์ด Counterfactually-augmented data (: ๋ฐ์ฌ์ค์ ์ผ๋ก ๋ณด๊ฐ๋ ๋ฐ์ดํฐ)์ฉ์ด Spurious Correlations (: ํ์ ์๊ด๊ด
โContextโ โ ์ฌ๋์ ์ฃผ๋ณ ์ ๋ณด(= Context)๋ฅผ ํ์ ํ์ฌ ๊ฐ ๋จ์ด์ ์จ๊ฒจ์ง ์๋ฏธ๋ฅผ ํ์ ํ๊ณ ์ดํดํจ์ฉ์ด ๋จ์ด ์ค์์ฑ ํด์(WSD) : ๋จ์ด๊ฐ ๊ฐ์ง๋ ๋ชจํธ์ฑ์ ์ ๊ฑฐํ๋ ๊ณผ์ โ ํจ๊ณผ: ์์ฐ์ด ์ฒ๋ฆฌ์ ์ฑ๋ฅ ๋์๋จ์ด๋ถ์ฐ์์ ์ธ ์ฌ๋ณผ๋ก์จ ์ด์ฐ ํ๋ฅ ๋ณ์๋ก ๋ํ๋ โ
๊ฐ์ : ๋ฌธ์ฅ ๋ด์ ๊ฐ์ด ๋ฑ์ฅํ๋ ๋จ์ด๋ค์ ๊ณตํต ํ ํฝ์ ๊ณต์ ํ๋ค..!์ค์์ฑ์ ๊ฐ๋ ๊ฐ ๋จ์ด์ ๋ํด ์ฌ์ (ex. ์๋๋ท ๋ฑ)์ ํ์ฉํด ์ฌ์ ์์์ ์๋ฏธ๋ณ ์ค๋ช ์ฌ์ด์ ์ ์ฌ๋๋ฅผ ๊ตฌํ๋(ex. ๊ฒน์น๋ ๋จ์ด์ ๊ฐ์๋ฅผ ์นด์ดํ ๋ฑ) ์๊ณ ๋ฆฌ์ฆ<์ฅ์ > ์๋๋ท๊ณผ ๊ฐ์ ์ ๋ถ๋ฅ๋ ์ฌ์
๋ ผ๋ฌธ: https://aclanthology.org/P10-1046.pdf๋ ธ์ ๊ธ: https://utopian-glove-b74.notion.site/Improving-the-Use-of-Pseudo-Words-for-Evaluating-Select
๐ ํ๊ณ ์ด์ ์ฝ์ [Improving the Use of Pseudo-Words for Evaluating Selectional Preferences(2010)] ๋ ผ๋ฌธ์, ์ ํ ์ ํธ๋(Selectional Preference) ๋งค์ปค๋์ฆ์ evaluation ๋จ๊ณ์
์นด์นด์ค๋ธ๋ ์ธ pororo, conda ๊ฐ์ํ๊ฒฝ์ ์ค์นํ๋ ๋ฐฉ๋ฒ pip install pororo๋ฅผ ํ๋๋ ImportError: cannot import name 'Pororoโ ์๋ฌ๊ฐ ๋ด๋ค. pororo git์ cloneํ์ฌ ์ง์ conda install -e