Fast Text
"Fast Text"란?
- 단어를 벡터로 임베딩하는 방법 중 하나
- 매커니즘 자체는 word2vec의 확장이라고 볼 수 있지만, word2vec은 "단어"를 쪼개질 수 없는 단위로 생각한다면, Fast Text는 하나의 단어 안에도 여러 단어들이 존재하는 것으로 간주함
- 즉, 내부 단어(subword)를 고려하여 학습 !
내부 단어 (subword)
- Fast Text에서 각 단어는 글자 단위 n-gram의 구성으로 취급함
- n을 몇으로 결정하는지에 따라 단어들이 얼마나 분리되는지 결정
- n = 3, trigram apple →
<ap,app,ppl,ple,pl>apple을 위 처럼 분리하고, 양 끝에 시작과 끝을 의미하는 <, > 을 도입하여 5개의 내부 단어 토큰을 생성함 여기에 추가적으로 기존단어에 <, >를 붙인 특별 토큰<apple>을 추가함 정리하자면, n = 3인 경우 apple이라는 단어에 대해서 Fast Text는 아래의 내부 단어 토큰을 벡터화 함<ap,app,ppl,ple,le>,<apple>
- 실제로 사용할 때는 n의 최솟값과 최대값으로 범위를 설정 가능
- min = 3, max = 6
<ap,app,ppl,ppl,le>,<app,appl,pple,ple>,<appl,pple>, ...,<apple>
- n = 3, trigram apple →
- subword를 벡터화한다는 것 = subword들에 대해서 Word2Vec을 수행한다는 것
- subword들의 벡터값을 얻었다면, 단어 apple의 벡터값은 subword들의 벡터값의 총 합으로 구성 !
- 해당 방법은 Word2Vec에서는 얻을 수 없었던 강점을 가짐
Out Of Vocabulary 에 대한 대응
- Fast Text의 인공 신경망을 학습한 후에는 데이터 셋의 모든 단어의 각 n-gram에 대해 워드 임베딩이 됨
- 장점 : 데이터셋만 충분하다면 위와 같은 내부단어를 통해 OOV에 대해서도 다른 단어와의 유사도를 계산할 수 있다는 점
- birthplace란 단어를 학습하지 않은 상태
- 하지만, birth와 place라는 내부단어가 있었다면, Fast Text는 birthplace의 벡터를 얻을 수 있음
단어 집합 내 빈도 수가 적었던 단어(Rare Word)에 대한 대응
- word2vec의 경우, 등장 빈도 수가 적은 단어(rare word)에 대해서는 임베딩 정확도가 높지 않다는 단점이 존재함 참고할 수 있는 경우의 수가 적다보니 정확하게 임베딩이 안되는 것
- 하지만 Fast Text의 경우, 단어가 rare word이더라도, 그 단어의 n-gram이 다른 단어의 n-gram과 겹치는 경우라면 word2vec과 비교하여 비교적 높은 임베딩 벡터 값을 얻을 수 있음 !
- FastText가 노이즈가 많은 코퍼스에서 강점을 가진 것 또한 위와 같은 이유
- 모든 훈련 코퍼스에 오타(Typo)나 맞춤법이 틀린 단어가 없으면 이상적이겠지만, 실제 많은 비정형 데이터에는 오타가 섞여있음
- 그리고 오타가 섞인 단어는 당연히 등장 빈도수가 매우 적으므로 일종의 희귀 단어가 됨.
- 즉, Word2Vec에서는 오타가 섞인 단어는 임베딩이 제대로 되지 않지만 FastText는 이에 대해서도 일정 수준의 성능을 보일 수 있음
- 단어 apple과 오타로 p를 한 번 더 입력한 appple의 경우에는 실제로 많은 개수의 동일한 n-gram을 가질 것임
Python 으로 Fast Text 사용하기
Python 2.6이나 최신버전. C++ 확장을 빌드하려면 Cython이 필요하다
install
pip install fasttest사용 예
이 패키지는 단어 표현, 텍스트 분류라는 두 가지의 주요 유스케이스를 가지고 있음.
단어표현 학습
논문 1에 나온 것과 같이 단어벡터를 학습하기 위해, fasttext.skipgram과 fasttext.cbow 함수를 아래와 같이 사용
import fasttext
# Skipgram model
model = fasttext.skipgram('data.txt', 'model')
print model.words
# CBOW model
model = fasttext.cbow('data.txt', 'model')
print model.wordsdata.txt는 utf-8로 인코딩된 텍스트를 포함하는 훈련 파일
디폴트로 단어 벡터들은 3에서 6자의 문자 n그램을 받음
최적화를 마치면, 프로그램은 두 개의 파일을 저장 -> model.bin, model.vec
model.vec
각 라인당 하나씩의 단어벡터를 갖고있는 텍스트 파일
model.bin
사전과 모든 하이퍼파라미터와 함께 모델의 파라미터를 포함하는 이진파일
이진파일은 이후에 단어벡터를 계산하거나 최적화를 재시작할 때 사용 가능
아래 fasttext(1) 명령은 동일한 기능을 수행
# Skipgram model
./fasttext skipgram -input data.txt -output model
# CBOW model
./fasttext cbow -input data.txt -output model사전에 없는 단어에 대한 단어벡터 구하기
이전에 훈련된 모델은 사전에 없는 단어벡터를 계산하는데 사용될 수 있음
python print model['king'] # get the vector of the word 'king'
아래 fasttext(1) 명령은 위와 동일
shell echo "king" | ./fasttext print-vectors model.bin
단어 king의 벡터를 표준 출력으로 출력할 것 !
pre-trained 모델 로드하기
우리는 fasttext.load_model을 pre-trained 모델을 로드하기 위해 사용할 수 있음
model = fasttext.load_model('model.bin')
print model.words # list of words in dictionary
print model['king'] # get the vector of the word 'king'텍스트 분류
이 패키지는 지도된 텍스트 분류 훈련에 사용될 수 있음
그리고 fastText로 pre-train된 분류기를 로드하는데 사용될 수 있음
분류기를 학습하기 위해, 아래 함수를 사용 가능
classifier = fasttext.supervised('data.train.txt', 'model')아래 fasttext(1) 명령은 위와 동일합니다:
shell ./fasttext supervised -input data.train.txt -output model
data.train.txt은 각 라인에 라벨과 함께 학습 문장을 포함하는 텍스트 파일
디폴트로, 라벨은 문자열 label 이 앞에 붙은 단어 !
label_prefix 파라미터로 라벨의 접두사를 정의할 수 있습니다
classifier = fasttext.supervised('data.train.txt', 'model', label_prefix='__label__')아래 fasttext(1) 명령은 위와 동일
shell./fasttext supervised -input data.train.txt -output model -label '__label__'
위 명령은 두 개의 파일을 출력합 -> model.bin, model.vec
모델이 학습되면, 우리는 test 셋에서 classifier.test 함수를 사용해서 1에서의 정확도(P@1)와 리콜(R@1)을 계산함으로써 이를 평가 가능
result = classifier.test('test.txt')
print 'P@1:', result.precision
print 'R@1:', result.recall
print 'Number of examples:', result.nexamples아래 명령은 위와 동일
shell./fasttext test model.bin test.txt
텍스트 리스트에서 가장 가능성이 높은 라벨을 얻기 위해, classifier.predict 를 사용
texts = ['example very long text 1', 'example very long text 2']
labels = classifier.predict(texts)
print labels
# Or with the probability
labels = classifier.predict_proba(texts)
print labels분류기로부터 k개의 상위 라벨을 얻기 위해 k 값을 명시 가능
labels = classifier.predict(texts, k=3)
print labels
# Or with the probability
labels = classifier.predict_proba(texts, k=3)
print labels이 인터페이스는 fasttext(1) 예측 명령과 동일
같은 입력 셋을 사용한 같은 모델은 같은 예측을 가짐 !
reference
https://frhyme.github.io/nlp/fasttext_pretrained_wiki/
https://nodoudt.tistory.com/24
