Effect of tokenization on transformers for biological sequences

coticoger·2026년 3월 16일

Introduction

유전체 데이터는 인간 유전체처럼 수십억 개의 염기로 이루어져 매우 길기 때문에 딥러닝 모델로 분석할 때 메모리와 계산 비용 문제가 크게 발생한다. 또한 자연어와 달리 DNA는 A,C,G,T 네 개의 뉴클레오타이드만 사용하므로 토큰(단어)를 어떻게 정의할 지 명확하지 않다.

이 연구는 자연어 처리의 토큰화 개념을 DNA 서열에 적용하여 뉴클레오타이드 하나 대신 k-mer 기반 토큰을 사용하는 방법을 제시하고, 다양한 토큰화 방식으로 학습한 transformer 모델의 성능을 비교한다.

k-mer 토큰을 사용하면 시퀀스 길이는 줄지만 사전 크기가 커지는 문제가 발생한다. 따라서 토큰 수 감소와 사전 크기 증가 사이의 균형을 어떻게 맞출 것인지가 앞으로 중요한 연구 과제로 남아 있다.

Materials

Tokenizers

5가지 토크나이저를 평가하였다. BPE, Unigram, WordPiece, Words(가능한 모든 아미노산 또는 뉴클레오타이드를 사전에 포함하는 단순한 방식),Pairs(가능한 모든 두 문자 조합(아미노산 또는 뉴클레오타이드 쌍)을 사전에 포함). Words와 Pairs는 사전의 크기가 고정되어 있다. 이와 달리 BPE, Unigram, WordPiece는 사전 크기를 조절할 수 있는 토크나이저이다.

자연어는 보통 문자, 단어, 문장의 3단계 구조를 가지지만, DNA와 같은 생물학적 서열은 공백이 없어 단어 구분이 존재하지 않으므로 문자와 서열의 2단계 구조만 존재한다.

BPE(byte-pari encoding)

1. 미리 토큰화된 데이터에서 등장하는 모든 고유 문자를 사용해 기본 vocabulary를 만듦
2. 이후 가장 자주 등장하는 문자 쌍을 찾아서 하나의 새로운 토큰으로 병합
3. 새로 만들어진 토큰은 vocabulary에 추가
4. 이 과정을 반복하면서 vocabulary를 점차 확장
5. vocabulary 크기가 미리 설정한 하이퍼파라미터 값에 도달하면 종료

WordPiece

BPE와 매우 유사한 방식으로 동작된다.
1. 미리 토큰화된 데이터에서 등장하는 모든 고유 문자를 사용해 기본 vocabulary를 만듦
2. 이후 가장 자주 등장하는 문자 쌍을 찾아서 하나의 새로운 토큰으로 병합
3. 새로 만들어진 토큰은 vocabulary에 추가

여기까지는 동일하지만 BPE와 WordPiece의 가장 큰 차이점은 다음과 같다.
WordPiece는 다음의 score를 최대화하는 문자 쌍(pair)을 선택한다.

score= \frac{f_{1,2}}{f_1 \times f_2}

$f_{1,2}$ : 두 요소가 쌍으로 등장한 빈도
$f_1$ : 첫 번째 요소의 개별 등장 빈도
$f_2$ : 두 번째 요소의 개별 등장 빈도

즉, WordPiece는 단순히 많이 등장하는 쌍이 아닌, 서로 강하게 연관된 쌍을 선택한다.

Example
문장 : low, lower, lowest
초기 vocabulary : l, o, w, e, r, s, t

토큰 분리
l o w, l o w e r, l o w e s t

pair 빈도 계산
(l,o) ▶️ 3, (o,w) ▶️ 3, (w,e) ▶️ 2, (e,r) ▶️ 1, (e,s) ▶️ 1, (s,t) ▶️ 1

WordPiece score 계산
e.g. (l, o)
f(l,o) = 3, f(l) = 3, f(o) = 3
score = $\frac{3}{3\times 3} = 0.33$

2번의 pair의 wordpiece score 중 가장 높은 score pair 가 선택됨
4. pair merge
예를 들어 (l,o)가 선택되면 lo라는 새로운 토큰이 생성됨
new vocabulary : lo, l, o, w, e, r, s, t

위 과정을 계속 반복하면 최종 토큰이 생성됨

Unigram

BPE와 WordPiece와 다른 접근 방식을 사용함.
1. 큰 규모의 initial vocabulary를 생성 (초기 사전은 데이터에서 가장 자주 등장하는 부분 문자열을 선택하거나 다른 토크나이저를 이용해 생성할 수 있다.)
2. 모델의 성능을 향상시키는 방향으로 필요하지 않는 토큰을 제거한다(loss function을 사용하여 특정 토큰을 제거했을 때 모델의 적합도가 어떻게 변하는지 계산한다). 일반적으로 계산 비용을 줄이기 위해 한 번에 여러 개의 토큰을 제거한다.

데이터셋이 $x_1, x_2, x_3,...,x_N$ 과 같은 N개의 단어로 구성되어 있을 때, 손실 함수는 각 단어 점수의 negative log-likelihood의 합으로 정의된다.

loss = \sum^N_{i-1}log(h(x_i))

$h(x_i)$ : 단어 $x_i$ 를 여러 토큰으로 분할할 수 있는 모든 가능한 방법 중 가장 높은 점수를 갖는 분할 방식의 점수이다.

h(x_i) = max_{z\in S(x_i)}g(z)

$S(x_i)$ : 단어 $x_i$ 를 토큰으로 나눌 수 있는 모든 가능한 분할 방법
$g(z)$ : 특정 토큰 조합 $z = (t_1, ...,t_M)$ 에 대한 점수

g(z) = \prod^M_{j=1}p(t_j)

$p(t_j)$ : 토큰 $t_j$ 의 unigram 확률로, 해당 토큰이 데이터 전체에서 등장한 횟수를 전체 토큰 수로 나눈 값

Dataset

Dataset	데이터 유형	Task 유형	입력 데이터	데이터 규모 (Train / Val / Test)	예측 목표
Dataset1	Protein	Classification	단백질 N-terminal 100 aa	497 / 60 / 84 (effectors) 2034 / 219 / 2291 (non-effectors)	단백질이 Type III effector인지 여부 분류
Dataset2	Protein	Classification	Pfam 단백질 서열 fragment	1800 / 100 / 100 (각 superfamily)	Protein superfamily 분류 (9개 클래스)
Dataset3	DNA	Sequence Alignment	homologous nucleotide sequence pair	395,000 / 2,000 / 3,000	두 DNA 서열 정렬(alignment)
Dataset4	Protein	Classification	amino acid sequence	12,312 / 736 / 718	Protein fold (3D 구조) 분류 (1195 클래스)
Dataset5	Protein	Regression	protein sequence	21,446 / 5,363 / 27,217	Fluorescence intensity 예측
Dataset6	Protein	Regression	amino acid sequence	53,614 / 2,512 / 12,851	Protein stability threshold 예측
Dataset7	Protein	Classification	amino acid sequence	14,112 / 1,568 / 3,921	Protein fold 분류 (7 classes)
Dataset8	Protein	Classification	protein sequence	2,727 / 303 / 337	Neuropeptide precursor 여부 분류

METHOD

Tokenizer implementation

총 5개의 토크나이저를 비교하였다. BPE, WordPiece, Unigram, words, pairs. 이 중 BPE, WordPiece, Unigram은 data-driven 토크나이저로, 훈련 데이터에 맞게 학습된다.

각 토크나이저는 training set을 이용해 학습되며 default hyperparameter를 사용하였다. 이후 생성된 vocabulary를 사용해 모든 데이터셋을 토큰 형태로 인코딩하였다.

각 토크나이저에 대해 6가지 사전 크기를 실험하였다 (100, 200, 400, 800, 1600, 3200)

토크나이저는 서열을 정수 형태의 토큰 벡터로 변환한다. 하지만 서열마다 길이가 다르므로 토큰 개수도 서로 다르다. 이를 해결하기 위해 max length를 설정하였다.

Dataset	최대 토큰 길이
Dataset 1	100
Dataset 2	512
Dataset 3	1024
Dataset 4–8	512

이때 최대 길이보다 긴 서열은 trim하고 최대 길이보다 짧은 서열은 padding token을 추가했다.

이렇게 토큰화 및 인코딩된 데이터를 사용하여 각 데이터셋의 특정 예측 문제를 해결하기 위한 Transformer 모델을 학습하였다.

Training the transformers

Classification과 regression 문제에 대해 두 가지 transformer 구조를 실험하였다(BERT, GPT). 하지만 validation set에서 BERT가 더 높은 성능을 보였으므로 최종 결과는 BERT 모델만 사용하였다. 모든 모델은 random initialization 후 학습되었다.

검증 데이터를 사용하여 transformer layer 수, attention head 수, hidden vector 크기 같은 hyperparameters를 최적화하였다.

파라미터	값
Hidden layers	2
Attention heads	2
Hidden vector size	128 (Dataset1만 64)

또한 3개의 learning rate을 비교하였다(0.001, 0.0001, 0.00001). 가장 성능이 좋은 모델을 선택하였다. 학습 동안 learning rate가 변하지 않도록 learning rate sheduler는 constant scheduler를 사용하였다.

Dataset3는 sequence-to-sequence 문제이므로 다른 구조를 사용하였다. 사용된 모델 구조는 다음과 같다

Vaswani WMT architecture
Hidden layer : 6
Attention layer : 16
Hidden vector size : 1024

파라미터	값
Learning rate	5×10⁻⁵
Warmup steps	3000
Max tokens	4096

Comparison with previous models

학습한 모델의 성능을 기존 연구에서 사용된 모델과 비교하였다.
비교 대상 모델은 다음과 같다. ProteinBERT, TAPE Transformer, LSTM 기반 생물학 모델

Dataset	기존 연구에서 사용된 모델
Dataset 4, 5, 6	ProteinBERT, TAPE Transformer, LSTM
Dataset 7, 8	ProteinBERT

기존 연구에서는 모두 words, tokenizer를 사용하였다. 기존 연구 모델들은 pre-training을 사용하는 경우가 많았지만 이 연구에서는 모델을 pretraining 없이 학습하였으므로 공정한 비교를 위해 기존 모델들의 성능도 pre-trainig 없이 평가하였다.

Evaluating the performance on the different tasks

Classification task 평가 지표
ACC, AUC, MCC를 사용했다.
$MCC = \frac{TN \times TP - FN \times FP}{\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}$
Metric 범위
MCC -1 ~ 1
ACC 0 ~ 1
AUC 0 ~ 1
Regression task 평가 지표
$Spearman = \frac{cov(R(X),R(Y))}{\sigma R(X) \sigma R(Y)}$
R(X), R(Y) : rank 값
범위 : -1 ~ 1(완벽한 예측)
Sequence Alignment task 평가 지표

Metric	범위
MCC	-1 ~ 1
ACC	0 ~ 1
AUC	0 ~ 1

Column Score(CS)
정렬 결과에서 정확하게 맞는 column 비율
$CS = \frac{correct\ alignment\ columns}{totla\ true\ alignment\ columns}$
Coverage
유효한 alignment 비율
$Coverage = \frac{VA}{TA}$

VA : valid alignments
TA : total alignments

Invalid alignment 예시
입력 서열이 AAG, AAC 인데 모델이 AA-G, AA-C 같이 정렬하면 invalid alignment

모든 alignment row는 동일한 길이

gap 제거 후 원래 서열과 동일해야 함

위 조건을 만족하지 않으면 invalid alignment로 처리됨.

Hyperparameter optimization implementation

grid search 방식으로 다양한 하이퍼파라미터 조합을 평가하였다. 총 4개의 주요 하이퍼파라미터를 고려하였다.

하이퍼파라미터	실험 값
Layer 수	1, 2, 4
Attention head 수	1, 2, 4
Hidden size	32, 64, 128
Learning rate	0.00001, 0.0001, 0.001

각 하이퍼파라미터 조합마다 transformer 모델을 학습하였고 토크나이저 종류를 바꿔가며 실험을 하였다. 각 모델은 10 epoch 동안 학습하였다.

Visualizing the signals within protein superfamilies

모델이 어떤 서열 위치와 토큰을 중요하게 사용하는지를 분석하기 위해, 학습된 transformer 모델의 의사결정 과정을 해석하였음. 이를 위해 모델 해석 도구인 Captum 라이브러리를 사용하였으며, 입력 토큰이 예측 결과에 얼마나 기여하는지를 계산하기 위해 Integrated Gradients 방법을 적용하였다(각 토큰의 중요도를 계산하고, 특정 superfamily를 올바르게 분류하는 데 어떤 토큰이 중요한 역할을 하는지 확인할 수 있다). 특히 기존 생물정보학에서 사용하는 motif 탐색 방법과 달리, 특정 토큰이 존재할 때뿐만 아니라 특정 토큰이 존재하지 않을때 분류에 도움이 되는 경우도 함께 분석할 수 있다는 장점이 있다.

각 단백질 서열에서 토큰의 attribution score를 계산하고, 절댓값이 0.2보다 큰 토큰을 중요한 토큰으로 선택하였다. 이후 각 superfamily에 대해 이러한 중요 토큰이 서열의 어느 위치에 주로 나타나는지를 확인하기 위해 히스토그램을 생성하였다.
단백질 서열에서 실제 아미노산 패턴을 찾기 위해 sliding-window 방법을 사용하였다. 구체적으로 길이 15개의 윈도우를 서열을 따라 이동시키면서, 동일한 superfamily에 속한 100개의 서열 중 최소 8개 이상에서 특정 토큰이 같은 위치에 등장하는지를 확인하였다. 이 조건을 만족하면 해당 위치에 토큰 라벨을 부여하여 단백질 서열에서 신호(signal)가 나타나는 위치를 식별하였다.

이러한 분석에는 BPE 토크나이저를 사용하고 vocabulary 크기가 1600인, 성능이 가장 우수했던 transformer 모델을 사용하였다.

Training on the BFD dataset

BFD 데이터셋은 현재 공개된 단백질 서열 데이터 중 가장 큰 규모의 데이터셋으로, 약 22억 개 이상의 단백질 서열과 약 4000억 개의 아미노산을 포함하고 있다. 이 데이터셋은 여러 출처에서 수집된 단백질 서열을 기반으로 구성되었으며, MMseqs2 알고리즘을 사용하여 더 긴 서열에 정렬하고 서열 유사도와 클러스터당 서열 수 기준으로 필터링하여 생성되었다.

데이터셋을 사용하기 전에 서열에서 gap 문자(“-”)를 제거하는 전처리를 수행하였으며, 그 결과 약 400GB 크기의 순수 단백질 서열 파일이 생성되었다. 이후 이 데이터셋을 이용하여 BPE, WordPiece, Unigram 토크나이저를 학습하였다.

그러나 데이터 규모가 매우 커서 높은 메모리와 계산 자원이 필요했기 때문에, 256개의 코어와 약 1TB RAM을 갖춘 AMD EPYC 7H12 시스템을 사용하였다. 또한 메모리와 실행 시간의 제한으로 인해 전체 데이터가 아닌 일부 서열을 샘플링하여 토크나이저를 학습하였으며, 샘플 크기는 1000개에서 1천만 개의 서열까지 점진적으로 증가시키며 실험을 수행하였다.

Results

Effectors and superfamilies classifications

Dataset 1(단백질이 effector인지 아닌지를 분류하는 작업)에서 다양한 tokenization 알고리즘의 성능을 평가하였다.

위 이미지는 여러 토크나이저의 성능을 MCC 점수를 기준으로 보여준다. 또한 인코딩된 단백질 서열의 길이 감소 정도도 함께 나타낸다.

가장 높은 성능 : dictionary 크기가 100인 Unigram 토크나이저
서열 길이 감소가 가장 큰 경우 : WordPiece 토크나이저

위 이미지는 Dataset 2(다중 클래스 분류 작업)에서 서로 다른 토크나이저를 적용했을 때의 성능을 보여준다.

BPE 토크나이저가 Unigram보다 더 짧은 서열 길이를 생성하였다. 가장 성능이 좋은 Transformer 모델은 BPE 토크나이저를 사용한 경우였으며 기본 "words" 토크나이저로 학습된 Transformer는 다른 토크나이저를 사용한 모델들보다 성능이 낮았다. 마찬가지로 data-driven tokenizer를 사용한 대부분의 Transformer 모델이 "pairs" 기반 dictionary보다 더 좋은 성능을 보였다.

Alignment

앞서 Method에서 말했듯이 뉴클레오타이드 서열을 토큰화하는 것이 서열 alignment의 정확도와 coverage에 어떤 영향을 미치는지 평가하였다.

위 이미지는 정렬 데이터셋에서 Transformer 모델의 성능을 보여준다. 정렬 정확도는 CS 점수로 측정되는데, 모든 Transformer의 정확도는 매우 높았으며 모델 간 차이도 매우 작았다. 이러한 높은 점수는 모든 Transformer 모델이 분석도니 서열을 신뢰할 수 있게 정렬할 수 있음을 의미한다.

위 이미지는 정렬 데이터셋에서 Transformer의 coverage를 보여준다. Transformer 모델 간 coverage 차이는 상당히 크게 나타났다. data-driven tokenizer를 사용한 모델 중에서는 dictionary 크기가 400인 BPE 토크나이저가 가장 좋은 성능을 보였다. 하지만 BPE 토크나이저는 토큰 수를 4배 이상 줄였으며, 기본 방식인 "pairs" 토크나이저는 약 2배 정도만 줄였다.

그림에서 볼 수 있듯이 트큰 수 감소와 성능 사이에는 trade-off 관계가 존재했다. BPE, WordPiece, Unigram 토크나이저를 보면 다음과 같은 경향이 나타난다.

vocabulary가 증가 ▶️ coverage 증가, sequence length 감소 효과 증가

하지만 vocabulary가 특정 크기에 도달하면 coverage가 다시 감소하기 시작한다

BPE : 약 400
WordPiece : 약 200
Unigram : 약 200

또한 dictionary 크기가 100 또는 200 정도만 되어도 인코딩된 서열 길이에 큰 영향을 미치며, 약 3배 이상의 길이 감소 효과가 나타난다.

Comparison of different models on additional classification and regression tasks

위 이미지는 Dataset 4(원격 상동성 분류 작업)에서 얻은 결과를 보여준다.

위 이미지는 Dataset 5 (단백질의 log-fluorescence를 예측하는 회귀 작업)의 결과를 나타낸다

위 이미지는 Dataset 6(단백질 안정성을 예측하는 회귀 작업)의 결과를 보여준다.

이 연구에서는 토큰화된 데이터를 사용해 학습한 Transformer 모델들의 결과를, pretraining을 사용하지 않은 기존 연구의 결과들과 비교하였다.

또한 ProteinBERT 연구에서 사용되었던 두 가지 추가 작업에서도 토크나이저 방법을 비교하였다.

Fold prediction에서는 dictionary 크기와 성능 사이에 trade-off 관계가 나타났다.

Neuropeptide classification에서는 ProteinBERT 모델은 다른 모든 Transformer보다 낮은 성능을 보였다.

이 연구 결과는 다음과 같은 점을 보여준다
1. 일부 데이터셋에서는 정확도와 서열 길이 감소 사이에 trade-off가 존재한다.
2. 일부 작업에서는 데이터 기반 토크나이저가 정확도, 서열 길이 감소 두 측면 모두에서 유리할 수 있다.
3. 실험 결과는 ProteinBERT 아키텍처가 분류 작업보다는 회귀 작업에 더 적합할 가능성을 시사한다.

Hyperparameter optimization

다음 네 가지 하이퍼파라미터를 최적화했다.

number of layers
attention head 수
hidden vector 크기
learning rate

각 하이퍼파라미터의 중요성과 성능에 미치는 영향을 평가하기 위해 Dataset 2를 사용했다.

실험 결과, 특정 하이퍼파라미터를 최적화하지 않더라도 성능에는 큰 영향이 없으며, 다양한 토크나이저 간의 성능 순위도 거의 변하지 않는 것을 확인하였다.

특히 "words" 토크나이저는 12번의 실험 중 11번에서 가장 낮은 정확도를 보였다. 반대로 세 가지 Transformer 모델은 모두 12개의 실험에서 지속적으로 다른 모델들보다 높은 성능을 보였다.

Identification of contributing signals and their visualization

Transformer를 사용하는 주요 단점 중 하나는 모델이 매우 비선형적이며 해석이 어렵다는 점이다. 생물학적 서열에는 signal이 있으며, 이러한 신호는 단백질의 구조와 기능을 결정하는 데 중요한 역할을 한다.

하지만 이러한 신호를 식별하는 것은 어려운 문제이며 이러한 신호를 잘 이해할 수 있다면 단백질 서열과 그 구조 및 기능 사이의 관계를 더 정확하게 파악할 수 있으며 다음과 같은 연구에 기여할 수 있다 (단백질 기능 예측, 단백질 분류, 새로운 단백질 설계)

이 연구에서는 Transformer를 특정 클래스 예측 작업으로 학습한 후, 모델 해석 기법을 적용하여 중요한 신호들을 식별한다.

위 이미지는 단백질 길이에 따라 특정 토큰이 얼마나 풍부하거나 부족한지를 나타낸다.

Tokenizing the BFD dataset

앞선 실험에서는 각 작업마다 데이터에 특화된 토크나이저를 학습했다. 이번 실험은 매우 큰 데이터셋에서 토크나이저를 학습하는 것을 목표로 한다. 이를 위해 BFD dataset에 포함된 22억 개의 단백질 서열 중 일부 샘플을 사용하여 다음 세 가지 토크나이저를 학습했다(BPE, WordPiece, Unigram). 그 다음 vocabulary 크기와 학습 데이터의 서열 수에 따른 평균 서열 길이를 평가하였다.

위 이미지를 보면, vocabulary 크기가 증가할수록 단백질당 평균 토큰 수가 급격히 감소하였고 이는 동일한 메모리 사용량으로 더 긴 생물학적 서열을 처리할 수 있음을 의미한다. 또한 학습 데이터의 양이 증가할수록 단백질당 토큰 수가 더 작아졌다.

Comparing specific versus general data-driven tokenizers

특정 작업을 수행할 때 일반 토크나이저와 특정 토크나이저 중 어떤 것이 더 유리한지를 분석하였다.

실험 결과, 모든 작업에서 특정 토크나이저가 일반 토크나이저보다 더 좋은 성능을 보였다. 또한 7개 작업 중 6개 작업에서는 이 차이가 통계적으로 유의미하였다. 특히 remote homology 작업과 같은 일부 작업에서는 일반 토크나이저를 사용했을 때 성능이 특정 토크나이저에 비해 매우 낮게 나타났다

Conclusion

데이터 기반 토크나이저의 효과
연구 결과, 데이터 기반 토크나이저(BPE, WordPiece, Unigram)를 사용하는 것이 생물학적 서열 데이터 분석에서 성능을 향상시킬 수 있음이 확인되었다. 이러한 효과는 classification, regression, sequence-to-sequence 등 모든 실험 과제에서 나타났다. 다만 모든 데이터셋에서 항상 가장 좋은 토크나이저는 존재하지 않았으며, 데이터 유형과 학습 과제에 따라 적절한 토크나이저를 선택해야 한다는 점이 강조된다.
K-mer 방식과 NLP 기반 임베딩의 차이
기존 생물정보학에서는 K-mer 빈도 기반 특징(feature representation)을 많이 사용한다. 이 방법은 서열에서 특정 K-mer가 얼마나 등장하는지를 벡터 형태로 표현하는 방식이다. 반면 NLP 기반 임베딩은 토큰의 위치와 문맥 정보까지 함께 학습한다는 차이가 있다. 본 연구 결과에 따르면 고정된 길이의 K-mer 토큰(예: words, pairs 방식)보다 데이터 기반 토크나이저가 더 좋은 성능을 보였다.
긴 서열 문제와 토큰화의 장점
Transformer 모델은 입력 가능한 서열 길이에 제한이 있기 때문에 일반적으로 긴 서열을 여러 조각으로 분할하여 분석한다. 그러나 이러한 분할은 전체 정보를 활용하지 못하게 하여 성능 저하를 유발할 수 있다. 연구 결과 토큰화를 사용하면 서열 길이를 줄일 수 있어 긴 단백질 또는 DNA 서열을 더 효과적으로 처리할 수 있다.
생물학적 신호 분석 가능성
토큰화를 활용한 transformer 모델을 통해 단백질 superfamily 분류에 중요한 서열 패턴(신호)을 확인할 수 있었다. 이는 기존의 profile HMM 기반 motif 분석과 달리 multiple sequence alignment에 의존하지 않는다는 장점이 있다.
토큰화의 확장 가능성
토큰화 개념은 단백질이나 DNA 서열뿐 아니라 유전자와 같은 다른 형태의 생물학적 데이터에도 적용될 수 있다. 또한 BLAST, Kraken-2 같은 기존 생물정보학 알고리즘에 문자 압축(character compression)을 적용하면 계산 시간을 줄일 가능성도 제시하였다.
결론 및 향후 연구 방향
이 연구는 생물학 언어 모델에서 토큰화가 미치는 영향을 분석한 초기 연구이다. 결과적으로 데이터 기반 토크나이저는 정확도 향상과 서열 길이 감소 측면에서 유용하지만, 모든 상황에서 최적의 단일 토크나이저는 존재하지 않는다. 토큰화 효과는 데이터 유형, 데이터 크기, 학습 과제, 토큰화 알고리즘에 따라 달라진다. 따라서 향후에는 서로 다른 토크나이저로 사전학습된 다양한 대형 생물학 모델(LBM)이 등장할 수 있으며, 사용자는 자신의 문제에 가장 적합한 모델을 선택해야 할 것이다. 또한 생물학 데이터에서 새로운 transformer 구조를 비교할 때 토크나이저 선택도 중요한 평가 요소로 고려해야 한다.

coticoger

이전 포스트

Nucleotide Transforemr:building and evaluating robust foundation models for human genomics

다음 포스트