LLM(대형 언어 모델)에서 HMM(Hidden Markov Model, 은닉 마르코프 모델)은 과거에 자연어 처리(NLP)에서 많이 사용된 시퀀스(순차) 데이터 모델링 기법을 의미한다[1][3]. HMM은 상태(state)들이 직접 관찰되지 않고 숨겨져 있으며, 관찰 가능한 출력(observation)이 각 상태에서 확률적으로 발생한다는 개념에 기반한다[1][3][7].
HMM의 핵심 구조
- 은닉 상태(hidden state): 직접 관찰할 수 없는 내부 상황[1][3].
- 전이 확률(transition probability): 이전 상태에서 다음 상태로 넘어갈 확률[1][3][7].
- 관찰 확률(emission probability): 각 상태에서 특정 관측값이 나타날 확률[1][3][6].
예시와 활용
- HMM은 과거에는 음성 인식, 품사 태깅, 형태소 분석 등 다양한 NLP 태스크에서 기본 알고리즘으로 사용되었다[1][3][6].
- 시퀀스 데이터의 시간적 패턴이나 상태 변화를 모델링할 때 유용하며, "상태가 직접적으로 보이지 않는 상황에서, 관측 데이터를 통해 상태를 추정하는 문제"에 널리 적용되었다[3][6].
LLM과의 관계
- 최근에는 HMM 대신 LLM(Transformer 기반의 대규모 언어 모델)과 같은 신경망 계열 모델이 NLP 주요 도구가 되었지만, LLM 연구에서 "모델의 내부가 HMM과 비슷한 연산을 학습하거나 대체할 수 있다"는 연구도 진행되고 있다[4][9].
- LLM은 RNN, HMM과 같은 옛 방식의 시퀀스 처리 아이디어를 확장하지만, 하위 레벨에서는 유사한 시퀀스 예측 문제(다음 단어, 상태 예측 등)를 푼다[9].
즉, LLM에서 HMM은 역사적으로 시퀀스 데이터 처리의 기본 모델로서 의미가 있으며, 현재는 LLM의 내부 동작이 HMM 방식과 유사한 경우도 있다는 연구가 이어진다[1][3][4][9].
출처
[1] HMM: hidden Markov model (은닉 마르코프 모형) https://wikidocs.net/120061
[2] HMM(Hidden Markov Model, 은닉마르코프모델) 원리 - 휴블로그 https://sanghyu.tistory.com/17
[3][머신 러닝] 은닉 마르코프 모델 (Hidden Markov Model, HMM ... https://untitledtblog.tistory.com/140
[4][논문 리뷰] Pre-trained Large Language Models Learn ... https://www.themoonlight.io/ko/review/pre-trained-large-language-models-learn-hidden-markov-models-in-context
[5][ML] 은닉 마르코프 모델 (Hidden Markov Model, HMM) https://yganalyst.github.io/ml/hmm/
[6] 비전공자 문돌이가 설명해주는 HMM(Hidden Markov Model) 1탄 https://moondol-ai.tistory.com/162
[7] Hidden Markov Model(HMM, 은닉 마르코프 모델) - 외부 저장소 https://aliencoder.tistory.com/224
[8][NLP]히든 마코프 모델 HMM(Hidden Markov Model) https://haesummy.tistory.com/entry/NLP%ED%9E%88%EB%93%A0-%EB%A7%88%EC%BD%94%ED%94%84-%EB%AA%A8%EB%8D%B8-HMMHidden-Markov-Model
[9] 음성 인식: 언어 모델은 음향 모델의 결과를 어떻게 보완 ... https://translate.google.com/translate?u=https%3A%2F%2Fwww.quora.com%2FSpeech-Recognition-How-language-model-is-complemented-by-the-results-of-acoustic-model-How-grammar-plays-role-in-language-model&hl=ko&sl=en&tl=ko&client=srp
