LARGE LANGUAGE MODELS FOR FORECASTING AND ANOMALY DETECTION: A SYSTEMATIC LITERATURE REVIEW 리뷰

사실 리뷰가 아니라 그냥 일부 내용들을 좀 더 자세히 적어봤습니다. 리뷰논문이 이미 일종의 리뷰라 이걸 어떻게 리뷰해야할지 모르겠네요 그냥 좀 더 간단하게 요약해봤습니다.

Abstract:

LLMs가 예측과 이상 탐지에 미칠 수 있는 변혁적 영향을 강조하면서,
그들의 잠재력을 완전히 실현하기 위해 지속적인 혁신, 윤리적 고려사항, 그리고 실용적인 해결책의 필요성을 강조합니다.

Introduction

언어 모델(LM)은 텍스트 생성, 기계 번역, 음성 인식 등 다양한 NLP 작업에 사용되는 기본 요소입니다. 이 모델들은 인간 언어를 이해하고, 생성하며, 조작하도록 정교하게 설계되었습니다. 언어 모델의 훈련은 대규모 코퍼스를 포함하며, 이를 통해 보편적인 언어 표현을 학습할 수 있습니다. 이 훈련 과정은 모델이 다양한 맥락에서 단어의 의미를 포착하는 데 중요합니다. 주목할 만한 점은, 이러한 표현의 충실도가 종종 훈련 코퍼스 내 단어 빈도에 따라 달라진다는 것입니다. 이러한 의존성은 LMs 훈련에 있어 포괄적이고 다양한 코퍼스의 중요성을 강조하며, 이는 자연어의 뉘앙스를 정확하게 반영하고 이해하는 능력에 직접적인 영향을 미칩니다. 언어 모델의 복잡성과 코퍼스 특성에 대한 의존성은 NLP 기술 발전에 있어 중요한 고려사항이며, 이는 인공지능 시스템에서 인간과 유사한 언어 이해와 생성의 중요성을 강조합니다.

• 우리가 아는 한, 이것은 예측과 이상 탐지 영역에서 LLMs의 적용에 전념한 첫 번째 포괄적인 체계적 문헌 검토(SLR)입니다. 이 검토를 통해, 우리는 이러한 특정 작업 내에서 수치 및 텍스트 데이터 모두에 대한 LLMs의 고유한 영향을 명확히 했습니다.
• 이 연구는 다양한 작업에 대한 LLMs의 최적 활용을 설명하는 지침 세트를 컴파일했으며, 이는 실제 시나리오에서 이러한 고급 모델을 사용하는 구조화된 접근법을 제공함으로써 분야에 크게 기여합니다.
• 이 문헌 검토는 가능한 한 LLMs의 능력에 대한 깊은 이론적 통찰을 제공하며, 특히 전통적인 모델이 간과할 수 있는 데이터의 복잡한 패턴과 뉘앙스를 처리하는 능력에 초점을 맞춥니다. 여기에는 LLMs가 구조화 및 비구조화 데이터를 효과적으로 처리하고 해석할 수 있게 하는 기본 메커니즘에 대한 탐구가 포함됩니다.
• 이 작업은 예측 및 이상 탐지 모델링 주변의 미래 작업을 위한 새로운 경로를 열어줍니다.
  

로드맵 이 논문의 나머지 부분은 다음과 같이 구성됩니다.

• 섹션 2는 체계적인 문헌 검토를 수행하는 데 사용된 방법론을 설명합니다.
• 섹션 3은 예측과 이상 탐지에서 LLMs에 대한 현재 연구 상태에 대한 개요를 제공합니다.
• 섹션 4는 이러한 영역에서 LLMs의 적용과 관련된 도전과 한계에 대해 논의합니다.
• 섹션 5는 LLM 기반 예측 및 이상 탐지에 사용되는 데이터셋과 데이터 전처리 기술을 탐구합니다.
• 섹션 6은 이러한 작업에서 LLMs의 성능을 평가하는 데 사용되는 평가 지표와 방법론을 제시합니다.
• 섹션 7은 예측에서 LLMs의 적용을 다루고,
• 섹션 8은 이상 탐지에서의 적용에 초점을 맞춥니다.
• 섹션 9는 이러한 영역에서 LLMs 사용과 관련된 잠재적 위협과 위험에 대해 논의합니다.
• 섹션 10은 예측과 이상 탐지에서 LLMs 적용의 미래 방향과 잠재적 연구 방향을 설명합니다.
• 섹션 11은 관련 작업에 대한 개요를 제공하고,
• 섹션 12는 논문을 마무리합니다

Methodology

방법론 부분은 그냥 어떻게 조사했는지 설명하는 파트라 그리 영양가는 없습니다.

Overview

3.1 Large Language Models (LLMs)의 배경

LLMs의 발전은 NLP(Natural Language Processing)의 핵심 기술 중 하나로, 다양한 작업에 적용됩니다. LLM의 발전은 초기 통계 기반 모델에서 시작하여 오늘날의 대규모 심층 학습 모델로 발전했습니다. 이 모델들은 초기에는 단순한 규칙 기반의 시스템에서 시작했으나, 통계적 언어 모델(SLMs)과 뉴럴 네트워크 기반 언어 모델(NNLMs)로 점차 진화하면서 오늘날의 트랜스포머 기반 모델로 발전했습니다.

신경망 언어 모델 (Neural Network Language Model)

신경망의 발전으로 신경망 언어 모델(NNLM)은 통계적 언어 모델(SLM)보다 더 강력한 학습 능력을 보여주며, N-그램 언어 모델에서 발생하는 차원의 재앙(dimensionality disaster)을 극복하고 전통적인 언어 모델의 성능을 크게 향상시켰습니다. 신경망의 고급 구조 덕분에 장거리 문맥 의존성을 효과적으로 모델링할 수 있습니다.

언어 모델을 신경망으로 학습하는 아이디어는 Wei Xu와 Alexander Rudnicky(2000)에 의해 처음 제안되었습니다. 그들의 논문에서는 신경망을 사용해 Bigram 언어 모델을 구축하는 방법을 제안했습니다. 그 이후 Bengio et al.(2000)의 논문은 신경망을 사용한 언어 모델 훈련의 고전적인 연구로, NIPS에서 발표되었습니다. 하지만 신경망 모델을 학습하는 것은 매우 어려웠고, Bengio et al.(2003)의 피드포워드 신경망 언어 모델(FNNLM)이 등장하면서 신경망 언어 모델이 학계와 산업계의 관심을 끌기 시작했습니다. 이후 Mikolov et al.(2010)은 언어 모델링에 순환 신경망(RNN)을 도입하여 언어 모델의 성능을 크게 향상시켰습니다. 그 후, 장단기 메모리(LSTM) RNN과 게이트 순환 유닛(GRU) 신경망 등 개선된 버전들이 연속적으로 등장하여 언어 모델링의 성능을 더욱 향상시켰습니다. 또한, 예상치 못하게 컨볼루션 신경망(CNN)도 언어 모델링에서 성공을 거두었으며, 그 성능은 순환 신경망과 비견될 만합니다.

FFNNLM (Feed-Forward Neural Network Language Model)

피드포워드 신경망 언어 모델(FFNNLM)은 세 가지 계층으로 구성됩니다: 임베딩 계층, 완전 연결 계층, 그리고 출력 계층입니다. 임베딩 계층은 현재 단어를 벡터로 매핑합니다. 먼저 현재 단어 위치 전의 n-1개 단어를 가져온 후, 단어 임베딩 행렬을 통해 이 n-1 단어의 벡터를 얻고, 이들을 결합하여 현재 단어의 표현으로 사용합니다. 완전 연결 계층과 출력 계층은 현재 단어와 관련된 n-1 문맥 단어의 벡터를 입력받아 현재 단어의 출현 확률을 예측합니다. 단어를 저차원 공간으로 매핑함으로써 데이터 희소성 문제를 해결하고, 모델에 일정한 일반화 능력을 제공합니다. 하지만 이 방법에도 몇 가지 단점이 있습니다. 첫 번째는 문맥 창(window) 제한입니다. 즉, 현재 단어와 관련된 n-1 문맥 단어만 볼 수 있다는 제한이 있습니다. 두 번째로는 시간 정보를 고려하지 않는다는 점입니다. 순차적으로 앞뒤 관계가 있는 단어들이지만 이 방법에서는 이를 무시하고 다른 위치의 단어들을 동일하게 취급합니다.

RNNLM (Recurrent Neural Network Language Model)

RNNLM은 FFNNLM의 창(window) 제한 문제를 해결하기 위해 제안되었습니다. 순환 신경망(RNN)을 사용해, 과거의 문맥 정보를 창 길이에 제한 없이 저장할 수 있습니다. RNN은 각 시간 단계에서 이전 문맥 정보를 기반으로 현재 단어의 확률을 계산합니다. 비록 RNN은 무제한의 문맥을 사용할 수 있는 예측 능력을 제공하지만, 학습 중에 기울기 소실(Gradient Vanishing) 또는 기울기 폭발(Gradient Explosion) 문제를 겪을 수 있습니다. 따라서 LSTM 네트워크로 RNN을 대체하는 제안이 나왔습니다.

LSTM-RNN (Long Short-Term Memory Recurrent Neural Network)

LSTM은 RNN의 변형으로, 더욱 발전된 RNN입니다. 기본 알고리즘은 동일하지만, LSTM은 시퀀스 데이터를 효과적으로 처리할 수 있습니다. RNN에서는 각 순간의 은닉 계층 값이 저장되고, 다음 순간에도 사용되어 이전 순간의 정보를 유지합니다. 이때 정보가 저장되는 위치를 메모리 셀이라고 합니다. RNN은 모든 정보를 저장하며, 정보를 선택할 수 있는 능력이 없습니다. 반면, LSTM은 게이트 메커니즘을 도입해 중요한 정보를 선택적으로 저장할 수 있습니다. LSTM은 입력 게이트, 망각 게이트, 출력 게이트로 구성되어 있습니다.

• 입력 게이트: 새로운 정보가 메모리 셀에 저장될지를 결정합니다.
• 망각 게이트: 메모리 셀에서 과거의 어떤 정보를 잊을지를 결정합니다.
• 출력 게이트: 현재 메모리 셀에서 어떤 정보를 출력할지를 결정합니다.

LSTM은 이 게이트 메커니즘 덕분에 FFNNLM이나 RNNLM보다 더 우수한 성능을 보여줍니다. 현재 NNLM은 주로 RNN 또는 LSTM을 기반으로 합니다. 그러나 기존의 모델에서 학습된 단어 표현은 고유하며, 문맥에 의존하지 않는다는 단점이 있습니다. 실제 상황에서는 동일한 단어라도 다른 문맥에서 다른 의미를 가질 수 있으므로, 언어 모델도 문맥에 따라 단어의 관련 정보를 학습할 수 있어야 합니다.

ELMo (Embeddings from Language Models)

ELMo는 복잡한 단어 형태와 문맥 간 단어 형태의 변화를 시뮬레이션하는 깊이 있는 문맥화된 단어 표현입니다. 다층 양방향 LSTM(Bi-LSTM)을 사용하여 문맥 특성을 포착하며, 여러 층의 LSTM을 쌓아 특성 추출 능력을 향상시킵니다. ELMo는 이전 문맥과 다음 문맥 모두를 고려하여 조건부 확률을 계산합니다. ELMo는 특정 작업에서 텍스트에서 얻은 관련 단어 벡터와 LSTM 상태 값을 사용해 가중 평균화로 작업의 효과를 높입니다. 이는 특징 기반 사전 훈련 모델의 전형적인 방법입니다.

주의 메커니즘 (Attention Mechanism)

주의 메커니즘은 RNN에서 입력의 길이를 고정해야 하는 문제를 해결하기 위해 Bahdanau et al.(2014)에 의해 처음 제안되었습니다. 이 구조는 번역 작업에서 Seq2Seq의 인코더를 양방향 순환 네트워크(BiRNN)로 교체하고, 디코딩 부분은 주의 모델을 기반으로 합니다.

주의 메커니즘은 신경망이 입력 데이터를 처리할 때 중요한 부분에 집중할 수 있도록 하여 모델의 성능과 일반화 능력을 향상시킵니다. 예를 들어, 기계 번역이나 음성 인식 작업에서 문장 내 각 단어에 가중치를 할당함으로써, 신경망이 더 부드럽게 학습할 수 있습니다. 주의 메커니즘은 입력/출력 문장의 정렬 관계를 설명하는 데도 사용할 수 있습니다.

자기 주의 메커니즘 (Self-attention Mechanism)

자기 주의 메커니즘은 시퀀스 데이터 처리 시 각 요소가 인접한 요소에만 의존하는 대신 시퀀스 내 다른 요소들과 연관되는 아이디어입니다. 이 메커니즘은 각 요소 간의 상대적 중요도를 계산해 장기 의존성을 적응적으로 포착합니다. 각 요소에 대해 유사성을 계산하고, 이를 주의 가중치로 정규화한 후 이를 기반으로 출력값을 결정합니다.

다중 헤드 주의 메커니즘 (Multi-head Attention Mechanism)

다중 헤드 주의 메커니즘은 자기 주의 메커니즘을 기반으로 하여 여러 독립적인 주의 헤드를 사용해 주의 가중치를 별도로 계산한 후, 그 결과를 결합하거나 합산하여 더 풍부한 표현을 얻는 방식입니다.

트랜스포머 (Transformer)

트랜스포머는 2017년에 도입된 모델로, 자기 주의 메커니즘을 사용해 시퀀스 데이터를 더 효율적이고 정확하게 처리할 수 있도록 합니다. 트랜스포머는 시퀀스 데이터 처리 시 각 위치에서 독립적으로 계산이 가능하며, 병렬 처리가 가능해 기존 RNN의 한계를 극복했습니다.

3.1.2 사전 훈련된 기반 모델 (Pre-trained Foundation Models)

사전 훈련된 기반 모델은 현대 NLP의 초석이 되었으며, 언어 이해와 생성의 새로운 시대를 열었습니다. 이 섹션에서는 이러한 모델들의 출현, 발전, 그리고 영향에 대해 탐구합니다. 이 모델들은 광범위한 데이터셋에 대한 대규모 사전 훈련을 통해 방대한 지식을 축적하는 것이 특징입니다. 우리는 주로 GPT, BERT와 그 후속 모델들 같은 트랜스포머 모델에 초점을 맞추어 이들의 아키텍처를 분석하고, 이들이 다양한 NLP 작업에서 뛰어난 성능과 유연성을 발휘한 이유를 설명합니다.

사전 훈련 모델들이 어떻게 특정 작업이나 도메인에 맞게 추가적인 미세 조정을 통해 맞춤화되는지, 예측 및 이상 탐지를 포함한 다양한 작업에 어떻게 활용되는지를 설명합니다. 이 섹션은 사전 훈련된 기반 모델이 대형 언어 모델의 역량을 확대하고 실제 응용 분야에서의 역할을 어떻게 변혁적으로 수행하는지에 대한 통찰을 제공합니다.

• BERT

Bidirectional Encoder Representations from Transformers (BERT)는 양방향 개념을 도입하여 앞뒤 문맥을 모두 예측하는 혁신적인 모델입니다. BERT는 사전 훈련된 모델로, 실질적인 응용에서 적은 수의 매개변수만으로도 효율적으로 학습할 수 있습니다. BERT의 구조는 상대적으로 단순하며, Bert-Base 모델은 12개의 반복되는 기본 트랜스포머 블록으로, Bert-Large 모델은 24개의 블록으로 구성됩니다. 트랜스포머 블록은 Multi-Head Attention, Add&Norm, FFN의 세 가지 모듈로 구성됩니다.

BERT는 두 가지 비지도 사전 훈련 작업을 사용합니다. 첫 번째는 Masked LM으로, 일부 단어를 마스킹하고 네트워크가 문맥을 기반으로 그 의미를 예측합니다. 두 번째는 Next Sentence Prediction으로, 두 문장이 연속된 문장인지 여부를 판단합니다. BERT는 연속된 마스크 토큰을 처리하는 데 어려움을 겪으며, 가변 길이 텍스트 생성 작업에는 직접적으로 적용되지 않습니다.

• GPT-1

GPT-1의 역사는 "Attention is all you need"라는 논문으로 거슬러 올라갑니다. 이 논문에 따르면, 트랜스포머는 인코더와 디코더로 나뉘며, 둘 다 Multi-Head Self Attention을 수행하지만, 인코더는 전체 소스 시퀀스를 관찰할 수 있고 디코더는 그렇지 않습니다. Bert 모델은 인코더를 채택하며, 사전 훈련 작업을 설계할 때 문맥을 기반으로 중간 단어를 예측합니다. 반면, GPT-1은 디코더를 사용하여 이전 문맥을 기반으로 다음 문맥을 예측하며, 이를 통해 마스킹된 다중 헤드 자기 주의를 효과적으로 수행할 수 있습니다.

• GPT-2

GPT-2는 GPT-1의 향상된 버전으로, 트랜스포머 아키텍처를 기반으로 한 언어 모델입니다. GPT-2는 대규모 레이블 없는 데이터를 사용해 모델을 학습하며, 미세 조정 과정을 통해 모델 성능을 향상시킵니다. GPT-2는 GPT-1과 달리 다운스트림 작업을 위한 미세 조정을 거치지 않고, 입력 시퀀스를 변환하여 작업을 수행합니다. GPT-2는 감독 피드백이 없는 알고리즘을 능가하는 성능을 보이며, 특히 제로샷 설정에서 뛰어난 성과를 발휘합니다.

• GPT-3

GPT-3는 미세 조정을 생략하고 범용 언어 모델에 중점을 둡니다. GPT-3는 Sparse Transformer에서 도입된 희소 주의 모듈을 활용하여 계산 부하를 줄였으며, 매개변수 크기를 1,750억 개로 늘렸습니다. GPT-3는 주로 제로샷, 원샷, 소수샷 설정에서 뛰어난 성능을 보이며, 대규모 언어 모델의 크기와 성능 간의 상관관계를 보여줍니다. GPT-3는 높은 일반화 능력을 가지며, 다양한 하위 작업을 미세 조정 없이 수행할 수 있습니다.

• InstructGPT (GPT-3.5)

InstructGPT는 GPT-3의 한계를 개선하여 모델 출력과 사용자의 의도를 더욱 잘 일치시키는 것을 목표로 합니다. GPT-3는 다양한 NLP 작업에서 뛰어난 성능을 발휘했지만, 여전히 부정확하거나 해로운 정보를 생성하는 문제가 있었습니다. InstructGPT는 강화 학습(RL)을 통해 인간의 의도를 더 잘 이해하고 이를 바탕으로 안전하고 유용한 응답을 생성할 수 있게 합니다.

• GPT-4

GPT-4는 1조 개 이상의 매개변수를 갖추고 있으며, RLHF(강화 학습) 기법을 사용하여 텍스트를 더욱 자연스럽고 정확하게 생성할 수 있습니다. GPT-4는 멀티모달 모델로, 이미지와 텍스트 입력을 모두 처리할 수 있으며, 여러 NLP 작업에서 최첨단 성능을 보입니다.

• AI21 Jurassic-2

Jurassic-2는 대형 언어 모델로, 다양한 자연어 처리 작업을 지원합니다. 이 모델은 사용자 맞춤형 ChatGPT 어시스턴트 생성과 같은 다양한 작업에서 높은 성능을 보입니다. Jurassic-2는 의미적 검색, 문맥 기반 질의응답, 요약 등의 작업을 지원합니다.

• Claude

Claude는 Anthropic에서 개발한 인공지능 어시스턴트로, 인간의 의도에 맞춘 정확한 정보를 제공하는 것이 목표입니다. Anthropic은 GPT-3의 개발에 참여한 인물들이 설립한 회사로, Claude는 520억 개의 매개변수를 가진 자율 회귀 모델로 학습되었습니다.

• BLOOM

BLOOM은 1760억 개의 매개변수를 가진 다중 언어 모델로, 59개 자연어와 13개 프로그래밍 언어로 학습되었습니다. BLOOM은 Megatron-LM과 DeepSpeed의 기술을 기반으로 하여 대규모 분산 학습을 지원합니다. BLOOM은 "Responsible AI License"를 채택하여 법 집행이나 의료 같은 고위험 분야에서의 사용을 금지하고 있습니다.

• Hugging Face

Hugging Face는 자연어 처리와 인공지능 분야에 초점을 맞춘 플랫폼으로, 사전 훈련된 모델과 데이터셋을 제공하여 전 세계의 기계 학습 실무자들이 협업할 수 있도록 지원합니다. Hugging Face는 사용자가 특정 작업에 맞는 모델을 쉽게 비교하고, 미세 조정할 수 있는 기능을 제공합니다.

3.2 작업 분류 (Task Categorization)

대형 언어 모델(LLM)의 다양성은 다양한 작업에 적용될 수 있음을 보여줍니다. 이 섹션에서는 예측(forecasting)과 이상 탐지(anomaly detection)라는 두 가지 중요한 영역에서 LLM이 수행하는 역할을 분류하고 분석합니다. 예측에서는 LLM이 과거 데이터와 언어 패턴을 활용하여 미래의 사건, 경향, 행동을 예측하는 데 기여하는 방식을 탐구하며, 이를 통해 높은 정확도로 통찰을 생성합니다. 반면 이상 탐지는 데이터 내에서 이상치나 비정상적인 패턴을 식별하는 LLM의 능력을 강조하며, 이는 보안, 품질 관리, 운영 효율성에 매우 중요합니다. 이러한 작업에 대한 상세한 탐구를 통해, LLM이 어떻게 직접적인 제로샷 또는 소수샷 설정에서부터 복잡한 미세 조정 및 하이브리드 전략에 이르기까지 다양한 방법론을 활용하는지 설명합니다. 이 섹션은 LLM의 폭넓은 적용 가능성을 강조할 뿐만 아니라, 각 작업에 관련된 구체적인 기술 및 도전 과제에 대해 더 깊이 이해할 수 있는 기반을 제공합니다.

3.2.1 예측 (Forecasting)

대형 언어 모델이 시계열 예측에 사용되는 방식은 크게 두 가지로 나눌 수 있습니다. 하나는 시계열 데이터를 모델에 적합한 입력 데이터로 변환하여 GPT나 Llama와 같은 대형 언어 모델을 직접 시계열 예측에 적용하는 방법입니다. 다른 하나는 여러 시계열 데이터셋에서 대규모 데이터를 사용하여 시계열 도메인에서 대형 언어 모델을 훈련시키는 방법입니다. 이 모델은 이후 시계열 작업에 사용될 수 있습니다. 이 논문에서는 두 번째 유형에 초점을 맞추어, 다양한 도메인에서 대형 언어 모델을 훈련시키는 방법을 다룹니다.

3.2.2 이상 탐지 (Anomaly Detection)

이상 탐지는 두 가지 범주로 나눌 수 있습니다. 첫 번째 범주의 이상 탐지는 라벨이 있는 훈련 데이터를 제공하여 분류기를 먼저 훈련시킨 후, 새로운 훈련 데이터가 기존의 훈련 데이터와 다르다는 것을 분류기가 판단하여 새로운 훈련 데이터를 "알 수 없음(unknown)"으로 라벨링할 수 있도록 기대합니다. 이는 "오픈셋 인식(Open-set Recognition)"이라고도 합니다. 두 번째 범주는 모든 훈련 데이터가 라벨이 없고, 데이터 간의 유사성에 따라 이상치를 결정하는 방식입니다. 이 범주에는 두 가지 상황이 포함되는데, 하나는 모든 데이터가 정상 데이터인 깨끗한 데이터(clean data)이며, 다른 하나는 일부 이상 데이터가 훈련 데이터에 섞여 있는 오염된 데이터(polluted data)입니다. 이 논문에서는 두 번째 범주의 두 번째 하위 유형에 초점을 맞추어, 다양한 도메인에서 대형 언어 모델을 훈련시키는 방법을 설명합니다.

3.3 접근 방식 (Approaches)

LLM을 다양한 작업에 적용하는 데는 성능과 정확성을 최적화하기 위한 다양한 혁신적인 접근 방식이 포함됩니다. 이 섹션에서는 LLM의 잠재력을 극대화하는 데 효과적인 방법론을 종합적으로 탐구합니다. 먼저, 입력 프롬프트(prompt)를 구성하여 모델이 원하는 출력을 생성하도록 유도하는 프롬프트 기반 방법(prompt-based methods)을 다루며, LLM과 상호작용하는 과정에서의 유연성과 창의성을 보여줍니다. 다음으로는 미세 조정(fine-tuning) 방법에 대해 논의하며, 사전 훈련된 모델의 매개변수를 특정 작업이나 데이터셋에 맞춰 조정하여 적용 가능성과 정밀도를 높이는 과정을 설명합니다. 제로샷, 원샷, 소수샷 학습을 탐구하여, LLM이 최소한의 작업 특화 데이터 또는 전혀 없는 상태에서도 작업을 수행할 수 있는 능력을 강조합니다. 재프로그래밍(reprogramming)은 입력 데이터를 변경하여 모델의 잠재적 지식을 활용하는 개념으로, 모델 매개변수를 수정하지 않고도 새로운 작업에 모델을 적용할 수 있는 혁신적인 방법을 소개합니다. 마지막으로 여러 기법을 결합한 하이브리드 접근 방식(hybrid strategies)을 검토하며, LLM의 적용 방법이 점차적으로 진화하는 역동적인 모습을 보여줍니다. 이 섹션은 다양한 LLM 배포 방식을 이해할 수 있는 통찰을 제공하여, NLP 및 그 이상의 복잡한 문제 해결에 효과적으로 활용할 수 있는 기반을 마련합니다.

3.3.1 프롬프트 기반 (Prompt-based)

프롬프트 기반 학습은 입력 텍스트 정보를 특정 템플릿에 따라 변환하여 사전 훈련된 언어 모델을 최대한 활용할 수 있도록 작업을 재구성하는 방법입니다. 전통적인 지도 학습과 달리, 프롬프트 기반 학습은 대규모 원시 텍스트로 사전 훈련된 언어 모델을 직접 활용하며, 새로운 프롬프트 함수를 정의하여 소수샷 학습 또는 제로샷 학습을 수행합니다. 이를 통해 주석 데이터가 거의 없거나 전혀 없는 새로운 시나리오에 적응할 수 있습니다. 전통적인 미세 조정 방법과 달리 프롬프트 기반 학습은 매개변수 업데이트 없이 다양한 다운스트림 작업에 적응합니다.

3.3.2 미세 조정 (Fine-tuning)

미세 조정은 일반 용도의 모델을 특화된 모델로 변환하는 과정을 의미합니다. 사전 훈련된 모델을 가져와 더 작은 특정 데이터셋으로 추가 학습하여 모델의 성능을 향상시키고, 특정 작업이나 도메인에 맞게 조정합니다. 이 과정은 사전 훈련된 모델과 특정 응용 간의 다리를 놓아, 언어 모델이 인간의 기대와 긴밀하게 맞춰질 수 있도록 합니다. 미세 조정은 모델을 처음부터 학습하는 것에 비해 리소스를 더 효율적으로 사용하며 비용 효율적입니다. 모델을 처음부터 학습하는 경우에는 방대한 텍스트 데이터셋, 상당한 계산 자원, 그리고 많은 재정적 투자가 필요하지만, 미세 조정은 소규모의 작업 특화 데이터셋에 맞춰 사전 훈련된 모델을 적응시키므로 적은 자원과 시간, 비용이 필요합니다.

3.3.3 제로샷, 원샷, 소수샷 (Zero-shot, One-shot, Few-shot)

제로샷은 모델이 특정 클래스를 명시적으로 학습하지 않고도 새로운 클래스에 대해 예측을 수행할 수 있는 기계 학습 패러다임입니다. 이는 유사한 다른 클래스에 대한 모델의 이해를 활용하여 새로운 클래스의 특성을 추론하는 방식으로 이루어집니다. 예를 들어, 다양한 종류의 새를 포함한 데이터셋으로 학습된 모델은 참새나 독수리 같은 새로운 새 종류에 대해 학습하지 않고도 그 특성을 예측할 수 있습니다. 원샷은 새로운 클래스에 대해 한 번의 학습만으로 예측을 수행할 수 있는 기계 학습 패러다임입니다. 소수샷은 제로샷과 원샷의 중간에 위치하며, 새로운 클래스의 예시 몇 가지로 모델을 학습하는 방식입니다.

3.3.4 재프로그래밍 (Reprogramming)

모델 재프로그래밍 또는 적대적 재프로그래밍(Adversarial Reprogramming)은 기계 학습 내에서 빠르게 성장하는 분야입니다. 이 방법은 기존 모델을 새로운 작업에 적용하기 위해 재학습 또는 미세 조정을 필요로 하지 않고, 대신 모델의 입력 데이터를 수정하여 새로운 적대적 작업에 적용하는 방식입니다. 모델 재프로그래밍은 재학습이나 미세 조정에 비해 더 낮은 계산 비용이 들며, 모델 매개변수에 대한 접근을 최소화하면서도 성공적으로 활용할 수 있습니다.

3.3.5 하이브리드 (Hybrid)

하이브리드 방법론은 다양한 접근 방식을 결합하여 LLM 모델의 성능과 유연성을 향상시킵니다. 일반적으로 이러한 방법론은 규칙 기반 접근 방식과 기계 학습 방법을 모두 결합하여 두 가지의 이점을 모두 활용합니다. 규칙 기반 접근 방식은 사전 정의된 언어 규칙과 지식 그래프에 의존하여 개념에 대한 명확하고 표현력 있는 설명을 제공합니다. 기계 학습 접근 방식은 통계적 기법을 사용해 데이터를 학습하며, 수작업으로 규칙을 작성하기 어려운 대규모 복잡한 작업을 처리하는 데 특히 적합합니다. 하이브리드 접근 방식은 다양한 응용 분야에 확장되어 LLM이 더 복잡한 작업을 처리하고 새로운 도메인에 효과적으로 적응할 수 있도록 합니다.

4. 도전 과제 (Challenges)

예측 및 이상 탐지 분야에서 LLM(대형 언어 모델)의 활용은 방대한 데이터를 사용하여 예측적 통찰을 얻는 패러다임의 변화를 의미합니다. 그러나 이 접근 방식은 시계열 데이터의 고유한 특성, 라벨이 부족한 경우, 누락된 값의 빈번한 발생, 그리고 잡음이 많고 비정형 텍스트 데이터를 처리하는 복잡성 때문에 많은 도전 과제를 안고 있습니다. 이러한 문제를 해결하기 위해서는 LLM의 잠재력을 완전히 발휘하기 위한 정교한 이해와 혁신적인 방법론이 필요합니다.

시계열 데이터는 복잡한 계절성 및 패턴이 특징이며, 이는 동적인 시간적 행동을 포착하고 예측할 수 있는 모델을 필요로 합니다. 이러한 복잡성은 경제 지표, 기상 조건, 사회적 사건과 같은 다양한 요인들이 시계열에 미치는 영향으로 인해 더욱 복잡해집니다. 또한, 특히 이상 탐지 분야에서는 라벨이 부족하다는 점이 중요한 장애물이 됩니다. 이러한 시나리오에서 LLM의 효과는 제한된 주석 데이터를 활용하여 이상을 나타내는 패턴을 식별할 수 있는 고급 전략의 개발에 달려 있습니다. 시계열 분석에서 또 다른 일반적인 문제는 데이터 수집 및 전송 과정에서 발생하는 다양한 중단으로 인해 누락된 데이터의 발생입니다. LLM은 훈련을 위해 방대한 자연어 말뭉치가 필요하지만, 누락된 데이터를 처리하려면 LLM과 통합할 수 있는 강력한 대체 방법이 필요합니다.

비정형 텍스트 데이터를 분석하는 것도 추가적인 복잡성을 야기합니다. 이러한 데이터는 종종 많은 잡음과 관련 없는 정보를 포함하고 있습니다. 효과적인 전처리 및 특징 추출 방법이 필요하며, 의미 있는 통찰을 추출하기 위해 비정형 텍스트를 이해하고 중요한 정보를 추출하는 데 있어 세심한 접근이 요구됩니다. 이러한 도전 과제들은 LLM을 예측 및 이상 탐지 작업에 효과적으로 적용하기 위해서는 시계열 데이터 및 비정형 텍스트의 복잡성에 적응할 수 있는 혁신적인 솔루션이 필요함을 강조합니다.

4.1 복잡한 계절성과 패턴 (Complex Seasonality and Patterns)

시계열 데이터에서 복잡한 계절성과 패턴을 모델링하는 것은 LLM을 예측 및 이상 탐지 작업에 적용하는 데 있어 큰 장애물입니다. 시계열 데이터는 간단한 연간 주기에서부터 일, 주, 월 단위의 여러 시간적 해상도를 포함한 복잡한 패턴에 이르기까지 다양한 계절적 행동을 나타낼 수 있습니다. 이러한 패턴들이 상호 작용할 수 있어 복잡한 계절적 역학이 발생하여 예측이 어렵게 됩니다.

복잡한 계절성을 해결하는 데 있어 주요 도전 과제 중 하나는 LLM이 이러한 패턴을 인식할 뿐만 아니라 그 기본 원인과 상호 작용을 이해해야 한다는 점입니다. 전통적인 모델들은 이러한 복잡성을 캡처하는 데 어려움을 겪을 수 있으며, 상당한 맞춤화 또는 도메인 특화 지식의 포함이 필요합니다. LLM은 방대한 매개변수 공간과 심층 학습 기능을 통해 이러한 문제를 해결할 수 있는 잠재력을 가지고 있습니다. 그러나 이를 위해서는 다양한 계절적 변동과 연관된 요인을 포함한 대규모 고품질의 데이터가 필요합니다.

외부 요인, 예를 들어 휴일, 경제적 변동, 기상 조건 등이 계절성 모델링을 더욱 복잡하게 만듭니다. 이러한 요인들은 시계열에 추가적인 변동성을 도입하며, 계절성이 데이터에 미치는 영향을 고립시켜 예측하는 것을 어렵게 만듭니다. LLM이 이러한 조건 하에서 정확한 예측을 하려면 외부 데이터 소스와 맥락 정보를 예측에 통합할 수 있어야 합니다. 이 과정에는 고급 데이터 처리 능력과 인과 관계를 추론하고 변화하는 조건에 적응할 수 있는 능력이 요구됩니다.

또한, 서로 다른 계절 패턴 간의 비선형 상호작용도 복잡성을 추가합니다. 예를 들어, 휴일이 소비자 행동에 미치는 영향은 휴일이 발생하는 요일이나 다른 이벤트와의 근접성에 따라 크게 달라질 수 있습니다. 이러한 비선형성과 상호작용을 포착하는 것은 정확한 예측과 이상 탐지에 필수적이며, 다양한 의존성 및 조건 효과를 설명할 수 있는 정교한 모델링 기술이 필요합니다.

복잡한 계절성 문제를 해결하려면 대규모 데이터 학습뿐만 아니라 고급 최적화 기법이 필요합니다. 확률 최적화(stochastic optimization) 방법은 복잡한 계절적 행동 속에서 LLM의 성능을 향상시키는 데 중요한 역할을 합니다. 이 방법들은 시간적 역학에 내재된 복잡한 패턴을 포착하고, 다양하고 변화하는 계절적 시나리오에서 LLM이 최적의 성능을 발휘할 수 있도록 매개변수를 세밀하게 조정하는 데 유용합니다.

4.2 라벨 부족 (Label Deficiency)

라벨 부족 문제는 예측 및 이상 탐지 작업에서 LLM을 배포하는 데 있어 중요한 도전 과제입니다. 특히 라벨이 드물거나 획득 비용이 높은 도메인에서 이 문제가 두드러집니다. 이상 탐지에서는 이상 이벤트가 본질적으로 드물기 때문에 훈련 데이터셋에 제대로 나타나지 않는 경우가 많습니다. 라벨이 부족한 상황에서는 모델이 정상적인 행동과 이상 행동을 구별하는 미묘한 패턴을 학습하는 능력이 저하되며, 이로 인해 정확도가 떨어지고 잘못된 양성 또는 음성 결과가 증가할 수 있습니다.

라벨 부족 문제를 해결하기 위해서는 반지도 학습, 데이터 증강, 전이 학습과 같은 다양한 전략이 제안되었습니다. 반지도 학습은 라벨이 있는 데이터와 없는 데이터를 함께 사용하여 모델이 일반화할 수 있는 능력을 향상시키며, 데이터 증강은 새로운 예시를 인위적으로 생성하여 데이터셋을 확장함으로써 모델의 견고성과 일반화 능력을 향상시킵니다. 전이 학습은 대규모 데이터셋에서 미리 학습한 모델을 작은 라벨이 있는 데이터셋에 맞춰 미세 조정하는 방법입니다.

4.3 시계열의 누락된 데이터 (Missing Data in Time Series)

시계열의 누락된 데이터를 처리하는 것은 LLM을 예측 및 이상 탐지에 적용할 때 중요한 도전 과제입니다. 누락된 데이터는 장비 고장, 데이터 전송 오류, 또는 단순히 데이터 수집 과정의 누락으로 인해 발생할 수 있습니다. 누락된 데이터는 예측과 분석의 정확성을 떨어뜨릴 수 있으며, 특히 시계열 데이터의 시간적 의존성과 패턴이 중요한 역할을 할 때 더욱 문제가 됩니다.

누락된 데이터를 처리하는 한 가지 일반적인 방법은 대체(imputation)를 통해 누락된 값을 기존 데이터에 기반하여 채우는 것입니다. LLM은 복잡한 패턴과 관계를 학습하여 누락된 값을 예측할 수 있는 잠재력을 가지고 있지만, 이를 효과적으로 적용하려면 데이터 품질과 계산 복잡성을 고려해야 합니다.

4.4 잡음이 많고 비정형 텍스트 데이터 (Noisy and Unstructured Text Data)

잡음이 많고 비정형 텍스트 데이터는 LLM을 예측 및 이상 탐지에 적용하는 데 있어 특히 두드러진 문제입니다. 비정형 텍스트에는 소셜 미디어 게시물, 뉴스 기사, 로그 파일과 같은 다양한 형식이 포함되며, 이들은 종종 많은 잡음(오타, 슬랭, 애매한 표현)을 포함하여 의미 있는 통찰을 방해할 수 있습니다. 이를 해결하기 위해서는 데이터 전처리와 특징 추출이 중요합니다.

LLM은 자동으로 텍스트에서 관련 특징을 추출할 수 있으며, 이를 통해 기존 방법으로는 포착하기 어려운 패턴과 관계를 이해할 수 있습니다. 그러나 잡음이 많은 비정형 텍스트를 처리하는 데 있어 LLM을 효과적으로 활용하려면 모델 튜닝과 검증이 필요하며, 다양한 텍스트와 잡음 수준에 잘 일반화될 수 있어야 합니다.

결론적으로, 잡음이 많고 비정형 텍스트 데이터를 처리하는 데 있어 LLM은 많은 가능성을 가지고 있습니다. 그러나 이를 극복하려면 모델 개발과 훈련 방법론에서 지속적인 발전이 필요하며, 이를 통해 더 정확하고 통찰력 있는 예측 분석이 가능해질 것입니다.

5. 데이터셋 (Datasets)

예측 및 이상 탐지 연구에서 고품질 데이터셋의 가용성은 발전을 위한 중요한 요소입니다. 이러한 데이터셋은 효과적인 탐지 알고리즘을 빠르게 개발하고 미세 조정할 수 있게 하며, 방법론적 성능을 평가하는 벤치마크를 설정합니다. 하지만 이러한 데이터셋을 획득하는 데는 상당한 재정적, 물질적, 인적 투자가 필요합니다. 이 분야는 현재 개발 초기 단계에 있으며, 데이터 양의 제한, 복잡한 샘플 특성, 누락된 라벨과 같은 문제에 직면하고 있습니다. 이 섹션에서는 예측 및 이상 탐지를 위해 LLM(대형 언어 모델)에 사용된 주요 데이터셋을 강조하고, 데이터셋 생성에서 발생하는 제한점과 문제를 평가하여 향후 데이터셋 생성에 대한 방향을 제시합니다.

5.1 예측 (Forecasting)

예측 분야에서 데이터셋의 속성은 예측 모델의 성공과 정확성을 결정하는 데 매우 중요합니다. 중요한 특성으로는 시간적 해상도와 범위가 있으며, 시간 간격의 세밀함과 데이터셋이 다루는 전체 기간이 중요한 세부 사항과 추세를 포착하는 데 필수적입니다. 완전성과 연속성도 마찬가지로 중요한데, 데이터셋에 누락된 값이 없고 연속성이 유지되어야 복잡한 보간 기술 없이 정확한 예측이 가능합니다. 변동성과 다양성도 모델이 다양한 시나리오에 노출되도록 하여, 모델이 다양한 조건에서 일반화하고 성능을 발휘할 수 있도록 도와줍니다. 비정상성 요소의 존재는 시간이 지남에 따라 통계적 속성이 변화하는 경우로, 이는 모델링에 있어 중요한 도전 과제입니다. 계절성 및 주기적 패턴도 중요한 요소로, 모델이 주기적인 변동을 정확하게 예측할 수 있도록 데이터셋이 이를 포착해야 합니다. 최근 LLM 예측 연구에서 사용된 주요 데이터셋은 다음과 같습니다:

• Amazon Review: Amazon.com의 사용자 리뷰 데이터셋으로, 2014년 1월 4일부터 2016년 10월 2일까지의 데이터를 포함하고 있으며, 제품 ID, 리뷰어 ID, 평점, 텍스트로 구성됩니다.
• Darts: 파이썬 라이브러리로, 시계열 데이터를 쉽게 조작, 예측 및 이상 탐지할 수 있도록 설계되었습니다. 8개의 단일 변수 시계열 데이터셋을 포함하고 있습니다.
• Electricity Consumption Load (ECL): 2011년에 UCI에서 수집한 데이터로, 321명의 사용자의 전력 소비량(킬로와트시 단위)을 포함하며, 각 클라이언트당 370개의 데이터 포인트가 있습니다.
• Integrated Crisis Early Warning System (ICEWS): 뉴스 기사 및 기타 소스에서 추출된 사건 데이터셋으로, 1995년부터 2014년까지 450만 개의 사건을 포함합니다.
• Informer / ETT / ETDataset: Informer 논문에서 제안된 데이터셋으로, 변압기 스테이션 69곳에서 수집된 데이터로 구성됩니다. 주요 데이터 포인트로는 목표 오일 온도 값과 6개의 전력 부하 특성이 있습니다.
• M3: M3-Competition에서 사용된 시계열 데이터셋으로, 다양한 데이터 유형과 시간 간격을 포함한 3003개의 시계열을 포함합니다.
• M4: M4 대회에서 사용된 100,000개의 시계열 데이터를 포함하며, 연간, 분기별, 월간, 주간, 일간, 시간별 데이터가 포함됩니다.
• Monash: 20개의 공개 시계열 데이터셋을 포함하는 Monash 예측 아카이브입니다.
• Text for Time Series (TETS): S&P 500 데이터셋을 기반으로 구축된 데이터셋으로, 컨텍스트 정보와 시계열 데이터를 결합한 짧은 기간 예측 실험에 사용되었습니다.

5.2 이상 탐지 (Anomaly Detection)

이상 탐지에서는 데이터셋의 속성이 탐지 모델의 효율성과 신뢰성에 중요한 역할을 합니다. 이상 탐지 작업은 정상 패턴에서 벗어난 이상을 식별하는 능력에 달려 있기 때문에, 이를 포착할 수 있는 정교하게 설계된 데이터셋이 필요합니다. 이러한 데이터셋의 주요 속성 중 하나는 정상 데이터와 이상 데이터의 표현입니다. 데이터셋은 정상 데이터를 충분히 포함하여 일반적인 행동을 기준으로 설정해야 하며, 다양한 종류의 이상도 포함되어 모델이 다양한 이상을 식별할 수 있도록 해야 합니다.

최근 LLM을 사용한 이상 탐지 연구에서 사용된 주요 데이터셋은 다음과 같습니다:

• Blue Gene/L (BGL): BlueGene/L 슈퍼컴퓨터에서 수집된 4,747,963개의 로그를 포함하며, 각 로그는 정상 또는 이상으로 수동으로 라벨링되었습니다.
• Hadoop Distributed File System (HDFS): 200개 이상의 Amazon EC2 노드에서 수집된 데이터로, 각 블록 ID와 연관된 11,175,629개의 로그 이벤트로 구성됩니다.
• OpenStack: CloudLab에서 수집된 로그 데이터셋으로, 1,335,318개의 로그 항목을 포함하며, 정상 로그와 실패가 주입된 이상 로그를 제공합니다.
• Spirit: Sandia National Labs의 Spirit 슈퍼컴퓨터에서 수집된 시스템 로그 데이터로, 2억 7천만 개 이상의 로그 메시지를 포함합니다.
• Server Machine Dataset (SMD): 대형 인터넷 회사의 28대 서버에서 수집된 5주간의 데이터를 포함하며, 각 서버는 38개의 서로 다른 센서 또는 메트릭 데이터를 1분 간격으로 기록합니다.
• Thunderbird: Sandia National Labs의 Thunderbird 슈퍼컴퓨터에서 수집된 로그 데이터셋으로, 2억 1천만 개 이상의 로그 메시지를 포함합니다.
• Yahoo S5: Yahoo Lab에서 공개된 이상 탐지용 라벨이 있는 시계열 데이터셋으로, 일부는 실제 트래픽에서 수집되고, 일부는 알고리즘적으로 생성된 시뮬레이션 데이터입니다.

5.3 요약 (Summary)

예측에서는 시간 해상도와 범위, 완전성, 연속성, 변동성, 다양성, 비정상성 요소, 계절성과 주기 패턴의 존재가 예측 모델의 성공에 필수적입니다. 이러한 속성은 데이터셋이 현실 세계의 복잡성과 변동을 반영하여 모델이 추세와 변동을 정확하게 포착하고 예측할 수 있도록 보장합니다.

이상 탐지에서는 정상 데이터와 이상 데이터의 표현, 이상 데이터의 다양성, 정상 데이터와 이상 데이터의 균형, 맥락적 풍부함, 데이터 품질이 중요합니다. 이러한 요소들은 데이터셋이 현실 세계의 시나리오를 정확하게 반영하여 LLM이 정상 및 이상 행동을 효과적으로 식별할 수 있도록 합니다.

두 분야 모두에서 대규모 고품질 데이터셋을 생성하는 데 공통적인 문제에 직면하고 있으며, 데이터셋 생성 시 누락된 라벨, 데이터의 잡음, 다양한 데이터 특성 간의 균형 문제가 여전히 중요한 과제로 남아 있습니다.

다음은 제공된 텍스트의 한국어 번역입니다:

6. 평가 지표 (Evaluation Metrics)

평가 지표는 기계 학습 및 통계 분석에서 모델을 평가하고 비교하는 데 필수적인 도구로, 특히 예측(forecasting) 및 이상 탐지(anomaly detection)와 같은 도메인에서는 중요합니다. 이 분야에서 모델이 과거 데이터를 기반으로 미래 값을 예측하거나 규범에서 벗어난 비정상적인 패턴을 식별하는 능력은 매우 중요합니다. 이러한 지표는 모델의 성능을 정량적으로 나타내며, 다양한 조건에서 모델의 예측 정확도, 신뢰성 및 강건성에 대한 통찰을 제공합니다.

6.1 정의 (Definition)

예측에서는 Mean Absolute Error (MAE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE)와 같은 지표가 실제 값과 예측 값 간의 차이를 측정하는 데 자주 사용되며, 예측 정확도를 명확하게 보여줍니다. 또한, Mean Absolute Percentage Error (MAPE)와 Symmetric Mean Absolute Percentage Error (sMAPE)는 상대적인 예측 오류를 제공하며, 서로 다른 규모나 데이터셋 간의 모델 비교에 유용합니다. 이와 관련된 정의는 다음과 같습니다:

• N: 예측 데이터 포인트의 수
• n: n ∈ {1, . . . , N }
• Yn: n번째 실제 값
• Ŷn: n번째 예측 값

이상 탐지에서는 이상치(outlier)를 효과적으로 식별하는 데 초점이 맞춰집니다. 정밀도(Precision), 재현율(Recall), 그리고 F1 스코어는 모델이 이상을 정확하게 식별하면서 잘못된 경보(false positive)와 놓친 탐지(false negative)를 최소화하는 능력을 측정하는 중요한 지표입니다. 수신자 동작 특성 곡선(Receiver Operating Characteristic, ROC)의 면적(AUROC)은 모델의 구별 능력을 종합적으로 측정하며, 다양한 임계값 설정에서 진양성률(true positive rate)과 거짓 양성률(false positive rate) 간의 균형을 평가합니다.

이와 관련된 정의는 다음과 같습니다:

• 진양성(True Positive, TP): 시스템이 이상을 올바르게 식별한 데이터 샘플 수.
• 진음성(True Negative, TN): 시스템이 정상적인 사례를 올바르게 식별한 데이터 샘플 수.
• 거짓 양성(False Positive, FP): 시스템이 정상적인 데이터를 잘못하여 이상으로 식별한 데이터 샘플 수.
• 거짓 음성(False Negative, FN): 시스템이 실제 이상을 정상으로 잘못 식별한 데이터 샘플 수.

이러한 용어는 LLM을 이상 탐지에 적용할 때 모델의 정확성과 효율성을 평가하는 데 매우 중요합니다. 거짓 양성(FP)이 많으면 자원의 낭비와 경보에 대한 둔감화가 발생할 수 있고, 거짓 음성(FN)이 많으면 중요한 문제나 침해를 놓칠 수 있습니다. 따라서 민감도(FN 최소화)와 특이도(FP 최소화)를 균형 있게 유지하는 것이 효과적인 이상 탐지 시스템을 설계하는 데 중요합니다.

6.2 지표 (Metrics)

LLM의 예측 및 이상 탐지에서 효과와 정밀도를 향상시키기 위해서는 모델의 성능을 정확하게 평가하는 강력한 지표를 사용하는 것이 필수적입니다. 이 섹션에서는 예측 정확도와 신뢰성, 이상 탐지 모델의 효율성을 다각도로 평가할 수 있는 다양한 지표를 소개합니다. 적절한 평가 지표를 선택하는 것은 모델 개발과 개선을 이끄는 중요한 요소로, LLM의 성능을 극대화하는 데 중요한 역할을 합니다.

6.2.1 예측 (Forecasting)

예측에서는 다양한 지표가 사용되어 예측 모델의 정확도와 성능을 평가합니다. MAE는 예측 오류의 평균 크기를 측정하며, MAPE 및 sMAPE는 상대적인 예측 오류를 제공하여 예측 정확도를 더욱 깊이 있게 평가합니다. MSE와 RMSE는 큰 오류에 가중치를 부여하여 큰 오류가 더 중요한 상황에서 특히 유용합니다. RMSPE와 MASE는 오류를 정규화하여 서로 다른 데이터셋 간의 모델 비교를 용이하게 합니다. 또한 MARRE, OPE, RMSLE, OWA 등 다양한 지표가 예측 성능을 더욱 세부적으로 평가하는 데 사용됩니다.

• 평균 절대 오차(Mean Absolute Error, MAE): 실제 값과 예측 값 간의 절대 차이의 평균을 측정하는 지표로, 모든 차이를 동일하게 중요하게 취급합니다.

  $MAE(Y_n, \hat{Y}_n) = \frac{1}{N} \sum_{n=1}^{N} |\hat{Y}_n - Y_n|$

• 평균 절대 백분율 오차(Mean Absolute Percentage Error, MAPE): 예측 오차를 백분율로 나타내며, 값이 0에 가까울 경우 오해의 소지가 있을 수 있습니다.

  $MAPE(Y_n, \hat{Y}_n) = \frac{100\%}{N} \sum_{n=1}^{N} \left|\frac{\hat{Y}_n - Y_n}{Y_n}\right|$

• 대칭적 평균 절대 백분율 오차(Symmetric Mean Absolute Percentage Error, sMAPE): 예측 오류의 비대칭성을 방지하며, 과대 예측과 과소 예측을 동일하게 취급합니다.

  $sMAPE(Y_n, \hat{Y}_n) = \frac{100\%}{N} \sum_{n=1}^{N} \frac{2 |\hat{Y}_n - Y_n|}{|\hat{Y}_n| + |Y_n|}$

• 평균 제곱 오차(Mean Squared Error, MSE): 예측 값과 실제 값 간의 차이를 제곱하여 평균을 내는 방식으로, 큰 오류에 더 많은 가중치를 부여합니다.

• 루트 평균 제곱 오차(Root Mean Squared Error, RMSE): MSE의 제곱근을 취하여 원래 단위로 값을 변환한 지표입니다.

  $RMSE(Y_n, \hat{Y}_n) = \sqrt{\frac{1}{N} \sum_{n=1}^{N} (\hat{Y}_n - Y_n)^2}$

• 루트 평균 제곱 백분율 오차(Root Mean Squared Percentage Error, RMSPE): 백분율 오차의 평균 제곱을 나타내는 정규화된 지표로, 서로 다른 데이터셋 간의 비교에 유용합니다.

  $RMSPE(Y_n, \hat{Y}_n) = \sqrt{\frac{1}{N} \sum_{n=1}^{N} \left(\frac{\hat{Y}_n - Y_n}{Y_n}\right)^2}$

• 평균 절대 범위 상대 오차(Mean Absolute Ranged Relative Error, MARRE): 데이터셋 내 특정 범위에 대한 절대 오차를 평가하는 지표로, 큰 범위를 가진 데이터셋에 유용합니다.

  $MARRE(Y_n, \hat{Y}_n) = \frac{1}{N} \sum_{n=1}^{N} \frac{|\hat{Y}_n - Y_n|}{\text{max}(Y) - \text{min}(Y)}$

• 전체 백분율 오차(Overall Percentage Error, OPE): 실제 값에 대한 총 오차를 백분율로 나타내는 지표입니다.

  $OPE(Y_n, \hat{Y}_n) = \frac{\sum_{n=1}^{N} |\hat{Y}_n - Y_n|}{\sum_{n=1}^{N} Y_n} \times 100\%$

• 루트 평균 제곱 로그 오차(Root Mean Squared Log Error, RMSLE): 실제 값과 예측 값 간의 비율을 측정하며, 큰 오류에 덜 민감합니다.

  $RMSLE(Y_n, \hat{Y}_n) = \sqrt{\frac{1}{N} \sum_{n=1}^{N} \left(\log(\hat{Y}_n + 1) - \log(Y_n + 1)\right)^2}$

• 전체 가중 평균(Overall Weighted Average, OWA): 여러 지표를 통합한 종합 점수로, 예측 모델 성능을 종합적으로 평가합니다.

  $OWA(Y_n, \hat{Y}_n) = \frac{1}{2} \left( \frac{MASE}{MASE_{\text{Naive2}}} + \frac{sMAPE}{sMAPE_{\text{Naive2}}} \right)$

6.2.2 이상 탐지 (Anomaly Detection)

이상 탐지에서는 정확도(Accuracy), 정밀도(Precision), **재현율

(Recall), F1 스코어, AUROC** 등의 지표가 모델의 성능을 평가하는 데 사용됩니다. 이러한 지표는 모델이 얼마나 정확하게 이상을 식별하고, 잘못된 경보를 최소화하는지 평가하는 데 중요한 역할을 합니다.

• 정확도(Accuracy): 올바르게 예측된 데이터 포인트의 비율을 나타냅니다.
  $Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$

• 정밀도(Precision): 모델이 예측한 이상 중에서 실제로 이상인 비율을 나타냅니다.

  $Precision = \frac{TP}{TP + FP}$

• 재현율(Recall): 실제 이상 중에서 모델이 올바르게 식별한 비율을 나타냅니다.

  $Recall = \frac{TP}{TP + FN}$

• F1 스코어: 정밀도와 재현율의 조화 평균으로, 두 값을 균형 있게 평가합니다.

  $F1 = 2 \cdot \frac{Precision \cdot Recall}{Precision + Recall}$

• AUROC: 다양한 임계값에서 모델이 이상과 정상 데이터를 구별하는 능력을 평가하는 종합적인 지표입니다. AUROC는 모델이 다양한 조건에서 얼마나 잘 구별하는지 보여줍니다.

  $AUROC = \int_0^1 \frac{TP}{TP + FP} d\left(\frac{FP}{FP + TN}\right)$

  궁금점들

  1. attention, self attention transformer의 관계

Self-attention, attention, 그리고 transformer는 모두 현대 딥러닝에서 매우 중요한 메커니즘이며, 특히 기계 번역 같은 작업에서 자주 사용됩니다. "apple"을 한국어로 "사과"로 번역할 때, 이 세 가지 메커니즘이 어떻게 다르게 작동하는지 구조적, 알고리즘적으로 설명하겠습니다.

1. Attention 메커니즘

Attention 메커니즘은 번역 모델이 출력의 각 단어를 생성할 때 입력 문장의 중요한 부분에 집중할 수 있도록 돕는 기법입니다. 예를 들어, 영어 문장에서 "apple"을 한국어로 "사과"로 번역할 때, 이 메커니즘은 입력 문장에서 "apple"에 더 높은 가중치를 할당해 해당 단어가 더 중요하게 다뤄지도록 합니다.

Attention 메커니즘의 동작 방식:

1. 점수 계산: 현재 번역 중인 단어(예: "사과")와 관련된 입력 문장의 각 단어에 대한 중요도를 계산합니다. 이 점수는 주로 쿼리(query)와 키(key) 벡터 간의 내적(dot product)을 통해 계산됩니다.

여기서 (q)는 쿼리 벡터, (k_i)는 입력 문장의 각 단어에 해당하는 키 벡터입니다.

2. Softmax: 계산된 점수를 softmax 함수를 통해 정규화하여 각 단어에 대한 attention 가중치를 생성합니다.

여기서 (\alpha_i)는 각 단어의 attention 가중치를 의미합니다.

3. 가중 합: 각 단어의 value 벡터를 attention 가중치로 가중합하여 컨텍스트 벡터를 생성합니다.

4. 번역: "apple"을 "사과"로 번역할 때, attention 메커니즘은 "apple"에 높은 가중치를 할당하여 번역 모델이 해당 단어에 집중하도록 합니다.

2. Self-Attention 메커니즘

Self-attention은 입력 문장의 각 단어가 그 문장 내의 다른 모든 단어에 주의를 기울이는 메커니즘입니다. 이를 통해 단어 간의 상호 의존성을 효율적으로 캡처할 수 있습니다. Self-attention은 입력 문장 내에서 단어들이 서로 어떤 관계를 맺고 있는지를 학습합니다.

Self-Attention의 동작 방식:

1. 쿼리, 키, 벨류 행렬 생성: 입력 문장의 각 단어에 대해 쿼리, 키, 벨류 벡터를 생성합니다. 이는 학습된 가중치 행렬을 통해 계산됩니다.

여기서 (X)는 입력 단어의 임베딩(embedding), (W_Q, W_K, W_V)는 각각 쿼리, 키, 벨류에 해당하는 가중치 행렬입니다.

2. Attention 점수 계산: 쿼리와 키 벡터의 내적을 통해 각 단어 간의 연관성을 계산합니다.

여기서 (d_k)는 키 벡터의 차원수로, 이를 통해 점수를 정규화합니다.

3. Softmax: 점수를 softmax로 변환해 가중치를 생성합니다.

4. 컨텍스트 벡터 계산: 각 단어의 벨류 벡터에 해당 가중치를 곱해 컨텍스트 벡터를 계산합니다.

5. 번역: "apple"을 "사과"로 번역할 때, self-attention은 문장의 다른 모든 단어와의 관계를 학습하지만 "apple"에 가장 높은 attention을 할당하여 정확하게 번역합니다.

3. Transformer 구조

Transformer는 self-attention 메커니즘을 기반으로 하고 있으며, RNN과 달리 순차적 처리가 아닌 병렬 처리를 사용하여 학습 속도를 크게 높였습니다. 이 모델은 입력 문장을 한 번에 처리하고, self-attention을 여러 층(layer)에 걸쳐 반복적으로 적용합니다.

Transformer의 동작 방식:

1. 입력 임베딩 및 위치 인코딩: 입력 문장은 벡터로 임베딩되고, 각 단어의 위치 정보를 포함한 positional encoding이 추가됩니다.

2. 멀티헤드(Self-Attention): 단일 attention이 아닌 여러 개의 attention 헤드를 사용하여, 각 헤드가 서로 다른 부분을 학습하게 합니다.

3. 피드포워드 네트워크: 각 attention 결과는 피드포워드 신경망을 거쳐 더욱 정제된 결과를 도출합니다.

4. 번역: Transformer는 입력 문장 전체를 self-attention을 통해 처리하고, 출력 문장을 생성할 때에도 self-attention을 사용하여 "apple"에 가장 중요한 가중치를 두고 "사과"로 번역합니다.

세 메커니즘의 차이점

• Attention: 입력과 출력 간의 단어 매핑에 집중하며, 단일 번역 작업에서 중요한 단어에 높은 가중치를 줍니다.
• Self-Attention: 입력 문장 내에서 단어들 간의 관계를 모두 고려하여 단어 간의 상호 의존성을 파악합니다.
• Transformer: Self-attention 메커니즘을 여러 층에서 반복 적용하며, 병렬 처리를 통해 빠르고 효율적으로 번역을 수행합니다.

"apple"을 "사과"로 번역할 때, Transformer는 self-attention을 통해 입력 문장 전체의 맥락을 고려하면서도, "apple"에 가장 중요한 가중치를 부여하여 정확한 번역을 생성합니다.