[논문 리뷰] Stochastic Deep Koopman Model for Quality Propagation Analysis in Multistage Manufacturing Systems (2023.12 Manufacturing Systems Journal)

구자협·2026년 2월 2일
DLMuanufacturing SystemsTraceability논문리뷰딥러닝제조 AI
post-thumbnail

다단계 제조 시스템(MMS)의 복잡한 공정을 모델링하기 위해 최근 딥러닝이 도입되고 있으나, 높은 비용과 전문 지식, 그리고 낮은 해석력이 장벽으로 작용하고 있다. 본 논문에서는 이를 해결하기 위해 Stochastic Deep Koopman (SDK) 프레임워크를 제안한다.

원본 paper는 해당 링크를 참고하시길 바랍니다.

Summary

01 Problem
기존 딥러닝 모델의 '블랙박스(해석 불가)' 문제와 SoV 모델의 '선형성 제약'으로 인해, 복잡한 비선형 다단계 제조 공정(MMS)의 인과관계를 규명하지 못하는 한계

02 Idea
VAE로 추출한 잠재 변수를 Koopman 연산자로 전파시켜, 비선형 공정을 '해석 가능한 선형 모델'로 변환하고 확률적(Stochastic) 분포로 노이즈를 제어한다.

03 Challenge
현대 제조 공정의 고도 비선형성(Non-linearity)을 다루면서, 동시에 현장의 심각한 노이즈 및 불확실성(Uncertainty)을 극복하고 공정 간 결합(Coupling)을 수학적으로 풀어내는 것

04 Contribution
SDK 프레임워크를 통해 기존 SOTA 모델 대비 최고의 예측 정확도(MSE)를 달성하고, 품질 변동의 '추적 가능성(Traceability)'을 확보하여 근본 원인 분석을 가능하게 함.

05 Pros & Cons
(강점) 노이즈 환경에서도 강건한 높은 예측 정확도와 희소성(Sparsity) 기반의 해석력
(약점) 학습을 위한 방대한 데이터 및 센서 투자 비용, 차원 확장(Lifting)에 따른 계산 복잡도 증가 우려

06 Takeaway
복잡한 시계열/공정 데이터에서 '인과관계 규명'이 중요하다면, 딥러닝에 Koopman 이론을 접목하여 비선형성을 '제어 가능한 선형성'으로 변환하는 접근법이 매우 유효하다.

07 Limitation
현장 적용을 위한 방대한 데이터 확보(Data Acquisition)의 어려움과 비용 문제, 이를 해결하기 위한 연합 학습(Federated Learning) 도입이나 물리 지식(Physics-informed) 통합이 후속 과제임

0. Abstract

  • SDK의 핵심은 VAE(Variational Autoencoder)로 추출한 주요 품질 정보를 Koopman 연산자를 통해 선형적으로 전파시키는 데 있다. 이를 통해 복잡한 비선형적 품질 변화를 해석 가능한 선형 모델로 포착할 수 있다. 오픈소스 데이터셋을 활용한 비교 실험 결과, SDK는 기존 데이터 기반 모델보다 뛰어난 단계별 예측 정확도를 보였다.

  • 특히, SDK 고유의 선형 전파 특성(Linear Propagation)은 공정 전반의 품질 변화를 추적(Traceability) 가능하게 하여 근본 원인 분석을 용이하게 한다. 결론적으로, 본 프레임워크는 물리적 도메인 지식 없이도 적용 가능한 범용적인 가상 계측(Virtual Metrology) 도구로서, 제조 산업의 궁극적 목표인 ZDM(Zero Defect Manufacturing) 실현에 기여한다.

1. Introduction

이 연구는 다단계 제조 시스템(MMS)의 품질 관리를 위한 기존 접근 방식들이 가진 다음과 같은 한계점들을 지적하고 저자들은 이러한 문제를 해결하기 위해 Stochastic Deep Koopman (SDK) 프레임워크를 제안한다.

1.1 Problem Definition

1. 다단계 제조 시스템(MMS)의 복잡성: MMS는 공정이 연속적으로 연결되어 상호 의존성이 높기 때문에, 특정 단계의 품질이 이전 단계들의 누적된 영향을 받아 인과관계를 규명하기 어렵다.

2. 기존 딥러닝(Deep Learning)의 한계: DNN, CNN 등은 비선형 데이터 처리와 예측 성능이 우수하지만, 내부가 블랙박스(Black-box)여서 불량 발생 시 근본 원인을 설명하거나 추적할 수 없다.

기존 해석 가능 모델(SoV)의 한계: 변동 전파(SoV) 모델은 수학적 해석력은 뛰어나지만, 시스템이 선형(Linear)이어야 한다는 제약 때문에 복잡한 현대의 비선형 공정에는 적용이 불가능하다.

1.2 Solution

1. Koopman Operator를 통한 선형화: 비선형 동적 시스템을 고차원 잠재 공간으로 매핑하여 선형적으로 진화(Linearly Evolve)**하게 만듦으로써, 비선형 공정에서도 선형 모델의 해석 가능성을 확보했다.

2. 확률적 VAE 기반의 강건한 특징 추출: VAE를 통해 핵심 품질 지표를 자동 추출하고, 동시에 잠재 변수를 가우시안 분포(Gaussian Distribution)로 모델링하여 공정 노이즈에 대한 강건성(Robustness)을 확보했다.

3. 단계별 품질 전파 및 추적 가능성: 전체 공정을 뭉뚱그리지 않고 단계별(Stage-wise) 전파 과정을 모델링하여, 중간 단계의 품질을 예측하고 이상 발생 시 원인 공정을 정확히 추적할 수 있게 했다.

2. Literature Review

제조 시스템에 가상 계측(Virtual Metrology, VM)을 통합하기 위한 연구는 꾸준히 진행되어 왔다. 특히 딥러닝(Deep Neural Network, DNN)의 등장은 고차원 데이터 처리에 획기적인 발전을 가져왔지만, 다단계 제조 시스템(MMS)에 적용하기에는 여전히 명확한 한계가 존재한다.

따라서, 기존 연구들의 흐름을 단일 공정 vs 다단계 공정, 그리고 해석 가능성(Interpretability) 측면에서 분석하고, 왜 새로운 접근법이 필요한지 알아보고자 한다.

2.1 딥러닝 기반 VM의 발전과 한계 (Single-Stage)

최근 연구들은 복잡한 시스템을 근사(Approximation)하기 위해 다양한 DNN 변형 모델들을 시도했다.

  • LSTM: 시계열 데이터의 장기 의존성을 학습하기 위해 LSTM을 활용했다.

  • CNN: 용접이나 적층 제조(Additive Manufacturing) 같은 공정에서는 이미지 데이터를 처리하여 결함을 탐지하기 위해 CNN이 사용되었다.

이러한 접근법의 가장 큰 장점은 자동화된 특징 공학(Automated Feature Engineering)으로서, 사람의 개입 없이도 중요한 특징을 추출할 수 있다. 하지만 치명적인 단점으로 해석력 부족과 대부분의 연구가 단일 단계 공정(Single-stage)에 국한되어 있다는 점이다.

2.2 다단계 제조 시스템(MMS) 한계

  • 실제 생산 라인은 여러 스테이션이 연결된 MMS(Multistage Manufacturing Systems) 형태이다. MMS 모델링이 어려운 이유는 '공정 간 결합(Interstage Couplings)' 때문이다. 특정 단계의 품질은 현재 공정뿐만 아니라 이전 단계들의 누적된 영향을 받는다.

  • 기존의 데이터 기반 방식은 모든 단계의 정보를 뭉뚱그려(Aggregate) 학습한다. 이는 공정 간의 인과관계를 가려버려, 불량 발생 시 어느 공정이 문제인지(Bottleneck) 파악하기 어렵게 만든다.

2.3 기존 MMS 모델링 기법의 한계 (SoV 및 기타)

기존 연구들과 제안하는 SDK 모델 간의 특징 비교(자동화된 특징 추출, 비선형성 지원, 해석 가능성, 단계별 예측)

  • Monitoring the state of intermediate product: Clustering[18], PCA+Decision Tree[19] 등을 통해 중간 제품을 분류하려 했으나, 직접적인 품질 수치 예측에는 한계가 있었다.

  • Graph/Attention Network : PGAT(path enhanced bidirectional graph attention network)[21]나 Multi-task learning[22] 등은 공정 간 상호작용을 학습하려 했으나, 운영 의사결정을 지원하는 프레임워크로는 부족함이 있었다.

  • Bayesian Methods: 불확실성을 다룰 수 있지만[23, 24], 공정 변수 분포에 대한 사전 지식(Prior Knowledge)이 필요하여 복잡한 시스템에 적용하기 어렵다.

  • SoV (Stream-of-Variation) 분석:

    • MMS 모델링의 주류인 SoV 분석은 상태 공간(State Space)을 이용해 변동 전파를 모델링한다.

    • 가시성이 뛰어나고 제어(Control)가 쉽다는 장점이 있지만, "선형 동적 시스템(Linear Dynamics)"이어야 한다는 강력한 제약 조건이 있다.

    • 최근에는 신경망과 SoV를 결합하려는 시도[28, 29]가 있었지만, 비선형 전이(Nonlinear Transition)로 인해 공정 제어나 공차 할당 같은 최적화 알고리즘을 적용하기 어려워지는 문제가 발생한다.

2.4 Stochastic Deep Koopman(SDK) 제안

본 논문은 위에서 언급한 한계들을 극복하기 위해 새로운 프레임워크를 제안한다.
VAE + Koopman Operator 우리는 각 공정 단계에 Variational Autoencoder (VAE)를 적용하여 핵심 품질 정보를 추출하고, Koopman Operator를 통해 이 정보가 공정을 따라 어떻게 전파되는지를 모델링한다.

이 프레임워크는 다음 세 가지 핵심 속성을 가진다.

  1. 확장성 (Scalability): 센서 데이터의 자동 처리를 통해 대규모 시스템에 적용 가능

  2. 유연성 (Extensibility): 비선형 시스템도 모델링 가능

  3. 해석 가능성 (Interpretability): 선형 잠재 역학(Linear Latent Dynamics)을 통해 의사결정 지원

2.5 Main Contributions

  1. MMS 특화 가상 계측: 단순 예측을 넘어 공정 간 품질 '전파(Propagation)'에 초점을 맞춘 프레임워크 설계

  2. 선형성(Linearity) 확보: Koopman Operator를 통해 비선형 품질 전파를 선형적으로 표현함으로써, 근본 원인 분석(Root Cause Analysis)을 위한 가시성과 해석력 제공

  3. 확률적(Stochastic) 모델링: 새로운 확률적 딥러닝 기법을 통해 불필요한 정보를 제거하고, 공정 및 센서 노이즈에 대한 강건성(Robustness) 확보

3. Problem Statement

이 연구는 NN개의 단계(Stage)로 이루어진 다단계 제조 시스템(MMS)을 정의하는 것에서 시작합니다. 각 단계 kk에서는 공정 센서 데이터(XkX_k)가 수집되고, 이에 따른 제품 품질(YkY_k)이 결정됩니다.

3.1 품질 추정의 인과성 (Causality)

다단계 공정의 핵심은 "누적된 영향" 이다. kk 단계에서의 품질 Y~k\tilde{Y}_k는 해당 단계의 데이터뿐만 아니라, 그 이전의 모든 공정(11부터 kk까지)의 영향을 받아 결정된다.

  • Y~k=gk(X1,...,Xk),k≥1(1)\tilde{Y}_k = g_k(X_1, ..., X_k), \quad k \geq 1 \quad \text{(1)}

    • 현재의 품질(YkY_k)은 과거부터 현재까지의 모든 공정 변수(X1…XkX_1 \dots X_k)에 의해 결정되는 인과적(Causal) 관계를 가진다. 즉, 품질을 정확히 예측하려면 전체 공정의 이력을 모두 고려해야 한다.

3.2 기존 SoV 모델의 접근과 한계

이러한 인과관계를 풀기 위해 기존의 SoV(Stream-of-Variation) 모델은 다음과 같은 선형 상태 공간 방정식(State-Space Equation)을 사용해 왔다.

  • Y~i=AiY~i−1+BiXi(2)\tilde{Y}_i = A_i \tilde{Y}_{i-1} + B_i X_i \quad \text{(2)}

    • AiY~i−1A_i \tilde{Y}_{i-1} (Propagation): 이전 단계의 품질이 현재 단계로 전이되는 영향 (전이 행렬)
    • BiXiB_i X_i (Current Impact): 현재 단계의 공정 변수가 품질에 미치는 직접적인 영향 (입력 행렬)

핵심 문제
식 (2)는 복잡한 비선형(Nonlinear) 시스템을 선형 관계(A,BA, B 행렬)로 단순화하여 근사한다.
하지만 현대의 제조 공정은 고도로 비선형적이기 때문에, 이러한 선형 모델(Linearized mapping)로는 실제 품질 변동을 정확하게 포착하는 데 근본적인 한계가 존재한다.

따라서, 이 논문은 식 (1)의 비선형성을 유지하면서도, 식 (2)처럼 명쾌한 전파 구조를 가질 수 있는 새로운 프레임워크(Koopman)를 제안한다.

4. Preliminary: Koopman Operator Theory

본 논문의 핵심 엔진인 Koopman Operator에 대해 먼저 짚고 넘어가고자 한다. 공학 수학이나 제어 이론을 공부하신 분들에게는 익숙할 수도 있지만, 이 논문에서는 딥러닝과 결합하여 아주 독창적인 방식으로 사용되었다.

4.1 비선형 시스템을 다루는 두 가지 관점

우리가 흔히 마주치는 현실의 시스템은 대부분 비선형(Nonlinear)이다.

xt+1=F(xt)x_{t+1} = F(x_t)

이러한 비선형 시스템을 해석하거나 제어하기 위해 우리는 보통 선형화(Linearization) 과정을 거친다.

  1. 기존의 방식 (Local Linearization): 테일러 급수 전개(Jacobian) 등을 이용해 특정 동작점(Operating Point) 근처에서만 선형적으로 근사한다. 하지만 이는 국소적(Local)이라 시스템의 전반적인 거동을 설명하지 못한다.

  2. Koopman의 방식 (Global Linearization): 1931년 B.O. Koopman이 제안한 방식으로, 관점을 완전히 바꾼다. 상태 변수 xx 자체를 보는 것이 아니라, 측정 함수(Measurement Function) γ(x)\gamma(x)를 통해 무한 차원의 힐베르트 공간(Hilbert Space)으로 매핑하면, 그 공간에서는 시스템이 선형적으로 진화한다는 이론이다.

4.2 Koopman Operator의 정의

Koopman Operator KK는 다음과 같이 정의된다.

γ(xt+1)=γ∘F(xt)=Kγ(xt)\gamma(x_{t+1}) = \gamma \circ F(x_t) = K\gamma(x_t)

즉, 원래 공간(xx)에서는 복잡하게 꼬여있는 비선형 움직임(FF)이, 새로운 고차원 공간(γ\gamma)에서는 단순한 행렬 곱(KK) 형태의 선형 움직임으로 표현된다는 것이다.

4.3 Time vs Stage

기존의 Koopman 연구들은 대부분 시간(Time)에 따른 유체 역학이나 동적 시스템의 변화를 예측하는 데 사용되었다. 하지만 본 논문(SDK Framework)의 독창적인 점은 이 개념을 시간(tt)이 아닌 제조 단계(Stage, kk)에 적용했다는 것이다.

"제조 공정의 단계별 품질 변화(Quality Propagation)를 Koopman Operator를 통해 선형적으로 풀어내겠다."
이것이 바로 이 논문이 복잡한 다단계 공정을 해석 가능한 선형 모델로 바꿀 수 있었던 핵심 이론적 배경이라고 볼 수 있다.

5. Proposed Method

해당 paper의 핵심이라고 볼 수 있는 부분이다. 크게 기본이 되는 결정론적(Deterministic) 모델을 설명한 뒤, 이를 현실적인 노이즈 처리가 가능한 확률적(Stochastic) 모델(SDK)로 확장하는 순서로 구성되어 있다.

  • 이 연구의 목표는 다단계 제조 시스템(MMS)의 비선형성을 잠재 공간(Latent Space)으로 가져와 선형적으로 풀어내는 것이다.
  • 저자들은 먼저 기본 모델(Base Model)을 제안하고, 이를 노이즈에 강건한 확률적 모델(SDK)로 발전시킨다.
  • 전체 프레임워크는 각 단계(Stage kk)마다 1) 인코딩(Encoding), 2) Koopman 전이(Transition), 3) 예측(Prediction)의 세 가지 모듈로 구성된다.

5.1 Encoding Module by AE

첫 번째 단계는 복잡한 공정 데이터(XkX_k)를 Koopman 이론이 적용 가능한 불변 부분공간(Invariant Subspace)으로 매핑하는 것이다.

  • 목표: 비선형적인 품질 전파가 선형적으로 근사될 수 있는 잠재 공간을 찾는 것이다.

  • 왜 PCA가 아닌 AE인가? PCA는 차원 축소를 목적으로 하지만, Koopman 이론에서는 선형성을 확보하기 위해 때로는 차원을 유지하거나 늘려야 한다. Autoencoder(AE)는 비선형 매핑이 가능하므로, 최적의 부분공간을 찾는 데 훨씬 유연하다.

  • 수식: H^k=ϕk(Xk)\hat{H}_k = \phi_k(X_k)

    • 여기서 H^k\hat{H}_k는 현재 단계의 공정 데이터에서 추출한 일시적 품질 지표(Temporal Quality Indicators)이다.
    • 학습: 디코더(ψk\psi_k)는 학습 시에만 사용되며, 입력 데이터(XkX_k)와 재구성된 데이터(X~k\tilde{X}_k) 사이의 차이(Reconstruction Loss)를 줄이는 방향으로 인코더를 학습시킨다.

5.2 Koopman Transition Module

  • 이 프레임워크의 핵심 엔진이다. 현재 단계의 품질(HkH_k)은 '현재 공정의 영향(H^k\hat{H}_k)' + '이전 단계에서 넘어온 영향(Hk−1H_{k-1})'으로 결정된다.

  • 선형 전파 수식: Hk=H^k+Kk−1Hk−1H_k = \hat{H}_k + K_{k-1}H_{k-1}

위 수식에서 Kk−1K_{k-1}이 바로 Koopman 행렬이다.
이 수식을 통해 비선형 시스템을 잠재 공간에서 선형적으로 다룰 수 있게 된다.

  • 대각 행렬 (Diagonal Matrix): 계산 효율성과 해석력을 위해 KK를 대각 행렬로 구성한다. 이는 각 품질 지표가 서로 섞이지 않고 독립적으로 전파(Decoupled Propagation)됨을 의미하여 추적 가능성을 높인다.

  • 동적 행렬 (Input-dependent Matrix):기존 연구들이 KK를 고정된 정적 행렬로 둔 것과 달리, 이 논문에서는 Auxiliary Network를 통해 입력 데이터(XX)에 따라 고윳값(λ\lambda)이 변하도록 설계했다.

    • 장점: 고정된 선형 모델이 아니라, 입력 조건(작업 환경)에 따라 변화하는 동적인 선형 모델을 구현하여 정확도를 높였다.

5.3 Prediction Module

  • 잠재 공간에서 선형적으로 전파된 최종 품질 지표(HkH_k)를 이용해 실제 품질 지수(YkY_k)를 예측한다.

  • 구조: 간단한 2계층 MLP(Multi-layer Perceptron)를 사용한다.

    Y~k=MLPk(Hk)\tilde{Y}_k = \text{MLP}_k(H_k)

  • 의미: 전체 시스템을 수식으로 풀면 비선형이지만, 내부의 전파 과정(Accumulation)은 Koopman 행렬들의 곱으로 이루어진 선형 시스템이다. 즉, "복잡한 비선형성"을 "선형 전파 + 비선형 매핑"으로 분해한 것이다.

5.4 Two-step Training

  • 복잡한 딥러닝 모델을 한 번에 학습시키면 그래디언트 소실/폭주 등으로 인해 불안정해질 위험이 있다. 저자들은 이를 방지하기 위해 2단계 학습법을 제안한다.

1. Step 1: 사전 학습 (Pre-training)

  • AE 학습: 각 단계별로 오토인코더를 비지도 학습으로 먼저 훈련시켜 데이터 재구성 능력을 확보한다.

  • 전이 모듈 학습: 순차적으로(Stage 1 -> N) Koopman 모듈과 예측 모듈을 학습시킨다.

2. Step 2: 미세 조정 (Fine-tuning)

  • 모든 모듈을 연결하여 전체 네트워크를 구성하고, 전체 손실 함수(Total Loss)를 최소화하도록 튜닝한다.

  • Loss Function: 예측 오차(LpredL_{pred}) + 재구성 오차(LreconL_{recon})

5.5 Stochastic Deep Koopman Model (SDK)

  • 제조 현장은 항상 노이즈와 불확실성이 존재한다. 따라서 기본 모델(Base Model)은 이를 완벽히 다루지 못하므로, 저자들은 확률적(Stochastic) 접근을 도입

  • AE →\rightarrow VAE: 오토인코더를 Variational Autoencoder (VAE)로 교체한다. 이제 잠재 변수는 고정된 값이 아니라 가우시안 분포(μ,σ\mu, \sigma)를 가진다.

    P(H^k∣Xk)∼N(μ^k,σ^k2)P(\hat{H}_k | X_k) \sim \mathcal{N}(\hat{\mu}_k, \hat{\sigma}^2_k)

  • 분포의 전파 (Propagation of Distribution):평균(μ\mu)과 분산(σ\sigma)이 각각 별도의 Koopman 연산자를 통해 전파된다.

    • μk=μ^k+Kk−1μμk−1\mu_k = \hat{\mu}_k + K^{\mu}_{k-1}\mu_{k-1}

    • ln⁡σk=ln⁡σ^k+Kk−1σln⁡σk−1\ln \sigma_k = \ln \hat{\sigma}_k + K^{\sigma}_{k-1} \ln \sigma_{k-1}

      두 개의 별도 Auxiliary Network를 사용하여 평균용 행렬(KμK^\mu)과 분산용 행렬(KσK^\sigma)을 각각 생성한다.

  • Reparameterization Trick: 확률 분포에서 샘플링을 하면 미분이 불가능해져 역전파(Backpropagation) x 따라서 재파라미터화 트릭 사용

    • Hk=μk+ϵ⋅σk,where ϵ∼N(0,1)H_k = \mu_k + \epsilon \cdot \sigma_k, \quad \text{where } \epsilon \sim \mathcal{N}(0, 1)랜덤 노이즈 ϵ\epsilon을 별도로 분리하여, μ\mu와 σ\sigma에 대해 미분이 가능하도록 만든다. 이렇게 생성된 HkH_k가 최종 예측 모델(MLP)의 입력으로 들어간다.

  • 손실 함수의 변화: VAE를 사용하므로, 학습 시 잠재 변수가 정규 분포를 따르도록 강제하는 KL-Divergence (LKLDL_{KLD}) 항이 추가된다.

  • Ltotal=∑i=1N(ρiLpred,i+θi(Lrecon,i+ωiLKLD,i))\mathcal{L}_{total} = \sum_{i=1}^{N} \left( \rho_i \mathcal{L}_{pred,i} + \theta_i (\mathcal{L}_{recon,i} + \omega_i \mathcal{L}_{KLD,i}) \right) \quad \text{}

    • Lpred\mathcal{L}_{pred}: 정답(품질)을 얼마나 잘 맞췄는가? (예측 오차)

    • Lrecon\mathcal{L}_{recon}: 원본 데이터(XX)를 얼마나 잘 복원하는가? (재구성 오차)

    • LKLD\mathcal{L}_{KLD} (KL-Divergence): 학습된 잠재 분포 P(H^k∣Xk)P(\hat{H}_k|X_k)가 표준 정규분포 N(0,I)\mathcal{N}(0, I)와 얼마나 유사한가? (정규화 항)

6. Case Study: Results and Analysis

실제 디트로이트 근처의 고속 연속 제조 라인에서 수집된 "Multistage continuous-flow manufacturing process (MCMP)" 오픈소스 데이터셋을 사용하여 모델을 검증

  • 시스템 구성: 2단계(Stage) - 5개 기계(Machine) 구조
    • Stage I: 3개의 병렬 기계(Machine 1, 2, 3) →\rightarrow 결합기(Combiner)
    • Stage II: 2개의 직렬 기계(Machine 4, 5).
  • 데이터:
    • 입력 (XX): 총 55개 변수 (Stage I: 41개, Stage II: 14개)
    • 출력 (YY): 각 단계별 15개의 품질 측정값 (총 30개 레이블)

6.1 Data Pre-processing

MCMP 데이터셋의 품질 측정값(레이블)은 노이즈가 많고 오류가 잦다는 문제가 있다. 따라서 기존 연구에서는 마스킹 기법을 사용했지만, 본 paper에서는 이를 개선하기 위해 자동화된 노이즈 제거(Denoising) 기법 제안

  • 자동 전처리 2단계

    • Zero-reading 제거: 데이터의 20% 이상이 0으로 기록된 레이블은 신뢰할 수 없으므로 삭제
    • 이상치(Outlier) 제거: 남은 레이블 중, 중위수(Median)로부터 표준편차의 3.5배를 벗어나는 값은 이상치로 간주하여 제거

  • 결과

    • 전처리 후, 예측해야 할 품질 레이블의 개수는 Stage I에서 8개 (q1=8q_1=8), Stage II에서 13개 (q2=13q_2=13)로 최종 형성

6.2 Implementation Details

  • 데이터 분할: 전체 데이터를 학습(70%), 검증(10%), 테스트(20%) 세트로 무작위 분할

  • 잠재 공간 크기 (dhd_h): 모든 단계의 잠재 변수 차원을 60으로 통일(dh,1=dh,2=60d_{h,1} = d_{h,2} = 60)

    • 이유: 충분히 큰 잠재 공간을 만들어두면, 각 공정 단계는 그 중 자신에게 필요한 일부 부분공간(Subset)에만 영향을 미치게 되므로 모델링이 가능하기 때문이다.
    • 이에 따라 Koopman 행렬들(K,Kμ,KσK, K^\mu, K^\sigma)의 크기는 모두 60×6060 \times 60이 된다.

  • 하이퍼파라미터 설정

    • Batch size: 64
    • Learning rate: 사전 학습(Pre-training) 시 10−310^{-3}, 미세 조정(Fine-tuning) 시 3×10−43 \times 10^{-4}
    • 가중치: θ=0.1\theta = 0.1 (재구성 오차 가중치), ω=5×10−5\omega = 5 \times 10^{-5} (KL Divergence 가중치), ρ=1\rho = 1 (예측 오차 가중치)

6.3 Performance Evaluation

저자들은 MCMP(Multistage continuous-flow manufacturing process) 데이터셋을 활용해 SDK와 최신 알고리즘들의 성능을 비교 분석했다. 결론적으로 SDK는 단순 정확도뿐만 아니라, 가변적인 공정 조건과 노이즈 환경에서도 가장 신뢰할 수 있는 모델임이 확인되었다.

1. Benchmarks

  • 기본 모델: ANN (기초 신경망), RF (Random Forest)

  • SOTA 모델: PGAT (그래프 어텐션), DMMTL (다단계 멀티태스크 학습)

  • Ablation 모델: S-AEK (정적 Koopman 행렬), E-AEK (동적 Koopman 행렬)

2. Quantitative Results

  • SDK의 우수성: SDK는 Stage I, Stage II 및 전체 MSE에서 가장 낮은 오차를 기록하며 최고의 성능을 입증했다.
  • RF: Random Forest(RF)가 일부 딥러닝 모델보다 우수한 성능을 보였는데, 이는 데이터셋의 크기가 작고 전처리가 잘 되어 노이즈가 적었기 때문으로 분석된다.
  • 단계별 난이도: 누적된 공정 영향으로 인해 모든 모델에서 Stage I보다 Stage II의 예측 오차가 더 높게 나타났다.

3. Robustness Analysis

  • E-AEK vs. S-AEK: 정상 범위에서는 비슷하나, 조건이 급변하는 구간에서는 입력 데이터에 따라 변하는 동적 전이 행렬을 가진 E-AEK가 더 우수한 성능을 보인다.
  • SDK: SDK는 확률적(Stochastic) 모델링을 통해 공정 노이즈와 이상치에 대한 강건성을 확보하여, 모든 작동 구간에서 가장 안정적이고 낮은 오차를 기록했다.

6.4 Anaysis in the Latent Space

SDK 모델이 블랙박스가 아니라, 잠재 공간(Latent Space) 분석을 통해 공정의 내부 거동을 어떻게 투명하게 보여주는지 설명한다.

1. 잠재 차원의 결정 (Dimension Lifting)

  • Koopman 기반 아키텍처는 선형 근사를 효과적으로 수행하기 위해 특징의 차원을 확장(Lift)해야 한다. 저자들은 Elbow Method를 사용하여 최적의 잠재 차원을 dh,k=60d_{h,k} = 60으로 결정했다. 차원이 너무 크면 계산 비용이 늘어나고 그래디언트 소실 문제가 발생할 수 있다.

2. 전이 행렬의 시각화 및 희소성 (Sparsity)

  • 학습된 Koopman 전이 행렬을 시각화하면 품질 지표가 어떻게 전파되는지 직관적으로 볼 수 있다. 아래 그림에서 대각 성분의 밝은 점들은 품질 전파 경로를 나타낸다.

  • 결과 해석: K1μ\mathcal{K}^{\mu}_1는 35개, K1σ\mathcal{K}^{\sigma}_1는 20개의 0이 아닌 고윳값(Eigenvalues)을 가진다.
  • 의미: 전체 잠재 변수 중 약 절반만이 다음 단계 품질에 유의미한 영향을 미친다는 희소성(Sparsity)을 보여준다.

이는 이상 발생 시 어떤 지표가 문제였는지 역추적(Backtracking)하여 근본 원인(Root Cause)을 빠르게 파악할 수 있게 해준다.

3. SoV 모델과의 연결성

  • SDK는 데이터로부터 핵심 지표와 전이 행렬을 스스로 학습한다는 점에서, 사전 물리 지식이 필수적인 전통적 SoV(Stream-of-Variation) 방법론의 한계를 극복한 데이터 기반 SoV라고 볼 수 있다.

6.5 Interpretability of SDK

Koopman 모듈 자체는 선형이라 해석이 쉽지만, 앞뒤에 붙은 신경망(Encoder, Prediction)은 여전히 블랙박스입니다. 이를 보완하기 위해 민감도 분석(Sensitivity Analysis)을 수행하여 모델의 설명력을 높였다.

1. 민감도 분석 방법
확률적 네트워크의 특성상 계산이 까다롭지만, 노이즈 변수(ϵ\epsilon)를 0으로 고정하여 명목 작동 조건(Nominal Condition)에서의 입력 변수 중요도를 계산했다.

2. 분석 결과
위 히트맵에서 밝은 부분은 해당 공정 변수가 품질에 큰 영향을 미침을 나타낸다.
분석 결과, 일부 소수의 공정 특성(Sparse subset)만이 최종 품질을 결정한다는 것을 알 수 있다. 반면, 어두운 영역(품질과 상관관계가 낮은 변수들)은 향후 더 정밀한 모니터링을 위해 추가적인 센서 데이터 확보가 필요함을 시사한다.

6.6 Discussion

1. SDK의 차별점

  • 기존 VM 아키텍처들이 여러 모델을 이어 붙여(Splicing) 사용하는 것과 달리, SDK는 통합된 프레임워크 안에서 단계별 품질 추정을 수행한다. 이를 통해 중간 단계의 지표들까지 정교하게 조정되어 전체적인 예측 정확도를 높이고 실시간 제어 알고리즘 설계를 용이하게 한다.

2. 한계점 (Limitations) 및 비용

  • 데이터 및 센서 투자: 학습을 위해 방대한 산업 데이터가 필요하며, 이를 위한 센서 설치 비용과 시간이 소요된다.

  • 계산 복잡도: 잠재 공간의 차원 확장과 2단계 학습 과정으로 인해 계산 복잡도가 증가할 우려가 있다.

  • 반론: 하지만 실험 결과 전체 학습 시간은 기존 NN 기반 모델들과 비슷했다. 초기 투자 비용은 향상된 운영 효율성과 ZDM(무결점 제조) 달성을 통해 충분히 상쇄될 수 있다.

7. Conclusion

본 논문은 제조 경쟁력 확보와 ZDM(Zero Defect Manufacturing) 실현을 위해, 다단계 제조 시스템(MMS)에서 실시간으로 결함을 감지할 수 있는 Stochastic Deep Koopman (SDK) 모델을 제안했다.

  • 핵심 기여점 (Key Conclusions)

    • 새로운 프레임워크: VAE와 Koopman Operator를 결합하여, 공정 라인을 따라 품질이 전파되는 과정을 단계별(Stage-by-stage)로 정확히 포착

    • 향상된 해석 가능성: 기존 블랙박스 모델과 달리, 품질 변동의 추적 가능성(Traceability)을 높여 근본 원인 분석(Root Cause Analysis)과 효과적인 품질 제어를 가능하게 했다.

    • 범용성 (Versatility): 복잡한 물리적 도메인 지식 없이도 데이터만으로 학습이 가능하여, 다양한 제조 현장에 유연하게 적용될 수 있는 가상 계측(VM) 도구임을 입증했다.

  • 향후 연구 방향 (Future Works):

    • 데이터 확보: 연합 학습(Federated Learning)을 도입하여 데이터 부족 문제 해결 및 협업 모델 개발

    • 성능 고도화: 물리적 지식(Physical Knowledge)을 데이터 기반 모델에 통합하는 Physics-informed Learning 적용.

    • 확장성: 단순 감지를 넘어 실시간 제어(Control) 및 경제성/지속가능성 분석(ROI)으로의 연구 확장

profile
구자협
Time Series Analysis, Artifical Intelligence
이전 포스트

[논문 리뷰] Advancements in Soft-Sensor Technologies for Quality Control in Process Manufacturing: A Review (IEEE Sensors Journal 2025.05)

다음 포스트

[논문 리뷰] Machine node-enhanced graph contrastive learning with long-range prompt model for quality propagation in multistage manufacturing systems (2025.08 Manufacturing Systems Journal)

0개의 댓글