Abstract 최근 Time-series Anomaly Detection을 위해 제안된 연구들은 여러 Dataset에서 높은 F1 Score를 보이기때문에 Time-series Anomaly Detection 연구가 발전한 것처럼 보인다. 그러나 모델의 평가과정에서 수행되는 Point Adjustment라는 방법론에 의해 이상 탐지 모델이 과대평가될 가능성이 큼을 지적한다. 본 논문에서는 무작위로 초기화된 이상치 점수 조차도 Point Adjustment 방법론을 사용하면 State-of-the-arts 성능을 달성할 수 있음을 밝혔다. 또한, PA를 사용하지 않는 상황에서 훈련되지 않은 모델이 기존 모델들과 비슷한 성능을 얻을 수 있음을 보여줌으로써 Time-series Anomaly Detection에 대한 의문을 제기한다. 연구결과를 바탕으로 새로운 Metric과 Evaluation protocol을 제안한다. Introduction 4차 산업혁명으로 시스템

Abstract Jobshop에 스마트 센서와 IoT가 널리 보급됨에 따라 예측 제조를 위한 제조 BigData 처리에 대한 필요성이 증가하고 있다. 본 연구에서는 DL 기반으로 Job remaining Time을 예측하는 제조 BigData를 구상한다. 데이터 수집, 데이터셋 설계, 예측 모델링의 세 부분으로 구성된 JPT 예측 절차를 개발하였다. 이를 위해 Stacked sparse Autoencoder라는 모델을 구축한다. 이 연구는 생산 중에 JRT를 예측하는 최초의 Deep learning 기반 연구이며, 실험 결과 S-SAE 모델이 기존의 Linear regression, Backpropagation network, Multi-layer network 및 Deep belief network보다 높은 정확도를 보였다. Introduction RFID기술이 생산라인에서 WIP, 공작 기계, 자재, 작업자 및 기타 물리적 자산 간의 연결성을 획기적으로 높이면서

Abstract 딥러닝은 고품질의 label이 존재하는 대규모의 Dataset에 대해 높은 성능을 달성하였습니다. 그러나 이런 Dataset은 일부 전문 영역의 경우 정확하고 효율적으로 주석을 달기에는 많은 비용이 들고 어렵다. 반면, rough한 label은 훨씬 더 쉽게 획득할 수 있으므로 이를 이용하는 부분에서 발생하는 문제를 해결하기 위해 MaskCon이라는 Contrastive learning 방법을 제안한다. 이 방법은 Finer labelling 문제를 해결하기 위해 Coarse-labelled dataset을 활용하는 것이다. 보다 구체적으로, Contrastive learning Framework 내에서 각 sample에 대해 다른 sample에 대한 coarse label과 해당 sample에 대한 soft-label을 생성하는 방식이다. 제안 방법론은 coarse label에 의한 sample distance를 기반으로 soft-label을 제안한다. 이를

Abstract Deep networks는 Latent representation space에 데이터를 삽입하고 다음 작업을 완료하는 데 강력한 역량을 가지고 있다. 그러나 이러한 능력은 대부분 고품질 label에 비롯된다. Noisy label은 수집 비용이 낮지만 일반화 성능이 떨어지는 단점을 가진다. 본 논문에서는 Robust representation을 학습하고 noisy label을 처리하기 위해 Selective supervised contrastive learning을 제안한다. Sel-CL은 noise가 많은 label을 사용할 때 성능이 저하되는 문제를 가진 Supervised Contrastive learning을 확장한 것이다. Sel-CL은 label에 존재하는 noise로 인해 representation learning의 성능이 저하되는 Sup-CL의 문제를 보완하기 위해 Noise pair 중에서 신뢰할 수 있는 pair를 선택한다. 해당 선택 과

Background Transfer learning Data가 부족한 상황이거나 수집하는 데 많은 비용이 드는 경우에서 Model 구축을 위해 Data가 풍부한 분야에서 훈련된 Model을 재사용하는 학습 기법을 의미한다. Catastrophic forgetting 1 Transfer learning을 진행하는 과정에서 Neural network가 다른 종류의 Task를 학습하면 이전에 학습했던 Task에 대한 성능이 감소하는 현상이다. Continual learning 2 획득한 지식을 점진적으로 확장

Motivation 일반적으로 Fault diagnosis를 위한 Data-driven한 방법은 Train data와 Test data가 동일한 분포를 따른다는 가정 하에 수행된다. 그러나 현실 세계에서는 Domain shift로 인해 해당 가정이 성립하지 않는다. 또한 Domain shift는 Sour domain에서 Label이 있는 데이터로 학습한 결과로 알 수 있는 Pattern knowledge를 Target domain에서의 Label이 없는 Test 데이터에 적용하는 Generalization ability를 저하시킨다. 추가적으로 Target domain에서 유효한 Labeling하는 과정이 쉽지 않다. Contribution 본 논문에서는 DL 기반 Bearing fault

Abstract Dynamic time warping은 시계열의 유사성을 측정하는 효율적인 방법이다. 그러나 노이즈와 이상치로 인해 Singularity 문제와 편향의 위험에 노출될 수 있다. DTW의 시간 복잡도는 시계열 길이에 비해 2차적이기 때문에 실시간 Application에 적용할 수 없다. 이에 따라 Noise와 이상치의 영향을 줄이기 위한 RobustDTW라는 새로운 유사성 측정 방법을 제안한다. RobustDTW는 Temporal graph trend filtering을 활용하여 trend를 추정하고 시간 왜곡을 최적화한다. 효율성을 향상시키기 위해 저해상도에서 Trend와 warp function을 추정한 다음 고해상도에서 반복적으로 refine하는 다단계로 이루어진 Framework를 제안한다. Introduction Dynamic time warping은 시계열의 유사도를 측정하는 방법으로 다양항 Task에 사용되지만 한계가 존재한다. 첫째, 실제

1 Abstract Real-world에서 시계열은 복잡한 Temporal-dynamics를 가지며, 이로 인해 이상 탐지에 어려움이 발생함에 따라 Temporal Hierarchical One-class network를 제안한다. 제안 모델은 Skip-connection을 도입한 Dilated RNN을 사용하여 다양한 scale에서 Temporal-dynamics을 포착한다. Hierachical clustering process로 얻은 여러 Clustering boundary을 사용하여 Multiscale Vector Data Description을 정의하고, 이를 통해 Temporal dynamics을 잘 포착하도록 한다. Introduction 실제 Time-series는 Nonlinear

1 Motivation Time series data에 대한 일반화 가능한 Representation을 학습하는 것은 근본적으로 어려운 문제이다. 이러한 Representation을 생성함으로써 얻을 수 있는 많은 즉각적인 이점이 있으며, 그 중 Pre-train 기능이 특히 바람직하며 실질적으로 매우 중요하다. 그러나 Time series 분야에서 Dataset간에 공유되고 지식을 이전할 수 있는 속성에 대한 아이디어에 관한 문제가 있다. 이러한 문제를 완화하기 위해 Self-supervised learning이 해결책으로 떠오르고 있다. 이에 따라 본 논문에서는 Time-frequency Consistency을 모델링하는 전략을 소개한다. TF-C는 동일한 Time series sample에서

1 Motivation DL을 활용한 시계열 예측에 관한 연구가 활발히 진행되고 있는 가운데, LSTM/RNN계열 모델에서 TCNs과 Transformer 기반의 모델이 주류가 되고 있다. 최근 CV & NLP 영역에서의 표현학습의 성공의 영향으로 시계열 예측 분야에서도 표현학습이 도입되고 있다. 이러한 흐름에서 본 논문은 시계열 예측에 더 유용한 Disentangled Seasonal-Trend Representation을 학습하는 새로운 Framework인 CoST를 제안한다. Contribution 인과적 관점을 통해 Contrastive learning을 통한 Time series forecasting을 위한 Seasonal-trend representation 학습의 이점을 보여준다. 2

1 Motivation 최근 딥러닝을 활용한 시계열 예측에 관한 연구가 활발히 진행되고 있다. 이러한 연구의 이점은 충분한 양의 데이터가 있는 경우에만 나타나기 시작하기 때문에 이는 시계열 또는 시계열당 관측치 수가 제한되어 있는 일반적인 예측 문제에 대한 Challenge가 있음을 뜻한다. 이를 해결하기 위해 등장한 방법론이 Domain Adaptation이며, 이 방법론을 시계열에 적용하기 위해서는 두가지 문제를 해결해야 하는데 첫번째는 시계열 내에서 진화하는 패턴을 보이는 시계열의 시간적 특성 문제이고, 두번째는 도메인별로 Output space의 차이가 발생하는 문제이다. 저자는 이러한 문제들을 해결하기 위해 Attention-based Domain adaptation 방법론을 제안한다. Cont