[Paper Review] RaPP: Novelty Detection with Reconstruction along Projection Pathway

TAEHYEONG·2021년 6월 29일
0

Anomaly Classification

목록 보기
1/1

Abstract

우리는 딥 오토 인코더에서 얻은 숨겨진 공간 활성화 값을 활용하여 신규성 감지를 위한 새로운 방법론인 RAPP를 제안합니다. 정확하게 RAPP는 입력 공간뿐만 아니라 숨겨진 공간에서도 입력과 자동 인코더 재구성을 비교합니다. 재구성된 입력을 동일한 오토 인코더에 다시 공급하면 숨겨진 공간의 활성화된 값이 원래 입력이 주어진 숨겨진 공간의 해당 재구성과 동일함을 보여줍니다. 입력의 참신함을 정량화하기 위해 숨겨진 활성화된 값을 집계하는 두 가지 메트릭을 고안합니다. 다양한 데이터 세트를 사용하는 광범위한 실험을 통해 RAPP가 오토 인코더 기반 접근 방식의 신규성 감지 성능을 향상시키는지 검증합니다. 게다가, 우리는 RAPP가 인기 벤치마크에서 평가된 최근의 참신함 탐지 방법보다 성능이 우수하다는 것을 보여줍니다.

1. Introduction

정규성 정보만 제공될 때 새로움을 어떻게 특성화할 수 있습니까? 신규성 감지는 데이터 샘플이 훈련 데이터와 관련하여 이상 값인지를 결정하는 메커니즘입니다. 이 메커니즘은 감지 대상의 비율이 본질적으로 작은 상황에서 특히 유용합니다. 사기 거래 탐지(Pawar et al., 2014; Porwal & Mukund, 2018), 침입 탐지(Lee, 2017; Aoudi et al., 2018), 비디오 감시(Ravanbakhsh et al., 2017; Xu et al., 2015b), 의료 진단(Schlegl et al., 2017; Baur et al., 2018) 및 장비 고장 감지(Kuzin & Borovicka, 2016; Zhao et al., 2017; Beghi et al., 2014). 최근에는 딥 오토 인코더와 그 변종들이 복잡한 데이터에서 간결한 표현을 찾는 데 탁월한 성능을 보여주었고, 재구성 오류는 새로움을 감지하는 인기 있는 척도로 선택되었습니다(An & Cho, 2015; Vasilev et al., 2018).그러나 이러한 접근 방식은 딥 오토 인코더에 의해 식별되는 은닉 공간의 계층적 표현을 충분히 활용하지 못하는 입력 공간에서만 재구성 품질을 측정하는 한계가 있습니다.

본 논문에서는 입력 값과 자동 인코더 재구성 값 외에 숨겨진 활성화 값을 활용하여 참신한 샘플을 탐지하는 새로운 방법인 RAPP를 제안한다. 일반적인 재구성 기반 방법은 입력 계층 이전의 입력 데이터와 출력 계층에서 재구성된 데이터 간의 차이를 비교하여 참신함을 감지하는 반면, RAPP는 이러한 비교를 숨겨진 공간으로 확장합니다. 먼저 오토 인코더에 원래 입력을 공급하여 숨겨진 활성화 값 세트를 수집합니다. 그 후, 우리는 히든 레이어에서 다른 활성화 값 세트를 계산하기 위해 오토 인코더 재구성된 입력을 오토 인코더에 공급합니다. 이 절차에는 오토 인코더에 대한 추가 교육이 필요하지 않습니다. 차례로, 우리는 숨겨진 활성화 값의 두 세트를 집계하여 입력의 참신함을 정량화합니다. 이를 위해 우리는 두 가지 지표를 고안합니다. 첫 번째 측정 항목은 입력 공간과 숨겨진 공간의 총 재구성 오류 양을 측정합니다. 두 번째 메트릭은 합산하기 전에 재구성 오류를 정규화 합니다. RAPP는 입력 계층 이전의 입력 값과 출력 계층에서 재구성된 값만 집계하는 경우 일반 재구성 기반 방법으로 돌아갑니다.

또한 RAPP 개발을 촉진한 동기를 설명합니다. 재구성된 입력을 오토 인코더에 공급하여 얻은 숨겨진 공간의 활성화 값이 원래 입력에 대한 숨겨진 공간의 해당 재구성과 동일함을 보여줍니다. 후자의 양을 입력의 숨겨진 재구성이라고 합니다. 이것은 숨겨진 공간에 대한 재건의 자연스러운 확장입니다. 불행히도, 자동 인코더가 훈련 중에 숨겨진 계층의 인코딩-디코딩 쌍 사이에 어떠한 대응도 부과하지 않기 때문에 일반 재구성의 계산 에서처럼 숨겨진 재구성을 직접 계산할 수 없습니다. 그럼에도 불구하고 우리는 재구성된 입력을 오토 인코더에 다시 공급하여 계산할 수 있음을 보여줍니다. 결과적으로, RAPP는 참신함을 감지할 때 숨겨진 재구성 오류와 일반적인 재구성 오류를 통합합니다.

광범위한 실험을 통해 다양한 데이터 세트를 사용하여 우리의 방법이 오토 인코더 기반 신규성 감지 방법을 효과적으로 개선한다는 것을 보여줍니다. 또한 RAPP가 최근 개발한 경쟁 방법을 능가하는 인기 벤치마크 데이터 세트를 평가하여 보여줍니다.

우리의 기여는 다음과 같이 요약됩니다.

  • 우리는 입력의 숨겨진 활성화 값과 자동 인코더 재구성을 활용하여 새로운 참신성 감지 방법을 제안하고 입력의 참신성을 정량화할 수 있는 집계 함수를 제공합니다.

  • RAPP가 입력 공간의 재구성 개념을 숨겨진 공간으로 확장하는 동기를 부여합니다. 정확하게, 우리는 재구성된 입력의 숨겨진 활성화 값이 원래 입력의 해당 숨겨진 재구성과 동일하다는 것을 보여줍니다.

  • 우리는 RAPP가 다양한 데이터 세트에서 오토 인코더 기반 신규성 감지 방법을 개선한다는 것을 보여줍니다. 또한 RAPP가 인기 있는 벤치마크 데이터 세트에서 최근의 참신함 감지 방법을 능가하는지 검증합니다.

심층 신경망을 사용하는 다양한 신규성 탐지 방법은 재구성 오류에 의존합니다 (Sakurada & Yairi, 2014; Hoffmann, 2007; An & Cho, 2015), 차별적 학습 체계는 실제로 일반적으로 흔히 볼 수 있는 고등급 불균형 데이터에 적합하지 않기 때문입니다. 비지도 및 반지도 학습 접근 방식은 정규성의 특성화에 초점을 맞추고 정규성에서 벗어난 샘플을 감지하여 이러한 불균형을 처리합니다.

VAE (Variational Autoencoder) (Kingma & Welling, 2014)는 재구성 오류를 기반으로 한 신규성 감지에서 바닐라 자동 인코더를 능가하는 것으로 보고되었습니다 (An & Cho, 2015). 이 접근 방식에 설명된 참신함 감지를 수행하려면 오토 인코더를 일반 데이터로만 훈련해야 합니다. 오토 인코더는 이 경우 일반 데이터로만 구성된 학습 데이터를 저차원 공간으로 인코딩하고 입력 공간으로 디코딩 합니다. 참신함을 테스트하기 위해 입력 값이 오토 인코더에 공급되어 재구성된 값을 생성하고 입력 값과 재구성된 값 사이의 거리를 계산합니다. 이 거리가 재구성 오류입니다. 재구성 오류가 높으면 입력 값을 일반 데이터를 나타내는 저차원 공간에 인코딩 할 수 없음을 의미합니다. 따라서 재구성 오류가 특정 임계 값을 초과하면 입력 값이 참신함으로 표시될 수 있습니다.

오토 인코더 대신 Generative Adversarial Networks (GAN)도 정규 데이터의 분포를 모델링 하기 위해 제안되었습니다 (Sabokrou et al., 2018; Schlegl et al., 2017). 더 간단하고 낮은 차원의 표현을 발견하는 동일한 목적에도 불구하고 GAN의 훈련 기준은 훈련 데이터의 재구성 품질보다는 데이터 생성 품질에 초점을 맞추고 있습니다. 최근 몇 가지 연구에서 자동 인코더와 적대적 학습을 결합하여 차원 축소 및 데이터 생성 기준을 모두 충족했습니다 (Haloui et al., 2018; Pidhorskyi et al., 2018; Zenati et al., 2018). 일반적인 재구성 오류에 기반한 이러한 방법의 한 가지 제한은 딥 오토 인코더의 프로젝션 경로를 따라 사용 가능한 모든 정보를 활용하지 않는다는 것입니다. 다음 섹션에서는 이 정보를 신규성 감지에 활용하는 방법을 설명합니다.

신규성 탐지에서 정규 데이터의 다양성과 비율의 관점에서 볼 때 두 가지 사례가 있습니다. 첫 번째 경우는 소수의 클래스가 정상인 경우입니다. 이 사례는 단일 클래스 분류 컨텍스트에서 연구되었으며 일반적으로 훈련 데이터를 소수의 정규 클래스에 속하는 샘플 모음으로 구성하여 평가합니다 (Ruff et al., 2018; Perera & Patel, 2018; Sabokrou et al. ., 2018; Golan & El-Yaniv, 2018). 두 번째 경우는 대부분의 클래스가 정상적으로 할당되는 경우입니다 (An & Cho, 2015; Schlegl et al., 2017; Haloui et al., 2018; Zenati et al., 2018). 이 경우 정규 데이터는 더 다양하며 훈련 데이터는 비교적 많은 수의 정규 클래스 (예 : MNIST 9 자리)의 샘플로 구성됩니다. 하나의 설정이 다른 설정을 지배하지는 않지만 응용 프로그램에 따라 둘 중 하나가 다른 설정보다 더 적합할 수 있습니다. 두 경우 모두 다른 방법이 다르게 수행될 수 있습니다. 이 백서에서는 두 설정 모두에서 실험을 통해 RAPP 및 기타 경쟁 방법을 평가합니다.

3. Proposed Method: RaPP

이 장에서는 제안하는 오토 인코더 기반의 신규성 검출 방법 RAPP에 대해 설명한다. 주요 아이디어는 입력의 숨겨진 활성화와 오토 인코더의 투영 경로를 따라 숨겨진 재구성을 비교하는 것입니다. 정확히 말하면, 우리는 입력과 자동 인코더 재구성을 숨겨진 공간에 투영하여 활성화 값 쌍을 얻고 이를 집계하여 입력의 참신함을 정량화합니다. 집계를 위해 각 쌍 내 총 차이를 측정하기 위해 두 가지 메트릭을 제공합니다.

3.1 Reconsruction based Novelty Detection

오토 인코더 A는 인코더 g와 디코더 f로 구성된 신경망으로, 각각 차원 축소 및 원래 입력 공간에 대한 역 매핑을 담당합니다. 즉, A=f◦g. 이를 위해 오토 인코더 훈련은 입력 x와 출력 A(x) 간의 차이를 최소화하는 것을 목표로 합니다. 인코더 g가 구성하는 공간을 잠재 공간이라고 하며 입력 공간보다 데이터를 더 간결하게 표현합니다.

이 비지도 학습 특성으로 인해 오토 인코더는 신규성 감지에 널리 사용되었습니다. 특히, 일반 데이터 샘플에 대해 오토 인코더를 훈련 시키면 테스트 샘플 x의 참신함은 다음 재구성 오류 e로 측정됩니다.

테스트 샘플 x는 오류 e(x)가 커질수록 새로운 가능성이 더 큽니다. x가 오토 인코더가 설명하는 매니폴드에서 더 멀다는 것을 의미하기 때문입니다.

이 접근 방식은 참신함 탐지에서 유망한 결과를 보여 주었지만, 특히 아키텍처가 깊을 때 훈련된 자동 인코더가 제공하는 정보를 재구성 오류만으로는 완전히 악용하지 않습니다. 즉, 딥 아키텍처에 의해 식별되는 계층적 정보는 무시됩니다. 이는 계층적 표현 학습이 심층 신경망의 가장 성공적으로 입증된 기능 중 하나이기 때문에 다소 불행한 일입니다.

이 기능을 최대한 활용하기 위해 아래에서는 숨겨진 공간을 활용하여 일반 샘플과 새로운 샘플 간의 차이를 더 자세히 캡처하는 방법을 설명합니다.

3.2 Reconstruction Error in Hidden Spaces

A=f◦g를 훈련된 자동 인코더로, 여기서 g와 f는 인코더와 디코더이고 l는 g의 숨겨진 레이어 수입니다. 즉, g = gl ◦ · · · ◦ g1. g의 부분 계산을 다음과 같이 정의합니다.

3.2.1 Simple Aggregation along Pathway (SAP)

이것은 H에서 정의할 수 있는 가장 간단한 메트릭입니다. 데이터 샘플 x의 경우 SAP는 H의 모든 쌍에 대한 유클리드 거리의 제곱을 합산하여 정의됩니다.

3.2.2 Normalized Aggregation Along Pathway (NAP)

SAP는 직관적이지만 숨겨진 공간의 속성을 고려하지 않습니다. H에서 쌍의 거리 분포는 개별 숨겨진 공간에 따라 다를 수 있습니다. 예를 들어 거리의 크기는 레이어에 따라 달라지거나 SAP에서 의도하지 않게 강조된 레이어 간에 상관관계가 있는 뉴런이 존재할 수 있습니다. 보다 명확한 패턴을 포착하기 위해 직교화 및 스케일링의 두 단계를 통해 거리를 정규화 할 것을 제안합니다.

4. Motivation of RaPP

일반적인 재구성 방법을 사용할 때의 한 가지 자연스러운 질문은 다음과 같습니다. 입력 공간만 조사하는 이유는 무엇입니까? 아니면 숨겨진 공간에서 정보를 사용하지 않는 이유는 무엇입니까? 입력 공간의 재구성 오류가 광범위하게 사용되지만 숨겨진 공간에는 유사한 개념이 존재하지 않습니다. 한 가지 이유는 해당 인코딩 및 디코딩 레이어가 동일한 공간을 표현한다고 보장되지 않기 때문입니다. 순열 치수. 이는 오토 인코더 목표에 중간 히든 레이어의 활성화와 관련된 용어가 없기 때문입니다. 그 결과, fl:i+1(g(x))는 g:i(x)의 재구성으로 간주될 수 없습니다. 단, i=0이 각각 오토 인코더의 일반 재구성 및 입력이 되는 경우를 제외하고는 예외입니다.

그럼에도 불구하고 이 섹션에서는 숨겨진 재구성을 계산하는 간접적인 방법이 있음을 보여줄 것입니다. 정확하게, hˆi(x)=g:i(A(x))가 실제로 g:i(x)의 재구성과 동일함을 보여줄 것입니다. 전체 메커니즘은 그림 1b에 나와 있습니다.

4.1 Computation of Hidden Reconstruction

Quantifying Hidden Reconstruction

Existence of f

Existence of f with Neural Networks

5. Evaluation

이 섹션에서는 기존 방법과 비교하여 RAPP를 평가합니다. 이를 위해 Kaggle과 UCI 저장소에서 수집한 여러 벤치마크와 다양한 데이터 세트에서 방법을 테스트했으며, 이는 참신함 탐지 방법을 평가하는데 적합합니다.

5.1 Datasets and Problem Setups

Kaggle 및 UCI 저장소의 데이터 세트는 표 1에 요약된 이상 탐지 및 다중 클래스 분류의 문제 세트에서 선택됩니다. MI-F 및 MI-V는 동일한 기능 매트릭스를 공유하지만 다른 데이터 세트로 간주됩니다. 정상 및 비정상 레이블은 서로 다른 열 (예 : 각각 기계 완료 및 육안 검사 통과)에 의해 지정되기 때문입니다. 이 데이터 세트를 사용하여 RAPP를 섹션 5.2에 설명된 표준 자동 인코더 기반 방법과 비교합니다.

최근 문헌에서 RAPP와 참신한 탐지 방법을 비교하기 위해 딥러닝 기술을 평가하기 위해 인기 있는 벤치마크 데이터 세트인 MNIST (LeCun & C ortes, 2010) 및 FMNIST (Xiao et al., 2017)도 사용합니다. 이러한 데이터 세트의 경우 사전 분할 학습 및 테스트 세트를 사용하지 않고 대신 사후 처리를 위해 병합합니다.

참신 감지는 모델 학습된 정상 패턴과의 편차에 초점을 맞춰 새로운 패턴을 감지합니다. 따라서 학습 세트에는 정상 샘플만 포함되고 테스트 세트에는 평가 설정의 정상 및 비정상 샘플이 모두 포함됩니다. 정확하게 데이터 세트에 이상 레이블이 포함된 경우 해당 레이블이 있는 모든 샘플을 감지를 위해 테스트 세트에 할당합니다. 데이터 세트에 이상 레이블이 없는 경우 다음 두 가지 설정을 고려합니다.

  • Multimodal Normality: 단일 클래스가 참신 클래스로 선택되고 나머지 클래스는 일반 클래스로 지정됩니다. 이 설정은 가능한 모든 참신함 할당이 있는 하위 데이터 세트를 생성하기 위해 반복됩니다. 예를 들어, MNIST는 10개의 서로 다른 참신한 클래스가 있는 데이터 세트 세트를 생성합니다.

  • Unimodal Normality: 다중 모드 정규성 설정과 달리, 우리는 정규성에 대해 하나의 클래스를, 참신함에 대해 다른 클래스를 취합니다. 예를 들어 MNIST는 10개의 서로 다른 일반 클래스가 있는 데이터 세트 세트를 생성합니다.

이 두 가지 설정을 STL, OTTO, SNSR, MNIST 및 F-MNIST 데이터 세트에 적용했습니다.

5.2 Comparison Method

AUROC (Area Under Receiver Operating Characteristic)를 사용하여 RAPP와 다른 방법을 비교합니다. 비정상 샘플에 대한 액세스는 테스트 시간에만 허용되기 때문에 F1 점수와 같은 임계 값 기반 메트릭을 사용하지 않습니다. 따라서 우리는 AUROC를 사용하여 참신함을 위한 모델 분리성에 중점을 둡니다.

표 1의 데이터 세트에 대해 Autoencoder (AE), Variational Autoencoder (VAE), Adversarial Autoencoder (AAE) (Makhzani et al., 2016)의 세 가지 모델에 대한 재구성 오류, SAP 및 NAP의 효과를 비교합니다. 벤치마크 데이터 세트의 경우 OCNN (Chalapathy et al., 2018), GPND (Pidhorskyi et al., 2018), DSVDD (Ruff et al., 2018) 및 GT (Golan & El-Yaniv, 2018)를 포함한 최근 접근 방식을 사용할 수 있습니다. 기존 접근 방식의 성능을 얻기 위해 해당 코드를 다운로드하고 문제 설정에 적용했습니다.

MNIST 및 F-MNIST의 경우 다중 모드 설정의 경우 35%, 단일 모드 설정의 경우 50%의 신규성 비율 테스트 세트를 생성합니다. 여기서 테스트 세트의 신규성 샘플은 주어진 신규성 클래스에서 무작위로 선택됩니다. 다른 데이터 세트의 경우 주어진 참신 클래스의 모든 샘플을 가져와 테스트 세트를 만듭니다. AUROC의 기댓값은 신규성 비율에 불변합니다.

5.3 Implementation Details

세 가지 기본 모델인 AE, VAE 및 AAE에 대해 완전히 연결된 계층이 있는 대칭 아키텍처를 사용합니다. 각 인코더와 디코더에는 병목 크기가 다른 10개의 레이어가 있습니다. Kaggle 및 UCI 데이터 세트의 경우 먼저 각 데이터 세트에 대해 PCA를 수행합니다. 최소 90%의 분산을 설명하는 주 구성 요소의 최소수가 오토 인코더의 병목 크기로 선택됩니다. 벤치마크 데이터 세트에 대해 병목 크기를 20으로 설정했습니다. Leaky-ReLU (Xu et al., 2015a) 활성화 및 배치 정규화 (Ioffe & Szegedy, 2015) 레이어는 마지막 레이어를 제외한 모든 레이어에 추가됩니다.

Adam 최적화 프로그램 (Kingma & Ba, 2015)을 사용하여 AE, VAE 및 AAE를 훈련하고 검증 손실이 가장 낮은 모델을 최상의 모델로 선택합니다. VAE의 훈련 안정성을 위해 10개의 Monte Carlo 샘플을 재 매개 변수화 트릭 (Kingma & Welling, 2014)에서 평균화하여 디코더에서 재구성을 얻었습니다. SAP 및 NAP 계산에서 MNIST 및 F-MNIST의 입력 공간에서 재구성을 제외했습니다.

5.4 Results

각 AUROC 점수는 신경망 훈련의 무작위 오류를 줄이기 위해 여러 번의 시도에서 AUROC 점수를 평균화하여 얻습니다. MNIST 및 F-MNIST의 경우 5번의 시도, 다른 데이터 세트의 경우 20번의 시도입니다. 부록 B의 표준 편차, 오토 인코더 변형 C 이외의 기준과 비교, 부록 D의 RAPP 계산과 관련된 다양한 은닉층의 효과에 대한 더 많은 결과가 부록에 제공됩니다.

5.4.1 Comparison with Baselines

표 2는 성능 평가 결과를 요약한 것입니다. 각 모델의 최고 점수는 굵게 표시되고 각 데이터 세트의 최고 점수는 밑줄이 있습니다. STL, OTTO, SNSR, MNIST 및 F-MNIST에는 변칙 레이블이 없기 때문에 가능한 모든 변칙 클래스 할당에 대해 점수가 평균화됩니다. 예를 들어, 단봉 정규성 설정에서 OTTO에 대한 AUROC 값은 다른 참신 클래스 할당이 있는 9개의 AUROC 값의 평균입니다.

표 2에서 RAPP는 대부분의 경우에 가장 높은 AUROC 점수를 보여줍니다. 각 데이터 세트의 성능을 조사하면 RAPP는 15개 중 10개 케이스에서 최고를 달성합니다 (밑줄 참조).

5.4.2 Comparison with Competitors

표 3은 RAPP와 최근 신규성 검출 방법의 비교를 요약한 것입니다. 표 2에서와 같이 AUROC 값은 두 데이터 세트에 대해 서로 다른 비정상 클래스가 할당된 10개 케이스의 결과를 평균하여 계산됩니다.

단일 모드 F-MNIST 설정을 제외하고 NAP는 기본 모델 선택에 관계없이 모든 경쟁 방법을 능가합니다. 특히, VAE와 결합된 NAP는 항상 최고의 성능을 보여 주며, 이는 모든 경우에 대해 이미지 특정 데이터 변환에 의존하는 GT의 성능보다 훨씬 높습니다.

6. Conclusion

본 논문에서는 딥 오토 인코더의 투영 경로를 따라 숨겨진 재구성을 활용하는 참신한 검출 방법을 제안합니다. 이를 위해 입력 공간의 재구성 개념을 오토 인코더가 찾은 숨겨진 공간으로 확장하고 오토 인코더를 수정하거나 재교육할 필요가 없는 숨겨진 재구성을 계산하는 다루기 쉬운 방법을 제시합니다. 우리의 실험 결과는 제안된 방법이 인기 벤치마크를 포함한 다양한 데이터 세트에 대해 AUROC 측면에서 다른 경쟁 방법보다 우수한 것으로 나타났습니다.

0개의 댓글