주차별 논문 정리
2주차 — Deep SAD
3주차 — SoftPatch
4주차 — SimpleNet
5주차 — WinCLIP
6주차 — AnomalyCLIP
7주차 — Self-Supervised Learning for ASD
8주차 — Pre-trained Models for ASD
9주차 — AnoPatch
- AnoPatch: Towards Better Consistency in Machine Anomalous Sound Detection (Jiang et al., Interspeech 2024) — AudioSet 사전학습 ViT 활용
- https://arxiv.org/abs/2406.11364
10주차 — Unsupervised Signal Anomaly Transformer
11주차 — Multi-Scale Self-Supervision (BYOL)
12주차 — Masked SSL + Swin Transformer
12주차 주제("Masked SSL + Swin Transformer — 비라벨 진동 신호 베어링 진단")와 관련해 참고할 만한 대안 논문들을 찾았습니다.
12주차 대안 논문 후보
1. MSFormer (원조 격 논문, 가장 유사한 컨셉)
- A Mask Self-Supervised Learning-Based Transformer for Bearing Fault Diagnosis With Limited Labeled Samples (Cen, Yang, Wu et al., IEEE Sensors Journal, 2023, Vol.23, No.10, pp.10359-10369)
- https://ieeexplore.ieee.org/document/10098752/
- 마스킹 기반 SSL로 사전학습 후 소량의 라벨 데이터로 파인튜닝하는 구조. 원 커리큘럼의 Swin Transformer 논문의 직접적인 선행연구 격입니다.
2. Multi-scale masking 기반 self-supervised transfer learning
- A Novel Multi-Task Self-Supervised Transfer Learning Framework for Cross-Machine Rolling Bearing Fault Diagnosis (Electronics, 2024)
- https://doi.org/10.3390/electronics13234622
- 여러 스케일의 마스킹 기법을 설계해 진동 신호 복원 기반 SSL을 수행 — cross-machine(기계 간 전이) 설정까지 다룸.
3. Progressive masking + teacher-student 구조
4. ViT + DINO 기반 self-distillation (Transformer 계열 대안)
- A Wavelet Transform and Self-Supervised Learning-Based Framework for Bearing Fault Diagnosis with Limited Labeled Data (Jin et al., 2022/arXiv)
- https://arxiv.org/abs/2207.10432
- Swin 대신 ViT + DINO(자기증류) 방식을 사용해, "Transformer 계열 백본 선택"이라는 관점에서 대조 강의자료로 적합.
추천: 강의 흐름상 12주차 원 논문(Swin Transformer, Machines 2025)과 함께 1번(Cen et al., MSFormer)을 "마스킹 SSL 기반 베어링 진단"의 계보 초기 논문으로, 2번(Multi-Task SSL, Electronics 2024)을 최신 확장판으로 짝지어 소개하면 강의 스토리(마스킹 SSL 기법의 발전 과정)가 자연스럽게 이어집니다.
몇 가지 참고할 점:
- 3주차 SoftPatch는 원래 NeurIPS 2022에 게재되었고, arXiv 2403.14233은 이후 업데이트된 버전입니다.
- 8주차는 "BEATs 등"이라는 표현과 정확히 일치하진 않지만(이 논문은 wav2vec 2.0, HuBERT, BEATs 등 여러 대형 사전학습 모델을 비교), 커리큘럼 흐름(ICASSP 2024, ASD + 대형 사전학습 모델)상 가장 근접한 논문입니다. 혹시 커리큘럼 원저자가 참조한 논문이 다를 가능성도 있습니다.