[모두의 연구소] 주차별 논문 리스트 (260720)

WonTerry·2026년 7월 20일

Deep Learning

목록 보기
13/34

주차별 논문 정리

2주차 — Deep SAD

3주차 — SoftPatch

4주차 — SimpleNet

5주차 — WinCLIP

6주차 — AnomalyCLIP

7주차 — Self-Supervised Learning for ASD

8주차 — Pre-trained Models for ASD

9주차 — AnoPatch

  • AnoPatch: Towards Better Consistency in Machine Anomalous Sound Detection (Jiang et al., Interspeech 2024) — AudioSet 사전학습 ViT 활용
  • https://arxiv.org/abs/2406.11364

10주차 — Unsupervised Signal Anomaly Transformer

11주차 — Multi-Scale Self-Supervision (BYOL)

12주차 — Masked SSL + Swin Transformer


12주차 주제("Masked SSL + Swin Transformer — 비라벨 진동 신호 베어링 진단")와 관련해 참고할 만한 대안 논문들을 찾았습니다.

12주차 대안 논문 후보

1. MSFormer (원조 격 논문, 가장 유사한 컨셉)

  • A Mask Self-Supervised Learning-Based Transformer for Bearing Fault Diagnosis With Limited Labeled Samples (Cen, Yang, Wu et al., IEEE Sensors Journal, 2023, Vol.23, No.10, pp.10359-10369)
  • https://ieeexplore.ieee.org/document/10098752/
  • 마스킹 기반 SSL로 사전학습 후 소량의 라벨 데이터로 파인튜닝하는 구조. 원 커리큘럼의 Swin Transformer 논문의 직접적인 선행연구 격입니다.

2. Multi-scale masking 기반 self-supervised transfer learning

  • A Novel Multi-Task Self-Supervised Transfer Learning Framework for Cross-Machine Rolling Bearing Fault Diagnosis (Electronics, 2024)
  • https://doi.org/10.3390/electronics13234622
  • 여러 스케일의 마스킹 기법을 설계해 진동 신호 복원 기반 SSL을 수행 — cross-machine(기계 간 전이) 설정까지 다룸.

3. Progressive masking + teacher-student 구조

  • Self-supervised progressive learning for fault diagnosis under limited labeled data and varying conditions (ScienceDirect, 2025)
  • https://www.sciencedirect.com/science/article/abs/pii/S0925231225007982
  • 마스킹 난이도를 점진적으로 조절하는 teacher-student 프레임워크로, 12주차 논문과 마스킹 전략 설계 관점에서 비교하기 좋음.

4. ViT + DINO 기반 self-distillation (Transformer 계열 대안)

  • A Wavelet Transform and Self-Supervised Learning-Based Framework for Bearing Fault Diagnosis with Limited Labeled Data (Jin et al., 2022/arXiv)
  • https://arxiv.org/abs/2207.10432
  • Swin 대신 ViT + DINO(자기증류) 방식을 사용해, "Transformer 계열 백본 선택"이라는 관점에서 대조 강의자료로 적합.

추천: 강의 흐름상 12주차 원 논문(Swin Transformer, Machines 2025)과 함께 1번(Cen et al., MSFormer)을 "마스킹 SSL 기반 베어링 진단"의 계보 초기 논문으로, 2번(Multi-Task SSL, Electronics 2024)을 최신 확장판으로 짝지어 소개하면 강의 스토리(마스킹 SSL 기법의 발전 과정)가 자연스럽게 이어집니다.


몇 가지 참고할 점:

  • 3주차 SoftPatch는 원래 NeurIPS 2022에 게재되었고, arXiv 2403.14233은 이후 업데이트된 버전입니다.
  • 8주차는 "BEATs 등"이라는 표현과 정확히 일치하진 않지만(이 논문은 wav2vec 2.0, HuBERT, BEATs 등 여러 대형 사전학습 모델을 비교), 커리큘럼 흐름(ICASSP 2024, ASD + 대형 사전학습 모델)상 가장 근접한 논문입니다. 혹시 커리큘럼 원저자가 참조한 논문이 다를 가능성도 있습니다.
profile
Hello, I'm Terry! 👋 Enjoy every moment of your life! 🌱 My current interests are Signal processing, Machine learning, Python, Database, LLM & RAG, MCP & ADK, Multi-Agents, Physical AI, ROS2...

0개의 댓글