Paper Review

배정 받은 첫 논문이다. 한 리뷰 논문의 reference에 포함된 논문들 중 업무와 직/간접적으로 연결된 5개의 논문을 받았다. Couture2018a 논문은 tile selection과 tile aggregation과 관련된 내용을 담고 있다.

같은 저자가 동일 년도에 썼던 논문이다. couture2018b는 couture2018a와 마찬가지로 tile selection과 tile aggregation과 관련된 내용을 담고 있다.

Attention-based aggregation, weakly supervised learning with self-supervised learning과 관련된 내용을 담고 있다.

Attention-based aggregation, weakly supervised learning with self-supervised learning, explainability와 관련된 내용을 담고 있는 논문이다.

Breast cancer ER subtype prediction model의 explainability와 관련된 논문이다

Google health에서 진행한 연구로 patch selection, alternative loss function, aggregation, pan-cancer과 관련된 내용을 담고 있는 논문이다.

Nature에 게재된 논문으로 CHOWDER 방식으로 predictive patch 의 risk score를 계산하여 morphological feature 분석을 다각화 하였다.

WSI를 사용한 survival analysis의 시초격이 되는 논문이다. DeepConvSurv와 동일 저자가 1년 뒤 이전 모델을 발전시켜 연구에 사용하였다.

patch clustering 방식과 clustering-level prediction 방식을 달리하여 성능을 비교한 논문이다.

독특한 architecture와 stratification boosting loss를 통해 (작은 데이터셋에서) 좋은 성능을 기록하였다.

CRC slide를 divide-and-rule loss를 통해 self-supervised learning 방식으로 feature space에 embedding 하여, patch cluster 간의 interaction를 표현해 예후 예측에 활용함.

HCC 환자의 recurrence risk stratification 을 위해 tumor region을 classify 하고 informative tile을 선별한 뒤에 risk prediction model을 통해 continuous한 risk score를 구함.

제시한 three-stage pipeline (tissue segmentation, tile-level prediction, patient-level prediction)을 기반으로 PanNET patient metastasis prediction을 수행함.

tissue nine-component classification을 통해, prognostic power를 가진 feature를 선택하여 각 HR로 weighted sum한 deep stroma score를 계산하여 예후 예측에 활용함.

저자는 metastatic lymph node (MLN) 로부터 segmentation model과 classification model로 tumor-area-to-MLN-area ratio (T/MLN)로 계산하고, 이를 기반으로 예후 분석을 진행함.

tumor region에서 stroma와 nuclei 를 잡아내었고, 그 안에서 feature 를 계산하여 population specific 한 예후 예측 분석을 진행하고, feature과 IHC biomarker 간의 상관관계를 분석하여 생물학적 근거를 마련함.

Contrastive self-supervised learning 가 겪는 dimensional collapse 문제에 대해 규명하고, 이를 야기하는 두 메커니즘을 제안하여 이론적으로, 실험적으로 증명함. 또한 이 이론적 토대를 바탕으로 DirectCLR 모델을 제안함

왜 작동하는가? 에 대한 기존 설명을 반박하고, representation vector decomposition, gradient component decomposition 을 통해 de-centering, de-correlation effect 를 확인함.

Facebook AI Research (FAIR) 에서 작성한 논문으로 2022년 ICLR 에 채택되었다. Explicit regularization term을 사용하여 SSL 방식의 동작 원리를 설명하고자 하였다.

self-supervised representation learning 이 어떤 조건 하에 잘 작동하는지에 대한 insight 를 제공하는 논문이다. quantity, data domain, quality, task granularity 조건을 바꿔 실험을 진행하였다

SSL 분야에서 자주 인용되는 SwAV 논문이다. prototype vector 와 mapping 하는 방식의 online algorithm 으로 scalability 를 확보했고 이외에도 multi-crop strategy를 통해 성능을 개선하였다.

Discrete time survival analysis 에 사용되는 cross-entropy loss 를 개선한 negative log-likelihood loss 를 설계하여, 기존 방식의 bias 와 prediction error 를 비교 분석한 논문이다.

TCGA 14개 암종에 대해 attention-MIL 과 SNN 을 통해 계산된 WSI, molecular feature 의 multimodal fusion 을 분석에 활용한 논문이다. 모델의 성능 뿐만 아니라 interpretability 에도 중점을 두고 있다.

방대한 양의 dataset 을 활용한 SSL 방식과 다양한 실험 세팅으로 histopathology domain 에서 실험하고 리포트한 논문이다.

SwAV 을 histology 에 적용하여 여러 variation 에 따른, 여러 downstream task 에 대한 실험 결과를 기록한 논문이다.

2021년 facebook AI (FAIR) VICReg 의 후속 연구로 VICRegL 가 얼마전 Neurips2022 에 accept 되었다. Local visual feature 를 학습하는 새로운 구조 및 loss function 을 제안하였다.

LassoNet 은 XAI 연구의 일종으로, 하나의 neural network 의 훈련과정에서 residual connection 을 이용한 feature selection 이 가능하다. non-linearity 와 linearity 모두 학습 가능한 모델이다.

Deep Learning System 으로부터 연속적인 Gleason score 를 얻고 이를 pathologist cohort 와 비교하여 validation 을 수행한 논문이다.

GNN 분야에서 가장 유명한 논문이다. graph 를 spectral domain 에서 representation 하여 convolution, stack 하여 이웃 노드 간의 관계를 integrate 하여 hidden state 를 구성한다.

또다른 GNN 의 대표적인 논문인 GraphSAGE 이다. 기존 GNN 방식이 가졌던 scalability, generability 의 한계점을 보안하여 지금까지도 널리 사용되는 모델이다.

병리 분야에서 natural image 로 pre-trained feature extractor model 에 prompt learning 을 적용하여 적은 cost 로 fine-tuning 하는 방식을 소개한다.

Histopathology 분야에서 WSI classification Multiplie Instance Learning SOTA 논문이다. (CVPR 2022 accepted) AB-MIL 구조 기반의 instance probability loss에 포함시켰다.

multiple sub-memory bank 와 group-level discrimination CCL-based backbone model 을 고안하고 image retrieval algorithm 도 개선하여 기존 방식을 큰 폭으로 outperform 하였다

meta blog 에 소개된 human-like AI, I-JEPA 논문이다. hand-crafted data-augmentation 없이 highly semantic image representation 을 학습하는 새로운 구조를 제안하였다.

Multiple instance learning 의 trend 인 attention network 를 사용하지 않고, prototype learning, contrastive learning 을 활용한 instance classifier 를 활용해 sota 를 달성함

Data manifold 의 separability 를 mean-field approximation 을 이용해 계산. Maximum Manifold Capacity Representation (MMCR) method

mCherry-eGFP reporter system 을 통해 astrocytic phagocytosis 와 그 성질들을 발견함.

Conservative Q-Learning (model-free offline reinforcement learning)

Implicit Q-Learning (IQL) 은 in distribution action Q value 의 상위 expectile 을 예측하는 model 을 통해 offline RL 의 distributional shift 를 피하고자 한 model-free 방식.

MCQ 방식은 기존 방식에서의 value function underestimation (pessimism) 을 보완하고자 OOD action 에 대해 pseudo target value 를 할당하여 model 이 suboptimal traj 에 stitch 하도록 함

structural abstraction, sensory experience 의 conjuction 으로써 relational memory 를 표현하는 model (TEM) 을 통해 타 모델에선 불가능했던 분석을 수행하고 remapping 과 관련된 새로운 관찰 얻음

사람 얼굴을 보고 나이를 추정하는 task 나 사진에게 미적 점수를 메기는 task 와 같은 rank estimation task는, 일반적인 classification 문제와는 다르게, 점수의 order 를 고려해야 한다. 고로 embedding space 에 enc

cognitive map 을 학습하고 이용하는 과정에서 abstract structural knowledge 를 추출하고 이를 다른 task 에 transfer 한다는 것을 모델링, 행동 실험 결과로 보인 논문이다.

Motor planning 시 (control) signal-dependent noise 와 함께 final position variance 를 minimize 하는 방향으로 trajectory 가 optimize 된다는 이론을 설명한다.

Decision making, motor task, uncertainty 관련해서 2000년대 꽤나 현재 연구의 초석이 되는 두 논문을 간단히 정리한 내용이다.

task representation, compositionality

task period dynamics, representation, task compositionality

they observed the fundamentals of RNN behavior - simplicity bias, a tendency to share attractors and reuse dynamics.

tried to quantify the concept of compositionality through the lens of Kolmogorov complexity, algorithmic information quantity