Abstract
다른 딥러닝 기법과 마찬가지로, 라벨 품질은 convolutional object detector의 학습에 있어 중요한 요소이다. 그러나 복잡한 이미지 장면에는 잠재적으로 많은 수와 폭넓은 다양성을 가진 object instance가 존재하기 때문에, 완전한 annotation을 구성하는 것은 어려운 과제이다. 실제로, 많은 인기 있는 object detection 데이터셋에서 라벨이 누락된 객체를 발견할 수 있다.
이러한 누락된 주석은 문제가 될 수 있는데, 이는 object detection 모델 학습에 사용되는 표준 크로스 엔트로피 손실이 분류를 긍정-부정(PN) 문제로 취급하기 때문이다. 라벨이 없는 영역은 배경이라고 가정된다. 따라서, 경계 상자가 누락된 객체는 혼란스러운 학습 신호를 유발한다.
이 문제를 해결하기 위해, 우리는 object detection를 Positive-Unlabeled(PU) 문제로 간주할 것을 제안한다. 이 접근 방식은 라벨이 없는 영역이 반드시 negative일 필요가 없다는 가정을 도입한다. 우리는 라벨 누락의 경우 PU 분류 손실이 표준 PN 손실보다 뛰어난 성능을 발휘함을 보여준다.
Introduction
지도 방식의 딥러닝 모델 성능은 학습에 사용되는 라벨의 품질에 크게 의존한다. 최근 연구에서는 데이터셋에 support vector가 존재한다고 제안했다. 이는 분류 경계를 설정하는 데 특히 중요한 영향을 미치는, 분류가 어려운 예제들이다. 따라서 이러한 어려운 예제가 올바르게 라벨링되어 있는지를 보장하는 것은 최종 분류기의 성능에 중요할 것으로 보인다.
그러나 object detection 작업에서 완전한 라벨을 수집하는 것은 classification 작업보다 훨씬 더 어렵다. 분류에서는 이미지당 하나의 라벨만 필요하지만, 객체 탐지에서는 이미지 속 객체의 수가 가변적이며, 동일한 클래스 내에서도 모양, 크기, 자세, 환경이 다양할 수 있다. 게다가, 객체 탐지 장면은 종종 혼잡하여 객체 인스턴스가 가려질 수 있다.
정확한 bounding box와 많은 인스턴스 라벨을 모두 확보해야 하기 때문에, annotation 작업은 매우 시간이 많이 소요된다. 예를 들어, MS COCO 데이터셋의 328K 이미지를 대상으로 위치 정보 없이 인스턴스 라벨링만 하는 데에도 약 3만 시간의 작업이 필요했다. 공항 보안 검색대 X-ray 데이터셋의 경우, 가방 조립, 스캔, 수작업 라벨링 과정이 필요했으며, 4천 건의 스캔 데이터를 라벨링하는 데에만 약 250시간이 소요되었다. 의료 데이터셋에서는 상황이 더욱 심각하다. 정확한 라벨을 얻기 위해서는 고도로 숙련된 방사선 전문의의 판독이나 침습적 생검이 필요하다.
이처럼 시간과 비용이 많이 들기 때문에, 데이터셋 주석 작업은 가능한 경우 크라우드 소싱으로 진행된다. 이때 전문 도메인 전문가나 Amazon Mechanical Turk 같은 플랫폼이 사용된다. 라벨링의 일관성을 유지하기 위해, 데이터셋 설계자는 라벨링 가이드라인을 제공하거나 여러 명의 작업자가 동일 이미지를 라벨링하도록 한다. 그럼에도 불구하고, 어려운 판단, 작업자 간 또는 심지어 동일 작업자 내의 변동성, 그리고 사람의 실수로 인해 라벨링의 일관성이 깨지거나 인스턴스가 완전히 누락될 수 있다. 특히, OpenImages와 같이 매우 대규모의 데이터셋에서는 이러한 문제가 더욱 심각해진다.
그럼에도 불구하고, 객체 탐지 알고리즘은 객체 분류를 위해 표준 크로스 엔트로피 손실을 사용한다. 이 손실 함수에는 바운딩 박스가 없는 영역은 객체를 포함하지 않는다는 암묵적인 가정이 포함되어 있다. 다시 말해, 분류를 Positive-Negative(PN) 학습 문제로 본다. 데이터셋이 완전하게 라벨링되어 있다면 이 가정은 합리적이지만, 앞서 설명한 주석 작업의 어려움으로 인해 실제로는 그렇지 않은 경우가 많다. 다양한 데이터셋의 예시에서 확인할 수 있듯이, 라벨이 없는 객체 인스턴스가 실제로 존재한다.
이 상황은 분류 문제에서 흔히 고려되는 noisy label 환경과는 다르다. 객체 탐지 데이터셋에서 긍정 라벨은 일반적으로 높은 정확도를 가지지만, 라벨이 없다고 해서 반드시 부정(배경)이라고 확신할 수는 없다. 따라서, 우리는 객체 탐지 문제를 Positive-Unlabeled(PU) 학습 문제로 재정의할 것을 제안한다. 이 관점에서, 기존의 라벨은 여전히 긍정 샘플을 의미하지만, 라벨이 없는 경우 반드시 부정으로 간주하지 않는다. 이는 객체 탐지 데이터셋 학습 시 발생하는 혼란스러운 학습 신호를 완화할 수 있다.
본 연구에서는 객체 탐지 주석의 특성이 PU 학습 문제로 잘 부합한다는 점을 탐구하고, 탐지 모델 학습 목표를 이에 맞게 수정했을 때의 효용을 보여준다. 우리는 라벨 누락 비율을 인위적으로 조절한 두 개의 잘 라벨링된 객체 탐지 데이터셋(PASCAL VOC, MS COCO)과, 실제로 라벨이 불완전한 두 데이터셋(Visual Genome, DeepLesion)에서 PU 목적 함수의 효과를 실험으로 입증한다.
Methods
ⓐ Faster R-CNN
원칙적으로, 본 논문에서 관찰한 문제는 데이터의 특성에 기인하므로, 어떤 객체 탐지 프레임워크에도 일반적으로 적용된다. 그러나 본 연구에서는 two-stage 방법인 Faster R-CNN에 집중하며, 이에 대한 간략한 개요를 제공한다.
다른 객체 탐지 모델과 마찬가지로, 입력 이미지 X가 주어졌을 때, Faster R-CNN의 목표 출력은 각 객체 i에 대한 바운딩 박스와 클래스 확률이다. Faster R-CNN은 두 단계 과정으로 수행한다.
① CNN을 사용하여 이미지 특징 h를 추출한다. 이후, Region Proposal Network (RPN)이 h 상에 격자로 배치된 기준 상자를 기준으로 경계 상자 제안(proposal)을 생성한다. 동시에, RPN은 각 제안에 대한 객체성(objectness) 확률을 예측하는데, 이는 객체인지 아닌지를 판단하는 이진 분류기로 학습된다.
② 점수가 높은 제안(proposal)을 선택하여, 경계 상자를 정밀 조정(refinement)하여 바운딩 박스를 생성하고, 최종 클래스 확률을 예측한다.
Np: positive anchor 개수
Nn: negative anchor 개수
π^p: πp (positive anchor 개수 / 전체 anchor 개수) 의 추정값
π^n: πn (1 - πp) 의 추정값
c^p(i): positive anchor에 대해 모델이 예측한 객체성 확률
c^n(i): negative anchor에 대해 모델이 예측한 객체성 확률
H(): 크로스 엔트로피 손실
주목할 점은, 이 학습 손실이 이미지 내의 모든 non-positive 영역을 negative로 처리한다는 것이다.
ⓑ PU learning
일반적인 이진 분류 문제에서는, 입력 데이터가 레이블 ±1과 함께 주어지며, 이를 Positive-Negative(PN) 문제라고 부른다. 이 경우, 긍정(P)과 부정(N) 분포에서 샘플이 모두 주어지고, 이 샘플들은 올바르게 라벨링되어 있다고 가정한다.
하지만 어떤 경우에는, 긍정 샘플의 일부만 레이블이 주어질 수 있다. 나머지 데이터는 Unlabeled 상태이며, 이는 긍정일수도 부정일수도 있다. 이러한 상황을 Positive-Unlabeled(PU) 환경이라고 한다. 여기서는 부정(N) 분포가 비라벨(U) 분포로 대체된다. 이러한 설정에서는, 비라벨의 긍정 영역을 올바르게 결정 경계의 긍정 쪽에 포함할 수 있는 분류기를 학습할 수 있다.
아래에서는 PN과 PU의 기댓손실 추정 방법을 간단히 리뷰한다.
① PN 학습의 기댓손실 추정
ℓ: 손실 함수 (일반적으로 크로스 엔트로피 함수)
xp: positive 데이터
xn: negative 데이터
g(): 모델이 예측하는 객체성 점수
② PU 학습의 위험 추정
Unlabeled(U)을 -1 라벨로 가정했을 때의 손실에서 positive의 기여를 빼서 Negative의 기여만 남긴 값이다.
하지만 모델이 충분히 유연하면, R^pu 값이 음수가 될 수 있다. 대부분의 최신 객체 탐지기는 신경망을 사용하기 때문에, 이러한 overfitting 문제는 심각할 수 있다. 이를 해결하기 위해 비음수 PU 위험 추정기를 제안했다. 본 연구에서는 나머지 실험 전반에 걸쳐 이 비음수 PU 위험 추정기를 사용한다.
ⓒ PU learning for object detection
객체 탐지 데이터셋에서, 정답 주석은 positive 샘플을 의미한다. 정답 바운딩 박스와 충분히 겹치지 않는 영역은 negative 배경으로 간주된다. 그러나 이 가정의 정확성은 학습 이미지 속 모든 객체가 라벨링되어 있는지 여부에 달려 있으며, 이는 항상 보장되지 않는다.
주석이 누락된 경우, 실제로는 객체를 포함하는 영역이지만 학습 시 negative로 라벨링될 가능성이 있다. 우리는 객체 탐지가 PN 문제보다는 PU 학습 문제에 더 자연스럽게 가깝다고 주장한다.
two-stage 객체 탐지기는 본질적으로 첫 번째 단계에서 이진 분류 문제를 포함한다. 특히 Faster R-CNN에서는, RPN이 객체성 점수를 부여하는데, 이는 이진 크로스 엔트로피 손실로 학습된다. 앞서 언급했듯, 이 PN 손실은 라벨 누락 문제에 취약하다.
따라서 우리는 RPN의 PN 손실을 PU 손실로 대체할 것을 제안한다. 이러한 손실 함수는, 라벨이 없는 객체를 긍정적으로 예측했을 때 부과되는 패널티를 완화한다.
PU 크로스 엔트로피 손실은 positive 클래스의 사전 확률 πp가 알려져 있다고 가정한다. 그러나 실제로는 이 값이 알려져 있지 않으므로, 이를 추정해야 하며, 추정값을 π^p로 표기한다. 객체 탐지에서 πp 추정이 특히 까다로운 이유는, πp가 고정되어 있지 않다는 점이다.
RPN이 학습되면서, 제안된 영역 중 긍정인 비율은 점점 늘어나야 한다. 실제 객체 탐지에서는 학습 초기에 πp가 거의 0에서 시작해 점차 증가하므로, 하나의 고정값으로 설정하면 학습 초반에는 크게 빗나갈 수 있다. 이를 해결하기 위해, Faster R-CNN의 RPN이 이미 이미지 속 긍정 영역을 추론하는 구조를 갖고 있음을 활용한다.
RPN이 생성한 제안 중 객체성 점수가 0.5 이상인 앵커 개수를 세어, 이를 기반으로 πp를 추정한다.
N RPN: 학습에 사용되는 전체 RPN 제안 개수
N(p)RPN: 객체성 점수가 0.5 이상인 제안 개수
이 방법은 사실상 추가 계산 비용 없이 πp를 얻을 수 있다. 단, Faster R-CNN은 이미지를 한 장씩 학습하며, 이미지마다 객체 수가 다르므로, 추정값 π^p의 변동이 클 수 있다. 이를 안정화하기 위해, 모멘텀 γ를 사용한 지수 이동 평균을 유지한다. 이렇게 계산한 π^p를 손실 계산에 사용한다.
Related work
대부분의 객체 탐지 프레임워크는 지도 학습 방식으로 설계되어 있다. 모든 객체가 라벨링된 이미지 데이터셋이 존재하고, 이러한 데이터셋을 이용해 모델을 학습할 수 있다고 가정한다. 그러나 위에서 논의했듯이, 이러한 데이터셋을 수집하는 것은 비용이 많이 든다. 이로 인해, 부분적으로 라벨링된 데이터셋으로부터 학습할 수 있는 방법들이 객체 탐지 분야에서 관심을 받고 있다. “부분 라벨링”이 무엇을 의미하는지는 다양하며, 많은 종류의 라벨 누락 형태가 고려되어 왔다.
약지도 객체 탐지 모델은 인스턴스 라벨이 아닌, 이미지 수준 라벨이 주어진 데이터셋을 가정한다. 이러한 모델들은 객체 특유의 단서 없이도 이미지 속 객체의 대략적인 위치를 식별하는 데 놀라울 정도로 유능하지만, 정확한 위치 지정에는 어려움을 겪는다. 특히 동일한 클래스의 객체가 서로 근접하게 여러 개 있는 경우, 개별 활성화가 서로 합쳐져버릴 수 있으며, 바운딩 박스가 없기 때문에 정확한 경계를 학습하기 어렵다.
하나의 데이터셋이 주어졌을 때, 모든 클래스에 걸쳐 라벨이 불완전한 경우를 고려하는 접근도 있다. 이러한 설정이 우리가 본 논문에서 고려하는 경우와 가장 유사하다. 클래스별로 3~4개의 주석 예제만 제공된 상태에서 시작하고, 모델이 점차 향상됨에 따라 점점 더 어려운 예제들에 대해 pseudo labels을 생성하는 방식으로 학습을 확장한 연구도 있다. Soft-sampling 또한 제안되었는데, 이는 긍정 영역과 겹치거나, 별도로 학습된 탐지기에서 높은 탐지 점수를 얻는 배경 영역의 그래디언트 가중치를 재조정하는 방법이다.
Positive-Unlabeled 학습은 제한된 라벨 데이터로 통계 모델을 향상시키기 위해 제안되었다. 이진 분류 과제에서 Positive-Unlabeled 위험 추정의 이론적 효율성을 분석했지만, 긍정 클래스 예제의 비율이 사전에 설정되어 있고 모델이 이를 알고 있다고 가정한 연구가 있다. 추가 분류기나 매칭 알고리즘을 사용하여 긍정 클래스의 사전 확률을 추정한 연구도 있다. 우리의 연구는 Positive-Unlabeled 학습의 적용을 객체 탐지로 확장한다.
Experiments
우리의 실험에서는, 기존의 Faster R-CNN을 사용하며, 특징 추출기로는 ImageNet에서 사전 학습된 ResNet101을 사용한다. 각 데이터셋의 라벨 누락 정도를 조절하기 위해, 원본 데이터셋이 제공하는 각 객체 클래스의 annotation을 확률 ρ로 무작위로 제거한다. 이는 평균적으로 전체 주석 중 1−ρ 비율만 사용할 수 있게 만든다.
ⓐ Hand-tuning versus estimation of πp
PU 위험 추정에는 사전 확률 πp가 필요하다. 우리는 πp를 결정하는 두 가지 방법을 실험하였다.
① Hand-Tuned
πp를 상수 하이퍼파라미터로 취급하고, 이를 수동으로 조정한다.
② Estimated
이전 식에서 설명한대로 πp를 추정하며, 모멘텀은 0.9로 설정하였다.
우리는 Estimated 방법으로 추정된 π^p를, PASCAL VOC에서 가장 높은 mAP를 달성한 Hand-Tuned πp와 비교하였다. 또한, 우리의 추정값이 라벨 누락 정도에 어떻게 반응하는지 확인하기 위해, 학습 세트를 구성할 때 각 이미지의 주석을 확률 ρ로 제거하였다. 이렇게 하면 전체 라벨의 1−ρ 비율만 포함하는 데이터셋이 만들어진다. 우리는 ρ = 0.4, 0.5, 0.6의 경우에 대해 비교를 수행하였다.
모든 실험된 ρ 설정에서, 추정된 π^p는 시간이 지남에 따라 증가하다가 안정화되었다. 이러한 결과는 우리의 기대와 일치하는데, 객체 탐지 모델이 처음 초기화될 때는 파라미터가 아직 좋은 값을 학습하지 못했기 때문에, 긍정 영역의 실제 비율 πp는 매우 낮을 가능성이 높다. 모델이 학습을 진행하면서, 정확한 영역을 생성하는 능력이 향상된다. 그 결과 긍정 영역의 비율이 증가하여 π^p도 이에 따라 증가한다. 모델이 수렴하면, π^p는 배경 영역에 대한 데이터셋 내 객체의 실제 비율에 근접한 값으로 안정화된다.
흥미롭게도, 최종적으로 π^p는 긍정 클래스 사전 확률을 고정된 하이퍼파라미터로 설정했을 때 찾은 값에 근접하게 수렴했지만, 항상 그 값보다 높았다. 우리는 이러한 이유가, 고정된 단일 값이 학습 초기 단계에서의 낮은 πp를 감안하여 균형을 잡아야 하기 때문이라고 생각한다.
우리는 나머지 모든 실험에서, πp를 하이퍼파라미터로 수동 조정하는 대신, 제안한 자동 추정 방법을 사용하였다.
ⓑ PU versus PN on PASCAL VOC and MS COCO
우리는 PASCAL VOC 와 MS COCO 라는 널리 사용되는 데이터셋에서, ResNet101 합성곱 특징 추출기를 사용한 Faster R-CNN을 통해, 불완전한 라벨이 객체 탐지 학습에 미치는 영향을 조사한다. 라벨 누락의 영향을 정량화하기 위해, 우리는 annotation의 일부 비율을 인위적으로 제거한다. 우리는 세 가지 설정을 비교하며, 각각에 대해 ρ의 여러 값 범위를 실험한다. 주석이 학습 신호의 근원이므로, 각 ρ 값에 대해 다음과 같이 세 설정 간 전체 인스턴스 수를 동일하게 유지한다.
① PN: 데이터셋의 모든 이미지에서 라벨의 일정 비율을 제거하여, 전체적으로 제거된 라벨의 비율이 ρ가 되도록 한다. 모든 이미지는 학습 세트에 포함되며, 탐지 모델은 일반적으로 사용하는 PN 목적함수로 학습된다.
② Full-PN: 일정 비율(ρ)의 전체 이미지를 해당 이미지의 모든 라벨과 함께 제거한다. 이렇게 하면 데이터셋의 이미지 수가 줄어들지만, 남은 각 이미지는 모든 주석이 유지된다.
③ PU: PN 설정과 동일한 이미지와 라벨을 사용하지만, 제안하는 PU 목적함수로 학습한다.
PASCAL VOC와 MS COCO에서 IoU 0.5 기준으로 세 가지 설정의 mAP 성능을 비교한 결과다. 예상대로, ρ가 증가함에 따라 탐지기의 성능은 저하된다. PN과 Full-PN의 결과에 초점을 맞춰보면, 동일한 수의 주석 객체를 갖는 경우, 주석이 덜 철저하게 이루어진 많은 이미지보다, 더 철저하게 주석된 적은 수의 이미지를 갖는 것이 더 바람직하다는 것이 분명하다.
반면, 우리가 제안한 것처럼 객체 탐지를 PU 문제로 간주하면, 라벨 누락 정도가 다양한 범위에 걸쳐 탐지기 품질을 향상시킬 수 있다. 더 철저하게 주석된 데이터셋(Full-PN)을 갖는 것이 여전히 우수하지만, PU 목적함수는 그 성능 차이를 줄이는 데 도움을 준다. 흥미롭게도, 라벨이 완전한 경우(ρ=0)에 PU가 mAP이 소폭 높은 결과가 나타났다. 이는 전체 데이터셋에서 라벨이 누락된 객체를 더 잘 학습한 덕분일 가능성이 있다.
ⓒ Visual Genome
Visual Genome은 객체, 속성, 그리고 관계에 대한 장면 이해 데이터셋이다. PASCAL VOC나 MS COCO만큼 객체 탐지 벤치마크로 자주 사용되지는 않는다. 클래스 수가 매우 많고(33877개), 주석 과정에서 장면 이해에 초점을 맞춘 결과, 각 이미지에 존재하는 모든 객체 인스턴스의 label coverage가 낮다.
이 데이터셋의 규모를 달성하기 위해, 라벨링 작업은 다수의 사람 주석자들에게 크라우드 소싱 방식으로 의뢰되었다. Visual Genome의 경우, 데이터셋 제작자들이 품질을 보장하기 위해 몇 가지 조치를 취했음에도 불구하고, 여전히 많은 라벨 누락 사례가 존재한다. 이러한 환경에서는, 모든 라벨이 포함된 경우에도 제안하는 PU 위험 추정(PU risk estimation)이 특히 적합하다.
우리는 위에서와 같이, Visual Genome의 상위 1600개 객체 클래스를 대상으로 ResNet101 Faster R-CNN을 PN 방식과 PU 방식 모두로 학습하였다. 우리는 테스트 세트에 존재하는 클래스들에 대해 성능을 평가하고, IoU 임계값 0.25, 0.50, 0.75에서의 mAP를 보고하였다. 또한, 각 클래스의 빈도에 따라 가중한 mAP 결과도 제시하였다.
Y: 클래스 빈도에 따라 가중함.
N: 가중하지 않음.
Visual Genome에서는 모든 설정에서 PU 위험 추정이 PN보다 상당한 폭으로 더 우수한 성능을 보였다. 유사한 정도의 객체 라벨 누락이 존재하는 OpenImages 데이터셋에서도 비슷한 향상이 관찰되었다.
ⓓ DeepLesion
최근 컴퓨터 비전의 발전은 잠재적인 의료 응용에 대한 관심을 점점 더 끌고 있다. 이러한 방향으로의 딥러닝 연구를 장려하기 위해, 미국 국립 보건원(NIH) 임상 센터는 32000개의 CT 스캔과 주석된 병변(lesion)으로 구성된 DeepLesion 데이터셋을 공개하였다. PASCAL VOC, MS COCO, Visual Genome과 달리, 대부분의 의료 데이터셋은 라벨링을 크라우드 소싱할 수 없다. 정확한 라벨링에는 의학적 전문 지식이 필요하기 때문이다. 의료 전문가가 있다 하더라도 라벨링은 일관성이 없을 수 있다. 병변 탐지는 어려운 작업이며, 정확한 결과를 얻기 위해 종종 생검이 필요하다. 여러 명의 주석자가 함께 라벨링한 다른 데이터셋과 마찬가지로, 의료 데이터셋의 정답 라벨에는 불일치가 존재할 수 있다. 일부 의사는 진단에서 더 보수적이거나 공격적일 수 있기 때문이다. 이러한 점들을 고려할 때, PU 접근법은 데이터의 특성을 더 정확하게 반영한다.
우리는 Faster R-CNN 을 baseline model으로 구현하고, 다른 변경 없이 PU 목적함수를 사용한 제안 모델과 비교하였다. 데이터셋은 학습, 검증, 테스트 세트로 70%-15%-15% 비율로 분할하였다. 우리는 결과를 FROC와, 이미지당 허용되는 FP 수의 범위에서 IoU 임계값에 따른 민감도(sensitivity)로 결과를 보고한다. 두 경우 모두, PN 목적함수에서 PU 목적함수로 전환하면 성능이 향상됨을 확인하였다.
❓FROC 곡선은 ROC의 변형으로, 이미지당 허용되는 FP 개수와 민감도(sensitivity)의 관계를 나타낸다. 민감도는 재현율(recall)과 동일한 개념이다.
Conclusion and future work
객체 탐지 데이터가 positive-unlabeled(PU) 문제와 더 유사하다는 점을 관찰한 후, 우리는 객체 탐지 모델을 PU 목적함수로 학습할 것을 제안한다. 이러한 목적함수는 긍정 클래스의 확률 추정이 필요하지만, 우리는 기존 아키텍처에 거의 변경을 가하지 않고도 이를 동적으로 추정하는 방법을 보여주었다. 이러한 변경을 통해, 라벨링에 상당한 어려움이 있는 실제 데이터셋을 포함하여 다양한 데이터셋 전반에서 향상된 탐지 성능을 달성할 수 있었다. 우리는 주로 객체 탐지에 집중했지만, 유사한 특성을 공유하는 다른 여러 인기 있는 과제들 또한 PU 학습 문제로 재구성함으로써 이점을 얻을 수 있을 것이다.
현재 구현에서는, 주로 Faster R-CNN의 Region Proposal Network에서 객체 여부를 판별하는 이진 분류기에 PU 목적함수를 적용하는 데 초점을 맞추었다. 이 연구의 자연스러운 확장은, 배경과 객체를 구분해야 하는 두 번째 단계 분류기에도 동일한 목적함수를 적용하는 것이다. 그러나 두 번째 단계 분류기는 여러 클래스 중 하나를 출력하므로, 분류는 더 이상 이진이 아니며, 다수의 클래스 사전 확률 πc (k=1,…,c)을 추정해야 한다. 이는 향후 연구로 남겨둔다. 이러한 다중 클래스 PU 손실은 SSD 나 YOLO와 같은 single-stage detector로의 확장도 가능하게 할 것이다. 이미 관찰된 성능 향상을 고려할 때, 우리는 이것이 객체 탐지 분류 손실에 대한 효과적이고 자연스러운 개선이라고 믿는다.
🚀 본 논문의 한계와 현재 진행된 연구
① ROI 헤드에 PU 적용
최근 연구에서 다중 클래스에 PU 학습을 진행했다.
Positive-unlabeled learning for binary and multi-class cell detection in histopathology images with incomplete annotations(2023)
② YOLO 등 다른 one-stage 검출기로의 확장
one-stage는 PU 학습보다는 배경 손실 재보정 전략으로 많이 우회하는 방향이다.
③ 긍정 클래스 사전확률(πp) 추정 개선
최근 연구에서 πp를 더 정확하고 효율적으로 추정하는 방법을 제안했다. Pi-Score: An Estimation Strategy of the Class Prior in Positive-Unlabeled Learning for Electrical Insulator Defect Detection with Incomplete Annotations(2023)
④ 다른 최신 기법
As Pseudo-Label Free as Possible (AAAI 2025)는 가능한 한 pseudo-label 없이 적응적 특성 생성으로 COCO의 다양한 sparsity에서 최상위권을 기록했다.
