Downstream Task란?

딥러닝 관련 글들을 보면 최근 다운스트림 태스크에 대한 부분을 많이 볼 수 있다. 몇몇 글들을 찾아보다보면 잘 이해가지 않는 부분이 있었다가 한국어임베딩 책에서 적절한 설명을 찾았다.

Downstream Task 의미

구체적으로 풀고 싶은 문제들을 말한다.

최근 자연어 처리분야에서는 언어모델을 프리트레인(pre-train)방식을 이용해 학습을 진행하고, 그 후에 원하고자 하는 태스크를 파인 튜닝(fine-tuning) 방식을 통해 모델을 업데이트 하는 방식을 사용하는데 이때, 태스크를 다운스트림 태스크라 한다.

예를들어, 버트의 언어모델을 질의응답 태스크인 squad를 학습한다고 할때, 이때 질의응답 태스크를 다운스트림 태스크로 볼 수 있을것이다.

Refereces

도서-한국어임베딩