알고있는 Activation Function에 대해 알려주세요. (Sigmoid, ReLU, LeakyReLU, Tanh 등)

면접 대비 답변

Activation Function은 들어온 값들 중에서 다음 신호에 사용될 값을 추려서 전달하고, 딥러닝에서 뉴런네트워크를 쌓음에 있어서 비선형성을 주어 다양한 정보를 담을 수 있도록 합니다. (선형을 계속 쌓아봤자 선형이기때문에 많은 정보를 담지 못함) Activation Function의 종류로는 0과 1로 표현되는 Sigmoid 함수, 계산이 반복됨에 따라 값이 사라지는 문제를 해소하기 위한 ReLU등이 있습니다.

상세 내용

Reference