He et al., Deep Residual Learning for Image Recognition, 2015 (ILSVRC 2015 우승)VGG 이후로 "층을 깊게 쌓을수록 성능이 좋아진다"는 게 거의 정설이었다. 그런데 실제로 계속 쌓아보니 이상한 일이 생겼다.56

2014, Google (Szegedy et al.) · ILSVRC 2014 분류 부문 우승 (Top-5 error 6.67%)2012년 AlexNet 이후 CNN 연구의 흐름은 "네트워크를 더 깊고 넓게 만들면 성능이 오른다" 였다. 하지만 이 방식에는 분명한 한계

2012년 AlexNet이 ImageNet에서 큰 성공을 거두면서, 연구자들은 "CNN을 어떻게 설계해야 성능이 더 좋아질까?"를 고민하기 시작했다.당시에는 필터 크기, stride, 층 수 등을 이것저것 바꿔보는 식이어서, 어떤 요소가 성능을 결정하는지 명확하지 않았

Krizhevsky, Sutskever, Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS 2012.2012년 이전의 이미지 분류는 사람이 특징을 설계하는 방식이었다. SIF

정형화된 데이터의 요소 센서 측정, 이미지, 비디오, 텍스트, 이벤트 등을 통해 졍형화되어 있지 않은 데이터를 받는다. 데이터 과학은 이러한 데이터들의 폭발적인 양의 원시(가공되지 않은) 데이터를 활용 가능하도록 정형화된 형태로 변환해야 한다. 정형 데이터 중 가장 일

오토인코더를 처음 접하면 목표부터 이상하게 느껴진다. 입력한 이미지를 그대로 출력하도록 학습한다니, return x 한 줄이면 끝나는 것 아닐까?하지만 입력이 좁은 통로를 지나야 한다면 이야기가 달라진다. 784개 픽셀을 더 적은 수의 값으로 표현하고 다시 복원하려면,

$Optimizer의 발전은 단순히 "더 빨리 내려가는 알고리즘"의 역사가 아니라, Gradient Descent가 가진 서로 다른 문제를 보완해 온 과정이다.$ > ## 목차 Gradient Descent 란? Problem - 기본 Gradient Descent에

Bagging은 서로 다른 Bootstrap 표본을 사용해 Tree의 흔들림을 평균낸다. > → 그러나 강력한 Feature 때문에 Tree들이 계속 비슷한 분할을 고를 수 있다. > → 각 노드에서 볼 Feature 후보를 제한해 Tree들을 덜 닮게 만든다: Ran

Decision Tree는 강력하지만 학습 데이터가 조금만 달라져도 크게 흔들릴 수 있다. > → 서로 다른 Bootstrap 표본을 본 Tree들을 만든다. > → 예측을 평균하거나 투표해 개별 Tree의 흔들림을 상쇄한다: Bagging > → 각 Tree가 보지