AlexNet 구조

• 컨볼루션 5개, 완전연결층3개로 구성
• 컨볼루션층 200만개, 완전연결층 6500만개 매개변수
• 완전연결층의 매개변수를 줄이는 방향으로 발전

• 2-3번째 컨볼루션은 윗층 아랫층 두개 연결이고 3번째 이후로 병렬적인 연산 진행됨
• 그래픽카드 성능이 충분하지 않은 상황에서 연산을 여러개 그래픽카드를 사용해서 병렬 연산처리시킴
• 맥스풀링 작업을 병렬연산전 단계에서 실시하고 완전연결층 연산을 가볍게 하기 위해 한번더 실시해서 정보량을 줄임

AlexNet 성공 요인

물리적 이유

• 여러개 GPU를 사용한 병렬처리
• ImageNet 대규모 사진 데이터 사용

설계적 이유

• ReLU 활성함수 사용
• 지역 반응 정규화
• 맥스풀링전 적용
• 데이터 확대(잘라내기, 반전 등)
• 드랍아웃으로 완전연결층 겹치는 가중치 생략