🤯AI

레이블 데이터는 비교적 비싸고 가공하기 힘든 데이터이므로 대량생산하기 쉬운 데이터는 레이블 되어있지 않은 데이터이런 점에서 비지도 학습이 실용적인 학습 방법이라고 볼 수 있다.

심층 신경망을 구현하는 방식에는 크게 세가지가 있다; Sequential, Functional, Subclassing API

모델 저장 복원 / 콜백 / 텐서보드

신경망에 조정해야 하는 하이퍼파라미터는 많다; 층의 개수,각 층의 뉴런 개수, 학습률, 배치크기

심층 신경망 훈련시 나타나는 문제점 : 그레디언트 소실과 폭주

합성곱 신경망과 심층신경망의 차이점 : 합성곱 신경망은 부분적으로 연결되어 있다. 따라서 고해상도의 이미지나 음성 등의 고차원적인 데이터를 인풋으로 하여도 무한개의 뉴런으로 늘어나지 않은채 학습시킬 수 있다.

심층 신경망 훈련 속도 높이기 : 연결 가중치 초기화, 활성화 함수, 배치 정규화, 사전 훈련된 층 재사용 (전이학습, 비지도 사전훈련, 보조 작업에서 사전훈련), 고속옵티마이저