👉 오늘 한 일

• CNN 이어서

CNN 튜토리얼

💡Pooling도 stride를 조정할 수 있음

🤔softmax 는 어떻게 결과를 처리할까?

• 출력값이 n개의 확률로 나오고, n개의 확률값의 합이 1

🤔sigmoid 는 어떻게 결과를 처리할까?

• 0~1 사이의 확률값을 반환하며 임계값(보통은 0.5)을 기준으로 분류

💡이미지 증강 기법

• Mirroring (대칭)
• Random Cropping (랜덤하게 이미지를 자르기)
• Roatation (회전)
• Shearing (기울이기)
• Local wraping (이미지 증강으로 잘린 부분 채우기)
• 등등...

이미지 증강을 위한 라이브러리
https://github.com/albumentations-team/albumentations

💡keras의 ImageDataGenerator 지원 기능
공간 레벨 변형

• Flip : 상하, 좌우 반전
• Rotation : 회전
• Shift : 이동
• Zoom : 확대, 축소
• Shear : 눕히기

픽셀 레벨 변형

• Bright : 밝기 조정
• Channel Shift : RGB 값 변경
• ZCA Whitening : Whitening 효과

🤔이미지 사이즈가 다 다르면 계산을 할 수 없기 때문에 사이즈를 맞춰줄 필요가 있음. 어떤 사이즈로 맞춰야 할까?

• 클 때, 작을 때 각각 장단점이 있음

• 사이즈를 작은 것에 맞추면 이미지가 왜곡되거나 손실될 수도 있지만 계산량이 줄어들기 때문에 빠르게 학습함

• 사이즈를 큰 것에 맞춰도 마찬가지로 원래 이미지가 왜곡이 될 수 있음. 또한, 더 자세히 학습하기 때문에 성능이 좋을 수 있음. 다만, 계산이 오래 걸림

• 계산 편의를 위해, 보통 정사각형 형태로 만들어줌

• PIL, OpenCV 등을 내부에서 사용하고 있는데 우리가 포토샵에서 이미지 사이즈 줄이는 것 처럼 이미지 사이즈를 조정해 줌

🤔이미지 사이즈별 단점을 convolution 구조에서 다양한 설정 방법으로 보완 가능할까?

• 이미지 사이즈도 하이퍼파라미터처럼 조정을 하면 성능이 달라지고 Conv, Pooling 도 성능에 영향을 줌. 어떤식으로 레이어를 구성하냐에 따라 보완이 가능하기도 함

🤔원본이미지와 비교했을 때 권장하는 이미지 크기?

• 상황에 따라 다름. 장비가 연산을 많이 지원할 수 있다면 원본 사이즈를 사용하나 오래 걸리면 줄여줌
• 이미지의 사이즈는 임의대로 해도 상관없지만, 딥러닝의 경우 Network 모델의 입력 사이즈와 반드시 동일하게 해주어야 함
• CNN의 대표적인 모델들은 네트워크 입력사이즈가 224 * 224인 경우가 많음

박해선 작가님 깃허브
https://github.com/rickiepark

💡기본 keras 모델

num_classes = len(class_names)

model = Sequential([
  layers.Rescaling(1./255, input_shape=(img_height, img_width, 3)),
  layers.Conv2D(filters=16, kernel_size=3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(filters=32, kernel_size=3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(filters=64, kernel_size=3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(units=128, activation='relu'),
  layers.Dense(num_classes)
])

💡합성곱층의 파라미터 정리

• filters : 컨볼루션 필터의 수 == 특징맵 수
• kernel_size : 컨볼루션 커널의 (행, 열) => 필터 사이즈
• padding : 경계 처리 방법
  • ‘valid’ : 유효한 영역만 출력. 따라서 출력 이미지 사이즈는 입력 사이즈보다 작음.
  • ‘same’ : 출력 이미지 사이즈가 입력 이미지 사이즈와 동일함.

CNN 말라리아 셀 이미지

코랩 명령어
!wget : 특정 경로에 있는 데이터를 내 경로에 다운로드
!unzip : 압축 해제

💡이미지를 로드하는 방법
1) matplotlib.pyplot imread()를 사용하는 방법
2) PIL(Pillow) 로 불러오는 방법 => PIL 로 데이터 증강이 가능함. TF 내부에서도 PIL 이나 OpenCV를 사용해서 이미지 데이터 증강을 함. => 이미지 편집기를 만들 수도 있음
3) OpenCV로 불러오는 방법 => CV(Computer Vision)에 주로 사용하는 도구로 동영상처리 등에 주로 사용함

trainDatagen.class_indices 의 라벨은 폴더명으로 지정됨

💡층을 쌓을 때 "비선형 활성화 함수 없이" 두 개의 합성곱 층을 쌓는 경우 그냥 많은 커널을 가진 하나의 conv2d 층을 사용하는 것과 수학적으로 동일하기 때문에 비효율 적으로 합성곱 신경망을 만드는 것과 같음. 주의할 것

🤔마지막 epochs에서 metrics가 떨어졌으면 최종 모델 파라미터는 마지막 epochs로 세팅될까 metrics가 가장 좋을 때 기준으로 세팅될까?

• 마지막에 학습한 결과로 예측(마지막 epochs)

💡입력 데이터 종류와 이에 맞는 네트워크 구조

• 벡터 데이터(시간이나 순서가 상관 없음): MLP (밀집층)

• 이미지 데이터(흑백 또는 컬러): 2D 합성곱 신경망

• 스펙트로그램 오디오 데이터: 2D 합성곱 신경망이나 순환 신경망

• 텍스트 데이터: 1D 합성곱 신경망이나 순환 신경망

• 시계열 데이터(시간이나 순서가 중요함): 1D 합성곱 신경망이나 순환 신경망

• 볼륨 데이터(예: 3D 의료 이미지): 3D 합성곱 신경망

• 비디오 데이터(이미지의 시퀀스): 3D 합성곱 신경망(모션 효과를 감지해야 하는 경우) 또는 특성 추출을 위해 프레임 별로 적용한 2D 합성곱 신경망과 만들어진 특성 시퀀스를 처리하기 위한 RNN이나 1D 합성곱 신경망의 조합

💡합성곱 신경망

• 합성곱 층은 입력받은 텐서에서 공간적으로 다른 위치에 기하학적 변환을 적용하여 국부적인 공간 패턴을 찾습니다.

• 이런 방식은 이동 불변성을 가진 표현을 만들기 때문에 합성곱 층을 매우 데이터 효율적으로 만들고 모듈화 시킵니다.

• 위와 같은 아이디어는 어떤 차원 공간에도 적용할 수 있기 때문에 1D(시퀀스), 2D(이미지나 이미지가 아니자만 사운드 스펙트로그램처럼 비슷한 표현), 3D(볼륨 데이터) 등입니다.

• 텐서플로우에서는 conv1d 층으로 시퀀스를 처리하고, conv2d층으로 이미지를 처리하고, conv3d 층으로 볼륨 데이터를 처리할 수 있습니다.

• 합성곱 신경망은 합성곱 층과 풀링 층을 쌓아서 구성하게 됩니다. 풀링 층은 공간적으로 데이터를 다운샘플링하고 이는 특성 개수가 늘어나게되면 후속 층이 합성곱 신경망의 입력 이미지에서 더 많은 공간을 바라보도록 특성 맵의 크기를 적절하게 유지시킵니다.

• 합성곱 신경망은 공간적인 특성 맵을 벡터로 바꾸기 위해 종종 flatten 층과 전역 풀링 층으로 끝납니다. 그리고 일련의 밀집층(MLP)로 처리하여 분류나 회귀 출력을 만들게 됩니다.

💡JD

면접보러 가기 전에 잡플래닛 면접 후기를 꼭 읽어볼 필요가 있음

• 기본 매너, 면접을 보는 사람은 거의 정해져있음. 새로운 질문을 만들어 질문하기가 현실적으로 어려움이 많음. 대부분 비슷한 질문을 하기 때문에 잡플래닛에 올라온 질문에 대해서는 꼭 준비 해서 가는것을 추천