📒 [ TIL ] 2022.05.17_21일차 # 머신러닝 강의학습(4)

[ 2022-05-17 (화) 오늘의 TIL ]

[ Today Learn ]

• 다양한 딥러닝 신경망 구조에 대해 알아보기
• 전이학습이란
• CNN과 전이학습을 직접 적용해보기

✏️ 내가 배운것, 얻은것

❓ 합성곱 신경망이란 ?

합성곱은 컴퓨터비전분야에서 많이 쓰이는 이미지처리방식으로 계산방식은 아래와 같이 입력데이터와 필터각각의 요소를 곱한 후 다 더하면 출력값이 된다.

이 합성곱을 이용한 신경망 디자인을 '합성곱 신경망(CNN)'이라고 하며 얼굴인식, 사물인식등에 사용되고 있다.

• 합성곱 계층
  아래와 같이 5X5크기의 입력이 주어졌을때 3X3 필터를 사용해 합성곱을 하면 3x3 크기의 특성맵을 뽑아낼 수 있다. 필터를 한 칸씩 오른쪽으로 움직이며 합성곱연산을 하는데, 이때 이동하는 간격을 '스트라이드'라고 한다.

여기서 특성 맵의 크기가 줄어드는 것을 방지하기 위해 아래와같이 패딩을 주어, 스트라이드가 1일때 입력값과 특성 맵의 크기를 같게 만들 수 있다.

• CNN의 구성

합성곱신경망은 합성곱계층과 완전연결계층을 함께 사용한다.

합성곱 계층 + 활성화 함수 + 풀링을 반복하며 점점 작아지지만 핵심적인 특성들을 뽑아내는데, 여기서 Pooling layer는 특성맵의 중요부분을 추출해 저장한다.
1) Max pooling : 해당크기의 특성 맵에서 가장 큰 값들을 추출
2) Average pooling: 해당크기의 특성 맵에서 평균 값을 추출

두번째 Pooling layer을 지나면 완전연결계층과 연결이 되어야하는데 Pooling을 통과한 특성 맵은 2차원이고 완전연결계층은 1차원이므로 연산이 불가능하게된다. 따라서 평탄화 계층(Flatten layer)을 사용해서 2차원을 1차원으로 펼치는 작업을 해야한다.

평탄화 계층을 통과하게 되면 우리는 완전연결 계층에서 행렬 곱셈을 할 수 있게되고 마찬가지로 완전연결 계층(=Dense=Fully connected) + 활성화 함수의 반복을 통해 점점 노드의 개수를 축소시키다가 마지막에 Softmax 활성화 함수를 통과하고 출력층으로 결과를 출력하게된다.

❓ 전이학습이란 ?
인간이 학습 하는 방법을 모사하여 만들어졌으며, 과거에 문제를 해결하면서 축적된 경험을 토대로 그것과 유사한 문제를 해결하도록 신경망을 학습시키는 방법을 말한다. 전이 학습은 비교적 학습 속도가 빠르고, 더 정확하고, 상대적으로 적은 데이터셋으로 좋은 결과를 낼 수있다.

❓ 순환 신경망이란 ?
RNN은 은닉층이 순차적으로 연결되어 순환구조를 이루는 인공신경망의 한 종류이고 음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델이다. 길이에 관계없이 입력과 출력을 받아들일 수 있는 구조이기 때문에 필요에 따라 다양하고 유연하게 구조를 만들 수 있다.

❓ 생성적 적대 신경망이란 ?
GAN이란 서로 적대(Adversarial)하는 관계의 2가지 모델(생성 모델과 판별 모델)을 동시에 사용하는 기술이다.

🧩 적용예시

GAN은 위조지폐범과 이를 보고 적발하는 경찰의 관계로 설명할 수 있다.

* 생성모델(위조지폐범): 경찰도 구분 못하는 진짜같은 위조지폐를 만들자!
  : 이미지가 진짜(1)로 판별될수록 좋은것인데, 보다 정교하게 모델을 만들려고 노력하며
  	Target은 1로 나오도록 해야한다. 가짜를 진짜인 1처럼 만들기 위하여 타깃인 1과 예측의 차이인 손실을 
    줄이기 위하여 Backpropagation을 이용한 weight를 조정할 것이다.

* 판별모델(경찰): 진짜 지폐와 위조지폐를 잘 구분하자!
  : 진짜 이미지는 1로, 가짜 이미지는 0으로 판별할 수 있어야하고, 
  생성된 모델에서 Fake와 Real 이미지 둘다를 학습하여 예측과 타깃의 차이인 손실을 줄인다.

이와같이 계속 진행되면 위조지폐범은 더욱 더 정교하게, 경찰은 더욱 더 판별을 잘하면서 
서로 발전의 관계가 되어 원본과 구별이 어려운 가짜 이미지가 만들어지게 된다.

ex) StarGAN, CartoonGAN, DeepFake, CycleGAN 등

🧩 CNN 실습

🎁 자세한 코드는 colab 에 게시했습니다.

🧩 전이학습 실습

🎁 자세한 코드는 colab 에 게시했습니다.

🌱 느낀 점

단순히 필터적용을 할때만 딥러닝기술을 이용하는게 아니라 한때 굉장히 유행했었던 딥페이크 기술도 적용할수 있다는 사실을 처음 알게되서 흥미로웠고, 이번에 내가 배운 기술들을 이용해서 YOLO5를 테스트해보고 싶다. 당장 내일부터 사물인식 프로젝트를 시작하게될텐데 YOLO5를 적용해볼수 있을지 먼저 확인해봐야겠다.