아이효 2021.03.27

• 데이터 전처리 (2)

  CV와 NLP에서의 데이터 전처리란?

• CV: 이미지 처리 --> augmentation, nomalization, rezise 등등
• NLP: 언어 처리 --> tokenization, normalization, cleaning, encoding 등등

CV

augmentation, 증강

• 이미지 쪽에서 데이터를 부풀리기 위해서, 늘리기 위해서 하는 것
• 왜 할까?
  ..--> 모델학습을 위해, 데이터 수집이 어려워서, 오버피팅을 피하기 위해, robust함을 모델에 주기 위해.
  ....--> 변형을 통해 없던 데이터를 추가시켜주는 것. 그러면 원래 데이터의 분포(모집단)를 잘 설명할 수 있게 됨.
  ......--> 예를 들어 분류문제에서 데이터가 적으면 데이터를 나누는 선이 여러 개가 나오게 됨(학습 안 됨)
  .........--> 그래서 데이터 양을 늘려서 학습이 잘되게 만들어 데이터를 나누는 제일 적당한 선을 찾게 만듦.

augmentation의 방법들

• 반전, clipping, 회전, 노이즈 추가 등등

auto ML

• 데이터를 주면 가장 좋은 모델을 찾아주는 플랫폼.
• augmentation에서도 이런 아이디어(자동으로 가장 좋은 변환 방법을 찾을 수 있다)를 적용할 수 있음.
  ..--> 태스크의 도메인에 적합하지 않는 변환 방법을 사용하면 이득이 되지 않음. 도메인에 적합한 변환 방법을 여러 실험을 통해 찾는 것이 중요함. (like 하이퍼 파라미터)

• Conv 레이어에서 전처리에서 찾아줘야할 피쳐를 잘 찾아줘서 CV에서 전처리할 것이 별로 없음.
  ..--> 그래서 데이터 수집에서 어려움이 있으면 augmentation을 사용하는 것.

NLP

• 목적은 언어를 이해하는 것. 그리고 언어를 잘 활용하는 것.

tokenization, 토큰화

• 의미 있는 단위로 잘라주는 것.
• 왜 할까? NLP의 목적인 언어 이해를 위해서는 의미있는 단위들을 알아야 함.
• 통채로 있는 글이 아니라 하나하나 의미가 있는 최소 단위를 알기 위해 쪼개는 토큰화가 필요.
  ..--> 그래야 나중에 쪼갠 단어를 조합하여 다시 사용할 수 있음.(보통 단어 단위/ 태스크에 맞게 발라주면 됨.)

• 영어는 띄어쓰기 단위로 구분이 되어 있어 편리함.
• 한국어는 이보다 어려움.

subword, 부분 단어

• 합성어도 쪼개서 생각해보겠다는 아이디어.
• 사용하면 성능이 올라감.

normalization, 정규화

• NLP에서는 CV와 다른 의미로 사용.
• 단어의 의미가 같은 것을 통합하는 것. (Ex. US, USA, 미국 이라는 같은 지역을 의미하는 단어를 하나로 정규화.)
• 왜 필요할까? 같은 의미의 단어를 다 다르게 컴퓨터가 인식하면 메모리 사용도 많아지고, 학습도 오래 걸리고, 같은 의미를 가진 단어인데 다른 단어로 인식하면 나중에 처리하기 힘들기 때문.
• 하는 방법: 대소문자 변환 등등

cleaning, 정제

• 학습에 도움이 되지 않는 필요 없는 데이터 없애기.
• 하는 방법: 도메인에 불필요한 단어 제거, 불용어 제거, 특수문자 제거, 문장 부호 제거, 데이터 분포에서 긴 문장을 제거, 빈도수가 낮은 희귀한 문장 제거 등등

encoding, 인코딩

• 벡터로 표현해서 인간의 언어를 컴퓨터가 계산할 수 있도록 바꿔주는 것. = transformation
• embedding(학습에 좋은 표현으로 바꿔주는 것(word2vec)), padding(길이가 안 맞아서 길이를 일부로 맞춰주는 것.)

tagging, 태깅

• 품사태깅 또는 객체명 인식.
• 품사태깅을 하는 이유는 단어가 나뉘는 것을 알기 위햐서는 품사를 알고 있어야 함. 컴퓨터는 품사를 모르기 때문에 어간+어미를 잘 나눌 수 없음. 단어의 원형을 찾기 위해서도 필요함(has --> have).
• 어간 추출 및 표제어 추출에 필요함.
• 단어마다 어떤 품사를 가지고 있는지 CRF라는 분류 모델를 사용함. --> 말뭉치에 대한 라벨링 노가다를 했다는 것.

객체명 인식, named entity recognition

• 태그를 달아주는 것, 객체 명에 대한 카테고리의 태그를 달아주는 것.

지효님의 알고리즘 강의
<자료구조 마지막>

• 비선형 자료구조: 그래프, 트리

tree(트리)

• 사이클이 없는 그래프.
• 계층을 나타내는 자료구조. 높은 계층과 낮은 계층의 연결만 가지고 있음 --> 부모(parent)-자식(child) 관계/ 같은 자식관계는 sibling이라고 함.
• 뿌리(root)부터 뻗어나가는 모양을 가지고 있음.
• 아무 정점을 루트로 잡을 수 있음. --> 그 정점을 잡고 들어올린다고 생각하기.
• 루트로부터 떨어진 거리를 height라고 함. --> root에서 가장 먼 곳. dept 중 가장 큰 것.
• 트리 끝에 달려있는 것을 leaf/ leaves(복수) 이라고 함.
• 각각의 정점이 root로부터 떨어진 깊이를 dept라고 함.
• 트리의 일부에서 새로 root를 잡은 트리를 sub tree라고 함.
• 위에 있는 정점을 ancestor, 아래에 있는 정점을 descendant 이라고 함.

tree의 분류

• 자식: 그 부모가 자식을 갯수를 몇개까지 가질 수 있나? --> 이진트리(최대 자식 2개/ 보통 선호), multi way(자식 여러 개)
• 순서(order): 트리는 순서 개념을 줄 수 있음.
  ..--> 순서가 있는 경우:
  ....1. 힙: 부모와 자식과의 관계만 설정.
  ....2. 서치: 이진트리로 왼쪽과 오른쪽을 구분할 수 있음. L<P<R을 만족하는 트리
  ..--> 순서가 없는 경우도 있음.
• 균형(balanced): 정점의 개수가 N이라고 했을 때, 제대로 균형을 맞춰주면 height의 길이가 log N정도 됨. 이 상태를 균형이라고 함.(차이가 가장 없음.)
  ..--> unbalanced한 트리도 존재함. 높이를 줄이고 싶을 때 이진트리가 최악임(자식을 2개 밖에 두지 못하기 때문.)
• 적용(application): 문자열, 구간, 공간 정보, 집합, 파일 시스템 등등
  ..--> 민주주의는 사이클이다....띵언.....

계층이 중요한 이유

• root에 권한을 주기 위함 --> 다단계.
• 결정을 빠르게 잘 내리기 위해서.

순회

• 모든 정점과 간선을 방문하는 것.
  ..--> 1번 방법: 전위 순회(pre order): P L R (자기 자신을 제일 먼저)
  ..--> 2번 방법: 중위순회(in order): L P R (자기 자신을 중간에)
  ..--> 3번 방법: 후위 순회(post order): L R P (자기자신을 마지막에/ root가 가장 마지막에 나옴.)
  ....--> 위의 3가지 방법들이 DFS(넓이 우선 방식).
  ..--> 4번 방법: BFS(깊이 우선 방식).
  ....--> 계층적으로 처리하는 방법. 가장 높은 계층부터 순서대로.

BFS(한숨에 갈 수 있다.)와 DFS(갈 때까지 가보자.)

• 순회의 일종.
• 그래프에서도 가능. 트리에서 하면 레벨링 가능.

AVL tree

• balanced 된 서치 트리. --> height의 길이가 log N정도되고 L<P<R을 만족하는 트리 .
• k 번째인지 찾을 수 있음. --> 트리 자체로 정렬 효과를 얻을 수 있음.
• 추가나 삭제로 balanced가 깨지면 reconstruction 해야 함.

heap

• 완전 이진 트리(꽉찬 이진 트리)
• 우선 순위 큐(FPFO)를 구현하는 자료구조.
• Insert(우선순위), delete(루트), find(루트)