1주차 자연어처리

natural join
inner 조인은 지정된 값을 기준으로 조인이 되는 반면에, natural조인은 키값을 지정해주지 않아도, 알아서 실행할 때 공통되는 부분을 찾아서 조인을 해준다.

select * from takes inner join course on takes.course_id = course.course_id # inner 조인을 하는 방법

select * from takes natural join course # natural 조인을 하는 방법

자연어 처리

하위 분야가 굉장히 많다. 챗봇, 음성인식, 구문분석.... 이러한 것들은 모두 원리가 다르다. 따라서 한 분야만 하려고해도 많은 시간이 소요된다. 또한 번역분야 같은 경우는 데이터 셋이 매우 많이 필요하기 때문에 데이터셋을 구하는것이 어렵다.

언어마다 의미를 형성하는 과정이 다르고, 한국어의 경우 어순이 상관이 없기 때문에 모든 자연어 처리에는 한계가 존재한다. 이러한 이유로 다른 분야에 비해 발전 속도가 좀 느리다.

자연어처리는 수학, 머신러닝, 딥러닝이 모두 배경지식으로 있어야 가능하다.

자연어처리의 과정

1. 단어를 전처리한다. 문자에서 의미를 형성하는 단어만을 추출.
2. 추출한 단어들이 가지는 관계를 분석하고 벡터의 공간에 놓는다.
   비슷한 의미를 가진 단어들끼리 가까운 위치에 배치를 한다.
3. 이를 바탕으로 문장의 의미를 찾거나 분류를 진행한다.
   좋다는 +, 싫다는 -라는 식으로 지정하여 식으로 만들어준다.
4. 식을 통해 결과를 추출.

스팸 메일을 분류할 때도 혜택, 초특가 등 스팸메일에서 자주 보이는 단어와 가깝게 배치되는 단어들이 메일에 있다면 스팸메일로 분류.

감정을 분석할 때는 사랑, 최고, 감동 등의 단어와 가깝게 배치되는 단어가 있다면, 이는 긍정적인 감정을 가지고 있다고 분류한다.