너무 좋은 책을 발견했다.
이제 이책과 함께 5팀 팀 프로젝트를 화이팅 해야겠다.

최적화 기법

전처리

이부분은 저번학기 딥러닝 수업때 너무나도 흥미로웠고 열심히 들었던 부분이어서 이번에 수업을 듣는데
크게 힘든점은 없었다.

데이터 전처리를 해주는 것은 다시한번 중요한 과정임을 알게 됐다.
데이터 전처리의 경우 항상 혼자 느끼는 딜레마 이지만 어느 정도까지 전처리를 해주어야 하는지
전처리 과정에 데이터 손실이 일어나는 것이 아닌지 등등 너무나도 많은 경우가 있다.
이러한 과정을 조금이라도 줄일 수 있는 방법은 이태까지 프로젝트를 하면서 느끼는 거지만
첫번째로는 우리가 이 데이터로 어떤 방향을 갖고 어떤 모델을 만들어 어떻게 활용 할지를 정확하게 이해해야
전처리 과정에 수고로움이 많이 준다.

전체적인 프로세스를 이해하는 것 그리고 이렇게 큰 그림을 그리고 전처리를 하다보면 이런 방향으로 가면
더 좋은 모델을 만들 수 있겠다라고 깨닫는 점도 있다.

nlp in action

corpus = {}
for i,sent in enumerate(sentences.split('\n')):
    corpus['sent{}'.format(i)] = dict((tok, 1) for tok in sent.split()) #dict((mapping!!))
    

• dict(iterable, **kwargs)형식으로 dictionary를 만들 수 있다는것에 또 한번 감동을 느꼈다

[(k,v) for (k,v) in (df.sent0 & df.sent3).items() if v]

• df.sent0 & df.sent3.items() 이부분의 경우 두 문장에서 같은 것이 있으면 1 없으면 0인 iterable한 형식으로 나타난다. 이때 if v 의경우 v가 1일때 인 것들을 뽑아준다.

• 너무나도 감탄이 나오는 코드이다.