[텍스트 전처리] Simple

인공지능 모델에 학습시키기 위한 다양한 텍스트 전처리 방법이 있지만, 나중에 참고하기 쉽게 그 중에 가장 단순한 특수문자 제거 및 반복문자 제거를 위한 전처리 방법을 기록으로 남긴다.

df['text'] = df['text'].apply(lambda x: re.sub("[^ A-Za-z0-9가-힣]", "", x))
df['text'] = df['text'].apply(lambda x: re.sub("[ +]", " ", x))