[MySQL] 중복 데이터 제거

중복 데이터 문제 해결 완료

지난 글 : https://velog.io/@jsyun0412/MYSQL-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%A7%84%ED%96%89-%EC%83%81%ED%99%A9%EA%B3%BC-%EB%AC%B8%EC%A0%9C-%EB%B0%9C%EC%83%9D

지난 글에서 내가 진행하는 프로젝트에 대한 문제점에 대해 작성했었다.

최근 바빠서 시간을 많이 투자하지 못했는데, 해결 방법을 찾아본 결과

1. 참조 데이터 삭제: assosiation_table에서 중복된 article_id 값을 가진 데이터를 삭제

2. 중복 데이터 처리: article_table에서 중복된 title 값을 가진 데이터 중 하나만 남기고 나머지를 삭제

위 과정으로 진행하였고

드디어 12만개의 데이터 중 중복 데이터 약 11만 9700 여개를 제거하고.. 239개의 정상 데이터만 남았다.

상당히 많은 중복 데이터가 있었다는 사실에 놀랍고

앞으로는 크롤링 할 때 미리 중복 데이터 처리를 한 후 DB에 넣어야겠다. ㅠㅠ

테이블 JOIN 한 결과