[TIL] 26.01.20 - 경쟁사 모니터링 프로그램 개발

지난번 네이버 모니터링과 비슷한 이유로 경쟁사 모니터링 프로그램도 한번 만들어보았다.

• 일단 네이버 블로그 RSS를 통해 괜찮게 구현이 되었는데...
• 문제는 각기 다른 홈페이지, 인스타그램, 유튜브였다. 음.. 여러시도를 해보았으나 깔끔하게 되지 않아 일단은 네이버 블로그만 가능하게 해서 담당자에게 전달하였다.
• 좀 더 연구를 해봐야겠다..

1. 목표
매일 반복되는 경쟁사(병원) 블로그/SNS 확인 및 캡쳐 업무 자동화.

2. 직면한 문제 (The Struggles)

• 날짜 파싱: 사이트마다 날짜 표기가 달라 정확한 "기간 내 조회"가 어려움.
• 네이버 블로그: PC 버전의 iframe 구조 때문에 캡쳐 시 내용이 잘리거나 스크롤이 안 됨.
• 이미지 로딩: 캡쳐 속도가 너무 빠르면 이미지가 로딩되지 않아 하얗게 나옴.

3. 해결책 (Solutions)

• RSS 도입: HTML 파싱 대신 RSS 피드를 활용해 속도와 날짜 정확도 해결.
• 모바일 우회: 블로그 접속 시 모바일 주소(m.blog...)로 강제 전환해 iframe 문제 해결.
• 요소 캡쳐 (Element Screenshot): 전체 화면 대신 본문 영역(.se-main-container)만 콕 집어 캡쳐해 군더더기 제거.
• 강제 스크롤: Headless 모드에서도 내부적으로 스크롤을 끝까지 내려 이미지를 로딩시킨 후 캡쳐.

4. 선택과 집중 (Trade-offs)

• 인스타그램/유튜브는 폐쇄적인 구조로 완벽한 데이터 수집이 어려움.
• 결정: 과감하게 기타 채널은 '단순 수집'으로 타협하고, 업무 비중이 가장 큰 "네이버 블로그 기능 완벽 구현"에 집중하여 MVP(Ver 1.0) 배포.