안녕하세요 반갑습니다.
항상 토이프로젝트를 진행하면서 이런 과정에 대한 글을 안써본 것 같아서 과정과 함께 한번 프로젝트를 진행해보려고 합니다.
"초이스" 프로젝트는 학교의 노후화된 종합정보시스템(혹은 학사정보시스템, 포털 등)으로 접근이 불편한 학생들을 위해, 스마트폰 앱을 통해 더욱 쉽고 편하게 접근 가능하도록 하는 프로젝트입니다.
핵심은, 학교에서 당연히 이 프로젝트를 위한 서드파티 API등을 제공해줄리도 없고 (개인정보 측면에서나 이것저것 골치아프기에), 제공받는다고 하더라도 접근할 수 있는 데이터가 필요한 데이터가 아닐 가능성도 높기에..
웹 스크래핑 기술을 통해 위와 같은 문제를 해결하고자 합니다. 즉, 학생들이 모바일에서 크롬을 켜고 학교 홈페이지에 접근해서 정보를 찾던 과정 "자체"만을 자동화해서 "서버를 거치지 않고" 클라이언트(앱)에서 정보를 받아오고 서빙하는 형태의 시스템을 구축하려 합니다.
짚고 넘어갈게, 스크래핑 과정 전후에서 서버가 취득하게 될 정보는 민감하게 개인정보처리방침을 통해 관리할 것이고, 사용자의 동의를 구해야 하며, 절대로 스크래핑 과정은 서버에서 이루어지지 않습니다. (즉 서버는 사용자의 학교 관련 계정 정보등은 수집하지 않습니다)
위의 "웹 스크래핑"의 대표적인 사례가 토스로 볼 수 있는데, 토스에서 특정 페이지에서 토스 외부 기관 (건강보험공단 등)의 ID/PW를 요구하는 경우를 볼 수 있습니다. 위 사례에서도 마찬가지로 클라이언트에서 웹 스크래핑을 처리하고있는것을 볼 수 있습니다.
개발 기술 스택
한편 개발 과정의 기술 스택은 다음과 같이 설계중입니다. (사실 이 글을 쓰는 시점에서 이미 개발중인 상황이라 결정되어있음;;)
- Flutter (하이브리드 어플리케이션)
- JavaScript (웹 스크래핑 스크립트)
- Nest.JS (BFF / Backend For Frontend)
- SpringBoot (Core Backend, Auth.. etc)
- Next.JS (웹뷰, TypeScript)
지금 이 글 제목에 [통합] 부분에 들어가는 분야가 아마 저 친구들일 것 같은데, 각각 [앱], [스크래핑], [BFF], [백엔드], [웹뷰] 타이틀로 작성할 것 같아요. (+[디자인] 도 있어요)
갑자기 글쓰다가 요체가 됐는데 위에 개요는 진지해서 ~다체였고, 아마 앞으로는 요체로 갈것같아요.
암튼 그렇습니다 ^^
