7월 1주차 진행 사항
6/30(월) - 2차 프로젝트
7/01(화) - 2차 프로젝트
7/02(수) - 2차 프로젝트
7/03(목) - 수업 : 클라우드 기반 데이터 처리/저장/관리 기술
7/04(금) - 수업 : 클라우드 기반 데이터 처리/저장/관리 기술
1️⃣ 이번 주 돌아보기
수요일 발표를 마지막으로 2차 프로젝트를 성공적(?)으로 마무리할 수 있었다.
지난 일주일을 돌이켜보면 짧은 기간동안 익숙하지않은 협업 구조와 데이터를 수집하고 처리하는 과정에서의 복잡함으로 어려움을 겪었던 한 주였다. 비록 완성도 면에서 아쉬움은 있지만, 팀원들과의 협업과 데이터 파이프라인을 경험해봤다는 점에서 의미 있는 프로젝트였다.
아래에는 후기를 적어놓은 블로그이다.
2차 프로젝트 후기
👉 [Velog] LG U+ Why Not SW CAMP 6기 2차 프로젝트 후기
2️⃣ 새로 알게된 & 성장한 부분
이번 프로젝트는 기간이 짧았기 때문에 개인적으로 팀장으로서 개발 자체도 신경쓰지만, 보다 팀 개발을 어떻게 할 것인가에 더 초점을 맞추고 진행했던거 같다.
특히 GitHub 브랜치, 코드 통합, 충돌 해결 등의 내용을 직접 부딪히면서 익힐 수 있었다.
목, 금요일에는 Playwright를 사용한 웹 크롤링 실습을 진행했다.
기존에는 OpenAPI를 사용한 데이터 수집을 선호해왔고 웹 크롤링은 들어만봤었는데, 웹브라우저 개발자도구의 HTML 태그를 사용하여 웹사이트의 정보를 가져올 수 있다는 것이 매우 인상깊었다.
3️⃣ 보완해야할 부분
그동안 강사님은 "웹 크롤링은 불법이고 법적으로 문제가 될 수 있으니 프로젝트에서 사용하지 말라"고 말씀하셨다.
하지만 이번주 수업을 진행해주신 본부장님은 "경쟁기업 목적이 아니고, 개인 학습이나 연구 목적이라면 괜찮다"라고 하셨다.
도대체 뭐가 맞는 걸까? 궁금해서 직접 찾아보았고, 내용을 정리해보았다.
- 공개된 정보를 크롤링하는 것은 불법이 아니다.
- 사이트 이용약관 위반, 서버에 과부하를 주는 방식, 개인정보 수집, 저작권이 있는 정보 수집 등은 문제 소지가 있다.
- 많은 사이트들이
robots.txt를 사용하여 크롤링을 제한하고 있다. - 가장 중요한 것은 목적과 방법
➜ 상업적 목적이거나 사이트의 방침을 무시할 경우 문제가 될 수 있다.
즉, 단순히 학습 목적이고, 서버에 과도한 요청을 보내지 않으며, 공개된 데이터를 수집하는 수준이라면 법적으로 크게 문제가 되지는 않는 것으로 보인다.
앞으로 크롤링을 프로젝트에 활용할 때는 목적과 사이트의 방침을 확인하는 습관이 필요하겠다.
참고한 블로그
👉 https://www.lawtimes.co.kr/opinion/202909
👉 https://rcoding.tistory.com/1307#google_vignette
4️⃣ 다음 주 계획
다음 주부터는 데이터 저장, 처리, 관리하는 다양한 기술들을 본격적으로 배워나갈 예정이다. 단순히 배우는 데에 그치지 않고, 실제 프로젝트에서 사용 가능할 수 있또록 익히는 것이 목표이다
