벌써 에이블 스쿨을 시작한 지 3주가 되었던 한 주였네요 뭔가 시간이 왜 이렇게 빠를까요 ㅋㅋㅋ
이번 주는 원티드 강의와 sqld와 스터디 2개가 다 겹친 데다가 프로젝트 회의까지 있어서 제대로 못 쉬었던거 같아요...
거기에 이번 주 부터 시작한 코딩마스터스(에이블스쿨) 대회가 있어서 거기에 제일 많은 시간을 뺏겼던 것 같네요
막 순위도 나오고 하는데 다른 분들 열심히 푸는 거 보고 저도 열심히 풀려고 노력하려고 했던 것 같지만 잘하는 분들이 너무 많더라구요 ㅋㅋㅋ
그래도 기간이 아직 많이 남았으니 끝까지 열심히 해보려고 합니다!
이번 주는 에이블 스쿨 하면서 여러 번 진행될 프로젝트 중 하나인 미니 프로젝트(1차)가 진행되었습니다.
3/4 ~ 3/6일 까지 진행되었고 저는 3/4(대면)으로 참석하고 3/5 ~ 3/6은 원티드 강의 일정 때문에 아쉽게 비대면으로 참석하게 되었어요
미니프로젝트는 KT에서 어떠한 해결해야 할 문제를 주고 그 문제에 대한 데이터, 도메인 지식, 문제 해결 가이드 등을 제시해 줍니다.
또한 그것을 통해 개인 과제와 조별 과제를 통해 개인의 생각과 서로에 의견을 이야기해 볼 시간을 가지는 프로젝트입니다.
그리고 진행할 때 튜터님들이 줌을 통해 찾아오시는데 그때마다 궁금한 게 있으면 여쭤볼 수 있었습니다.
그 시간에 못 물어본 문제가 있다면 1:1문의를 통해 질문을 하면 5~10분 내로 답변을 해주셔서 금방 문제 또는 궁금한 점을 해결할 수 있었습니다.
미니프로젝트는 내용을 다루기가 조금 조심스러워서 1차는 따로 회고를 진행하진 않도록 하겠습니다(노션엔 정리했어요)
나중에 다뤄도 된다~라는 정보를 알게 된다면 그때 다뤄보도록 하겠습니다.
3/7일부터 3/8일은 웹 크롤링에 대한 강의가 있었습니다.
기본적인 웹 지식이나 네트워크 지식에 대한 강의가 있었는데, 저는 백엔드를 희망하다 보니 아무래도 익숙한 이야기라 기본을 다시 배운다는 느낌으로 수업을 들었던 것 같습니다.
강의 중 제가 제일 중요하다고 느꼇던 것 몇개를 다뤄보려고 합니다.
제일 먼저 중요한건 크롤링 과연 합법일까? 불법일까? 이 부분이 제일 궁금하기도 했고 중요하다고 생각합니다.
먼저 웹 크롤링 자체는 불법은 아니지만, 특정 조건 하에 불법이 될 수 있다고 합니다.
사이트들은 일반적으로 robots.txt(로봇 배제 표준)라는 파일을 사용하여 크롤러의 접근을 관리합니다.
확인하고 싶으면 naver.com/robots.txt 와 같은 루트 사이트 뒤에 robots.txt를 붙혀 들어가보면 접근 규칙을 알 수 있습니다.
예를 들어 위에서 예로든 naver 같은 경우는 robots.txt를 통해 모든 접근을 제한하고 있기 때문에 원래라면 네이버 사이트를 크롤링 하는 행위는 불법이 됩니다.
하지만 네이버가 이를 적극적으로 문제 삼지 않고 있기 때문에 (법적 조치를 취하지 않고 있기 때문에), 많은 사람들이 여전히 네이버 사이트를 크롤링하고 있습니다.
그러나 이는 언제든지 변할 수 있으며, 네이버가 원칙을 엄격히 적용하기 시작한다면, 이전의 크롤링 활동도 법적 문제로 이어질 수 있습니다.
-> velog는 전부다 허용해놨네요!
파이썬은 보통 크롤링을 두가지 방법으로 진행합니다.
- requests 라이브러리로 웹 정보를 받고, BeautifulSoup로 파싱한다.
- selenium 라이브러리로 브라우저를 열어 웹 정보를 받는다.
두 개의 차이는 웹 브라우저를 여냐 안 여냐의 차이인 것 같습니다.
보통은 웹 브라우저를 켤 필요가 없는 requests(속도가 빠름)을 통해 크롤링을 진행하고,
클릭 등의 이유로 웹 컨트롤이 필요한 경우는 selenium을 쓰면 됩니다.
실제 크롤링을 통해 시간을 비교해 보았는데 requests를 통한 방법은 1초도 안 걸리는 시간에 크롤링을 성공하였지만
selenium은 최소 3~4초 최대 5초까지 시간을 걸리는 것을 알 수 있었습니다.
강사님이 최후의 보루로 selenium을 이용하라고 하셨었는데 그런 이유를 알 것 같았어요 ㅋㅋ
알고리즘 study
https://keen-bowl-45a.notion.site/20164-V-73e66a34cc5d4684b8b3a966295418bc?pvs=4
CS study
https://keen-bowl-45a.notion.site/1-SECTION-1-93ccc3fd3ae14254bb9e45766a775596?pvs=4
뭔가 이렇게 링크를 올리면 좀 더 노션을 쓸 때도 보기 쉽게 쓰려고 노력할 것 같아서 앞으로 주차마다 스터디 내용을 한번 노션으로 공유해 보려고 합니다!
에이블러님들 한주간 고생 많으셨습니다~!
다음주는 본격적으로 머신러닝에 대해 배우는데 에이블러님들 모두 화이팅이에요 🤗
틀린 부분은 언제나 댓글로 지적 부탁드립니다!
다음 내용 궁금해요 ~ ~ ~