프로젝트
이번 프로젝트는 처음에는 공모전 환경데이터를 하려다가, 비공개 데이터셋도 있고, 긁어오기 힘든? 데이터도 있고, 실제로 도메인 지식이 없는 사람들이 도전하기에는 힘든 데이터셋이라 결국 제공된 데이터들중에서 고르기로 하였고, 우리조는 교육데이터를 선택하였다.
프로젝트 회고 정리
1. 프로젝트 개요
"교육데이터를 분석하여 전사 및 각 팀에 맞는 대시보드를 만들고 인사이트를 도출한 프로젝트"
- 데이터 이해 및 전처리
-
어떤 데이터셋을 사용했는가?: edx(에드엑스)라는 대학 온라인 강의 플랫폼의 2012년 하반기~2013년 상반기 데이터를 사용하였음.
-
데이터의 특징은 어떠했는가?: 데이터셋은 약 64만개의 행과 20개의 컬럼으로 구성되어있었음.
-
어떤 전처리를 했고, 왜 그렇게 했는가?:
- 분석 방향과 방법
- 분석은 어떤 흐름으로 진행했는가?:
- 어떤 기법을 사용했는가?
API 크롤링
API: 프로그램이나 서비스 간에 기능이나 데이터를
주요 역할
1. 서비스 연결: 서로 다른 프로그램, 어플리케이션, 시스템 간의 통신을가능하게 함
2. 기능 추상화: 복잡한 기능을 단순한 인터페이스로 제공.
3. 데이터 교환:
4. 서비스 확장
활용 사례
- 결제시스템
- 지도 및 위치 서비스
- 날씨 정보
- 데이터 분석
- 공공 데이터 활용
HTTP: hyper text transfer protocol: 인터넷환경에서 정보를 주고받기 위한 규칙
http 요청 메서드
- get: 정보를 가져올 때
- post: 새로운 정보를 생성할 때
- put/patch: 정보를 수정할 때
- delete: 정보를 삭제할 때
유저에이전트, 어또라이제이션, 쿠키->볼 것. 이런 정보를 잘 알고있으면, 이런것들을 토대로 웹 보안적으로. 해킹하는 사람들이 이런것을 통해서 해킹을 한다고 함.
http 주요 응답 코드
200번대: 성공(초록불)
400번대: ct측 문제(노란불)
500번대: 서버측 문제(빨간불)
rest api -> 인터넷에서 정보를 주고받는 가장 인기 있는 방식
자원을 url로 표현하고, http메서드로 자원에 대한 행위를 정의하는 방식
