<수업 내용>
1.공공데이터 활용
- 국민연금 공단_국민연금 가입 사업장 내역 오픈 API 활용신청
- 국토교통부_아파트 전월세 자료 오픈 API 활용 신청
2.데이터 리터러시
- 문해력
- 데이터를 읽고 쓸 줄 아는 능력
- 읽고 쓰고 > 이해> 소통, 창조
- 왜곡된 데이터가 만들어낸 가짜를 구분할 수 있는 기본 능력
- 데이터 읽기> 데이터 작업하기 > 데이터로 소통하기
3.데이터 리터러시 하위 역량
- 기획 : 문제해결을 위한 가설 설정
- 현재 문제가 무엇인가?
- 내가 세운 가설이 적절한가?
- 가설을 세분화 한다- 수집 :
- 어떤 데이터가 필요한가?
- 수집할 수 있는 데이터 인가?
- 데이터 수집을 위해 무엇이 필요한가?
- 육하원칙하의 데이터 수집- 이해 및 관리
- 내가 수집한 데이터의 출처가 깨끗하고 사용가능한 것인가?
- 데이터에 오류, 변수가 얼마나 포함되어 있고 추가되지 않은 데이터는 없는가?
- 데이터의 양이 방대하다면 효율적인 관리를 위해 팀원을 확보해야하는가?- 분석
- 현재 데이터셋이 내가 하고자 하는 작업에 적합한가?
- 데이터셋을 통해 무엇을 알아낼 수 있는가?
- 데이터를 분석한 결과가 유의미한 것인가?
- 내가 세운 가설이 검증 될 수 있는가?- 시각화
- 데이터를 통해 찾아낸 의미를 어떻게 전달 할 것인가?
- 누구에게 어떤 방법으로 전달할 것인가?
- 데이터를 모르는 사람도 한 눈에 의미를 알 수 있는가?
- 제작된 결과물이 편향되지는 않았는가?
- Visual Vocabulary : 시각화의 룰을 정제해 정리해놓은 사이트(https://ft-interactive.github.io/visual-vocabulary/)
4. DT/DX 성공사례
-
Amazon : prime now
- 구매하지 않고 장바구니에만 상품을 넣어도 고객의 기존 구매이력 데이터를 기반으로 구매할지 아닐지를 예측하여 배송을 시작한다
- 아마존 배송 경로 : 물류에 대한 순환이 빨라지기 때문에 고정 배송 지출비를 줄일 수 있다 -
테슬라 : 원래 마케팅, 홍보 부서가 없었다
- 자율주행이 가능한 차를 출차하고 소프트웨어를 통해 사용여부를 설정하는 형태
- 소프트웨어의 자동 업데이트 -
나이키 : 월스트리트 옆 소호 스트리트에 큰 오프라인매장을 짓고 다양한 스포츠를 체험하고 제품을 활용해 볼 수 있도록 함
- 제품 커스터 마이징 가능, 다양한 고객 니즈 데이터를 정확하고 빠르게 수집할 수 있다 -
자라 : 다품종 소량생산
- MIT 연구팀과 연계해 빅데이터를 활용하는 재고관리 시스템을 개발함
- 영업 이익률 57% 상승 기록
- RFID를 활용하여 트렌드를 수집
5.국내 데이터 활용 케이스
- 광주광역시 광산구 시설관리 공단 : 머신러닝 기반 폐기물 발생략 예측 시스템
- 실패사례
- 관광지의 cctv 영상물 데이터, 통신사의 유동인구 데이터, 카드사의 결제정보 데이터 활용 > 외국인 여행객 인기관광지 best 10 선정: 결과물이 너무 빈약함 - 성공과 실패 이유 : 문제정의와 가설설정(비즈니스 니즈)를 통해 데이터를 수집하고 분석하도록 접근해야 한다.
데이터를 통해 해결할 문제를 찾는 것이 아니다
6.해외 데이터 활용 케이스
- 미국 폭격기의 어느부분에 방탄판을 두를것인지 예측
- 돌아오지 못한 비행기를 기반으로 데이터를 분석함
7.디지털 트랜스포메이션과 데이터 리터러시
- 커피 신제품을 개발한다면?
- 아메리카노, 라떼 연도별 언급량 비중 변화 &유당불내증 연도별 언급량(by 소셜미디어 키워드 언급량)
- 유당불내증의 리스크를 안고 라떼출시? 아메리카노 출시?
- 유당불내증과 같이 그에 관련한 연관검색어를 조사(ex.락토프리, 두유, 아몬드, 귀리, 오트 : 우유 대체제)
데이터리터러시 역량의 가장 핵심은! 데이터를 통해 의사결정에 효과적인 인사이트를 찾아내는 것
- 데이터 수집 도구 활용능력보다 중요하다
8. 파워쿼리를 활용한 웹크롤링
- 파워쿼리란 ?
- 엑셀 내 데이터 분석 도구
- ETL 툴
- 단점) 버전마다 사용법이 다를 수 있다 - 실습 1.
https://ko.wikipedia.org/wiki/%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD%EC%9D%98_%EC%95%84%EC%B9%B4%EB%8D%B0%EB%AF%B8_%EA%B5%AD%EC%A0%9C%EC%98%81%ED%99%94%EC%83%81_%EC%B6%9C%ED%92%88%EC%9E%91
- 엑셀 > 데이터 > 웹 연결 > 탐색창
- [로드]:데이터를 엑셀에 단순히 뿌려줌. 편집 어렵다
- [데이터 변환]: 데이터 편집 가능
- 첫행을 머리글로 사용
- 열분할
- 닫기 및 로드
- 웹데이터가 변환이 일어나면 파워쿼리를 통해 자동으로 업데이트 된다는 장점이 있다
- 실습 2. 멜론
https://www.melon.com/chart/month/index.htm?classCd=GN0700
- ctrl +z 불가 > 우측에서 "적용된 단계"를 통해 되돌릴 수 있다
- 수식 >자동합계 - 실습 3. 유튜브 랭크
- 실습 4. Flix patrol(넷플릭스 영화, 드라마 top10)
9. 리스틀리
- 웹크롤링 결과를 엑셀로 가져올 수 있다
10. API
- 컴퓨팅에서 컴퓨터 시스템 끼리 정보를 교환하는 공유 경계
- 공공데이터 실습(국민연금 공단)
- 인증키 : 각각 다르게 받는다. 보통 인코딩 인증키 활용.
- 요청변수, 인증키를 url에 작성하여 파워쿼리로 연결
- "원래 열 이름을 접두사로 사용" 체크 해제
- 우아한 형제들 가입자, 가입 해지자 수를 알아보자
1.API를 통해 주식회사 우아한형제들의 seq(식별번호) 찾기
2. API를 통해 월별 취업자수, 월별 퇴직자 수 알아보기
<오늘 내가 잘한점>
- 수업을 들으며 동시에 벨로그에 정리하는 작업을 진행하였다. 수업에 대한 몰입도가 높아지고 내용 정리가 잘되었다고 생각한다. 복습을 할때 유용하게 활용될 것이라고 생각된다.
- 궁금한 질문에 대해 강사님께 즉각 질문하여 수업을 무난하게 따라갈 수 있었던 것 같다.
<앞으로 개선해야 할 점>
- 벨로그 태그에 조금 더 익숙해 져야 할 것 같다. 시각적으로 보기좋게 만들어보는 연습이 필요할 것이라고 생각된다.
- 개선해야할 점 이라기 보다는 수업중에 놓쳤던 부분이 있었는데 API 활용시 url 요청변수에 필수적으로 넣어야 할 부분을 optional한 것이라고 착각하였던 점이 이었다. pageno. 요청변수는 데이터 제공시 디폴트 값이었는데 삭제하고 url을 넣었던 것이다. 이에 대해 공공데이터 참고명세 자료에 조금 더 상세한 설명이 있었더라면 좋았을 것 같다.
