1. 특강 듣기 전
지난주부터 부산에도 코로나 단계가 올라가서 집에서 원격으로 수업을 듣고 있었는데, 특강은 오프라인으로 교실을 나눠서 진행 한다고해서 시간 맞춰서 교육원에 도착했다. 지금까지 약 한달 정도 수업을 들으면서 여러가지 생각이 많았다. 무엇보다 진로에 대한 고민과 막연함으로 걱정이 많았는데, 지난번 카카오에 보안 담당자로 계시는 분의 특강을 듣고나서 동기부여도 되고, 방향을 어느정도 잡을수 있었기에 이번 특강에 대한 기대도 남달랐다.
강사님은 황보현우 교수님으로 한남대 글로벌 IT 경영학과 교수로 계시는 분이다.
(현재 금융업계 임원으로 이직이 확정난 상태라고 하신다.)
교수님께서는 데이터 과학이 무엇이고 우리는 앞으로 무엇을 준비 해야 하는지에 대한 강의를 준비하셨다. 아울러 IT 대기업(네카라쿠배당토 등)의 구직난(IT 개발자, 데이터 분석가)에 대한 현황과 우리가 배우고 있는 것들이 얼마나 가치가 있는지에 대해서 다시 한번 상기 시켜주시면서 강의를 시작하셨다.
2. 특강 내용
우리는 데이터의 시대에 살고있다. 1분동안 생성되는 데이터의 양은 어마어마 하다. 약 2억개의 email을 주고 받고, 72시간의 비디오 재생이 이루어지며, 140만분의 통화가 발생한다.
다양한 빅데이터 활용 분야
1) 치안
사후적 범죄 단속을 통해서 우범지역등을 설정하여 사전범죄 예방을 한다.
영화 '마이너리티 리포트' 워싱턴, 범죄가 일어나기 전 범죄를 예측해 범죄자를 단죄하는 최첨단 치안 시스템 프리크라임은 시민들의 안전을 지켜주는 든든한 존재
2) 보험(보안)
차체내에 안전운전 수칙과 관련된 센서를 부착하여 평소 운전자의 습관을 데이터로 저장함(급가속, 급출발, 끼어들기, 운전 중 휴대폰 사용 등)
도요타 커넥티드 카(Connected Car)에서 수집되는 빅데이터를 활용해 자동차의 판매는 물론 서비스 제공을 통해서도 수익을 창출할 수 있게 된다.
조건만 충족하면 보험료를 할인 받을 수 있다는 유인으로 기존 고객뿐만 아니라 신규 고객까지 확보하겠다는 전략이다.
커넥티드 카 : 최신 정보통신기술(ICT)과 결합해 양방향 인터넷ㆍ모바일 서비스가 가능한 차량을 말함
이러한 운접 습관 및 운전자의 성향을 토대로하여 보험료 산출함
3) 유통
디지털화, 메가트렌드, 클라우드, 빅데이터 분석, 인공지능 알고리즘 등 다양한 ICT 기술의 발달은 Dynamic Pricing을 상용화 시키는데 이바지 했다고 한다.
Dynamic Pricing은 동일한 제품 및 서비스에 대한 가격을 시장 상황에 따라 탄력적으로 변화시키는 가격 전략을 말한다.
일반 Mass Market에서는 전자상거래 시장에서 활발히 활용되어왔다.
| 과거의 가격 차별화 | 초기의 Dynamic Pricing | 최근의 Dynamic Pricing | |
|---|---|---|---|
| 가격 결정 주체 | 공급자 | 공급자,SW 알고리즘(rule-based) | SW 알고리즘, 인공지능 |
| 가격 결정 요인 | 수요 통계, 경쟁사 정보, 사업감각 | 공급 side 데이터, 실시간 데이터 | 공급 및 수요 side 데이터, 실시간 데이터, 수요-공급 데이터, 가격 민감도에 영향을 미치는 여러 요소 데이터 |
| 가격 결정 방법 | 전체 고객 세분화 및 2~5가지 구간 가격 차별 | 전체 고객을 수십가지의 집단으로 세분화 및 가격 차별 | 개별 고객의 특성 및 상황에 따라 실시간 개인 맞춤화 및 가격 도출 |
| 주요 적용 분야 | 영화 조조할인, 식당 happy hour, 경매, 암표 | 온라인 전자상거래 | 온ㆍ오프라인 O2O를 포함한 다양한 digitalized 산업(센서, 스마트폰 등 ICT 기술 및 e-coupon 등 실시간 적용) |
4) 금융
사용자의 모든 금융 거래내역을 분석하여 부정거래 등을 탐지함(Sampling 및 batch(training data의 모든 error를 통해 각각의 weight를 조정하는 방식) 기반)
이상 트랜잭션 발생 시 카드사가 적발하여 거래 정지시킴
ex) 마트 및 백화점에서만 소비하던 고객의 카드가 갑자기 단란주점이나 도박등에 소비가 되었다면 정지가 됨
5) 그 외
그 외에도 후후 보이스피싱 탐지, 헬스케어(증상에 따른 일괄 처방 → 개인화된 질병 예방)등 다양한 영역에서 데이터 분석을 통해서 경영 분석 및 소비자에 대한 연구가 이루어짐
데이터 사이언티스트
1) 개요
데이터 사이언티스트는 "The sexiest job of the 21th Century"라고 Davenport, Thomas H., DJ Patil이 하버드 비즈니스 리뷰에서 2012년 말했다.
Statistics + Business insight + Computer Programming 이 세가지 분야에 모두 능통한 사람이 데이터 사이언티스트라고 불리는데, DJ Patil에 따르면 데이터 과학은 전적으로 축구와 야구처럼 'Team sport'이고 개인이 모든 걸 다 할 수는 없다고 지칭했다.
현재 초급 수준의 데이터 엔지니어에 대한 수요가 많지만 5년 뒤에는 이 공급량이 수요와 어느 정도 맞아질 것이라고 하셨다. 그 이후에 산업(금융, 생산, 유통 등)에 대한 전문성이 가미된다면 가치가 무한대로 상승하는 직종이라고 한다.
현재 기존의 금융사들이 카카오뱅크를 견제하고 있는데, 그 이유가 바로 어마어마한 데이터 보유량의 차이라고 한다.
데이터 엔지니어가 읽으면 좋은 책
1단계
2단계
이 책을 완독해야지 데이터 분석가로서 입문 자격이 주어진다고 한다. 그 이유는 데이터 가공이란 것은 굉장히 지루하고 인내심이 필요한 업종인데, 이 책의 내용도 이와 마찬가지라고 하셨다.
기타 공부 서적
1) Data Mining for Business Intelligence
2) An introduction to Statistical Learning
3) The Elements of Statistical Learning
4) Python Machine Learning
사용언어
현재 인기있는 언어는 JAVA : C : Python 춘추전국시대
R이나 SAS는 통계학자들이 만들어놓은 통계전용 언어이므로, 프로그래밍으로서의 성능은 떨어진다.
기본적으로 Python을 배우고, 한가지 더 추가를 하자면 SAS추천, 그 이유는 10년전에 SAS가 시장 점유율 1위라서 SAS를 기반으로 프로그램이 많이 제작이 되었고, 사용하는 분들이 많다. 차 후에 SAS에서 다른 언어로 리뉴얼 할 때 SAS언어 전공자들이 필요할 것이고, 그 몸값도 뛰게 될 것이다.코볼, 포트란등의 구 언어 개발자들이 몸값이 높은 이유와 같다.
Outro, 야놀자
2005년 이수진 대표가 자본금 5천만 원으로 창업했다. 이수진 창업자는 20세에 모텔 청소부로 일하던 소위 '흙수저' 출신이었지만 모텔에서 직원으로 일하며 포착한 문제점들을 기반으로 창업 아이디어를 구상했다고 한다. 여러 힘든점이 많았지만 꾸준히 발전하여 2015년에 모바일 앱을 출시하고 글로벌 여행 시장에 진출했으며, 단순 예약 결제 사이트에 머무르지 않고 호텔을 비롯한 숙박업체들의 예약 자동화, 객실 관리, 관련 여가 서비스 제공 등으로 사업을 확장하며 국내의 대표적인 유니콘 스타트업으로 자리매김했다. 기술 R&D 투자와 인수합병(M&A)에도 적극적으로 나섰다. 2019~2020년 기간 동안 세계 2위의 객실관리솔루션 기업 '이지테크노시스'와 객실관리 자동화 시스템 개발업체 '가람', '씨리얼' 등을 인수했다. 2021년 7월 손정의 회장이 이끄는 소프트뱅크비전펀드로부터 2조 원을 투자받아 데카콘 스타트업으로 등극했다.
3. 특강 이후 느낀 점
현재 빅데이터 및 풀스택 개발자 양성과정이라는 주제의 교육에 참여하고 있지만, 비전공자로서 여러 가지를 접하며 힘든점이 많았고, 데이터 과학이라는 분야는 일반적인 프로그래밍보다 더욱 멀게 느껴졌으며 막연한 부분이 많았다. 하지만 교수님의 특강을 듣고나서 데이터가 활용되는 분야가 정말 다양하고 지금부터 열심히 노력하면 현재로서는 진입장벽이 그렇게 높지많은 않다는 말씀을 듣게 되었고, 이러한 진로에 대한 복잡한 마음이 약간은 정리가 되었던 것 같다.
이 후로도 빅데이터와 관련된 자료들을 꾸준히 수집하여 내 것으로 만들 수 있도록 해야겠다.
