ADsP 자격증 챌린지 2주차

01. 빅데이터의 이해

1) 빅데이터 정의

• 일반적인 빅데이터의 정의
  일반적인 데이터베이스로 관리할 수 있는 범위를 초과하는 규모의 데이터
• ⭐가트너그룹(Gartner Group)의 더그래니(Doug Laney)의 정의 (3V)⭐
  빅데이터는 데이터의 양(Volume), 데이터 유형과 소스 측면의 다양성(Variety), 데이터 수집과 처리 측면에서 속도(Velocity)가 급격히 증가하면서 나타난 현상이다. + 4V (Value(가치) 또는 veracity(정확성), Visualization(시각화), Variability(가변성))

빅데이터 정의의 범주와 효과

• 기존 방식으로는 얻을 수 없는 통찰 및 가치 창출

2) 빅데이터 출현 배경

• 산업계: 고객 데이터 축적>양질 전환 법칙 데이터의 양이 커지면 질이 따라온다는 법칙.
• 학계: 거대 데이터 활용, 과학 확산 > 기술 아키텍처 및 통계 도구들의 지속적 발전
• 기술 발전: 저장 기술의 발전, 가격 하락, 인터넷의 발전과 모바일 진전에 따른 클라우드 컴퓨팅 보편화, 분산 처리 기술 발전

3) 빅데이터 기능과 변화

1) 빅데이터의 기능
산업혁명의 석탄, 철 서비스 생산성 혁명적 변화
21세기의 원유 산업 전반의 생산성 강화
렌즈 현미경같은 렌즈같은 존재
플랫폼 서브파티 비즈니스에 활용

2) 빅데이터가 만들어내는 변화

• 사전처리 > 사후처리
  최대한 많은 데이터를 모으고 다양한 방식으로 처리
• 표본조사 > 전수조사
  데이터 수집 비용 감소로 전수 조사로 변화
• 질 > 양
  양이 증가할 경우 양질의 정보가 증하기에 좋은 결과 산출에 도움
• 인과관계 > 상관관계
  실시간 상관관계 분석으로 인사이트 도출

02. 데이터의 가치와 미래

1) 빅데이터의 가치와 영향

• 빅데이터의 가치
  가치 산정이 어려운 이유
  (1) 데이터 활용 방식
  데이터 활용 방식의 다양화 및 일반화로 데이터의 활용 주체 파악 불가로 가치 산정이 어려움
  (2) 새로운 가치 창출
  기존에 없던 가치를 창출하기 때문에 어려움
  (3) 분석 기술의 발전
  추후 새로운 분석 기법 발전에 따라 가치를 창출 할 수 있기 때문에 어려움

• 빅데이터의 영향
  빅데이터 미치는 영향 > 생활 전반의 스마트화

2) 비즈니스 모델

• 빅데이터 활용 사례

1. 기업 혁신 사례
2. 정부 활용 사례
3. 개인 사례

   참고
   미래의 빅데이터 활용에 필요한 3요소

   • 데이터 : 모든 것을 데이터화
   • 기술 : 진화하는 알고리즘, 인공지능
   • 인력 : 데이터 사이언티스트, 알고리즈미스트

⭐빅데이터 활용 기본 테크닉 7가지⭐

1. 연관규칙 학습 (Association rule learning)
   변인 사이에 주목할 만한 상관관계가 있는지 찾아내는 방법

2. 유형분석 (Classification tree analysis)
   범주/분류를 찾아내는 방법

3. 유전 알고리즘 (Genetic algorithms)
   "최적화" 가 필요한 문제의 해결책을 유전적 메커니즘을 통해 점진적으로 진화시켜 나가는 방법
   예시) 응급실 의사의 효율적 배치
   최적화된 택배 차량 배치

4. 기계학습 (Machine learning)
   다양한 분석 알고리즘으로 훈련 데이터로부터 얻은 특성을 활용해 예측하는 방법 (딥러닝과 구별 필요)
   딥러닝도 머신러닝의 한 갈래
   딥러닝은 신경망 구조를 통해 정답을 찾는 레이어를 쌓아(심층신경망), 그 정답을 다른 레이어로 전달 시켜 깊이가 깊어져서 딥러닝이라고 함. 심층신경망

5. 회귀분석 (Regression analysis)
   영향력 분석. 독립변수를 조작하여 종속변수가 어떻게 변화되는지를 통해 변인의 관계를 파악함

6. 감정분석 (Sentiment analysis)
   특정 주제에 대해 얘기하는 사람의 감정 분석 방법

7. 소셜 네트워크 분석 (SNA; Social Network Analysis)
   사회관계망분석. 유저 사이의 '관계를 분석'하여 영향력있는 사람을 찾아내는 데에 활용

3) 빅데이터의 위기 요인과 통제 방안

• 위기요인

1. 사생활 침해
   개인정보 데이터를 목적 이외에 사용할 경우 사회경제적 위협으로 변형될 수 있음
   익명화 기술이 충분하지 않음

2. 책임 원칙 훼손
   빅데이터 분석의 예측 결과로 처벌받는 것은 민주주의 사회 원칙을 크게 훼손할 수 있음

3. 데이터 오용
   데이터 과신 혹은 잘못된 지표의 사용으로 잘못된 인사이트를 얻어 비즈니스에 적용할 경우 손실 발생
   빅데이터는 과거의 데이터이므로 예측은 신중해야한다.

• 통제 방안

1. 동의에서 책임으로
   개인정보 사용자의 책임으로 해결한다는 방안
2. 결과 기반 책임 원칙 고수
3. 알고리즘 접근권 허용/인증
   알고리즘의 부당함을 반증하는 알고리즈미스트가 필요하다.

4) 미래의 빅데이터

• 빅데이터 활용의 3요소
  데이터, 기술, 인력

• 개인정보 비식별 기술이란?
  데이터 속에서 특정 개인을 식별할 수 있는 요인을 숨김으로써 개인을 알아볼 수 없도록 하는 기술을 의미합니다.

1. 데이터 마스킹 : 데이터 형식같은 속성은 유지한 채 식별할 수 없는 임의의 값으로 대체
2. 가명처리: 데이터의 값을 다른 값으로 변경
3. 총계처리: 데이터 총합, 평균을 보여주며 개별 데이터를 가림
4. 데이터값 삭제: 개인식별에 중요한 값을 삭제
5. 데이터 범주화: 범주화하여 특정 값을 숨김

연습문제 1번.
빅데이터의 위기 요인 중 ‘책임 원칙의 훼손’에 대한 사례로 옳은 것은?
1. SNS를 통한 빈집털이 강도사건
2. 특정 집단 소속으로 신용도와 무관하게 대출 거절 발생
3. 적군의 사망자 수로 승리 예측 오류
4. 사용자의 로그 데이터를 활용하면서 검색 기능 개발
정답: 2번

연습문제 2번.
데이터의 가치 산정이 어려운 이유로 옳지 않은 것은?
1. 데이터 활용 방식 : 일반화로 데이터를 언제 누가 사용했는지 알 수 없기 때문이다
2. 새로운 가치 창출 : 기존에 없던 가치를 창출함에 따라 그 가치를 산정하기 어려워졌기 때문이다
3. 분석 기술의 발전 : 과거에 찾지 못했던 가치를 찾을 수 있기 때문이다
4. 인공지능 : 텍스트, 이미지, 음성 분석과 같은 인공지능의 발전 가능성이 무궁무진하기 때문이다
정답: 4번

연습문제 3번.
다음 중 개인정보 비식별 기술에 대한 설명으로 옳지 않은 것은?
1. 범주화 : 데이터의 값을 범주화하여 범위를 제공
2. 가명처리 : 데이터의 값을 다른 값으로 변경
3. 데이터 마스킹 : 개인 식별을 위한 데이터 삭제
4. 총계처리 : 전체 데이터에 대한 총합 또는 평균을 나타내는 것
정답: 3번

03. 가치 창조를 위한 데이터 사이언스와 전략 인사이트

1) 빅데이터 분석과 전략 인사이트

• 빅데이터 열풍과 회의론
  과거 CRM의 부정적 학습효과 - 어떻게 가치창출할지 모르는
  과대 포장 - 기존 분석 성공 사례를 빅데이터로 포장

• 빅데이터 분석,‘Big’이 아닌 ‘인사이트’ ⭐

1. 크기가 아닌 인사이트 측면으로 접근
   빅데이터의 걸림돌은 비용이 아니라 분석적 방법과 성과에 대한 이해 부족이다
2. 전략적 인사이트의 중요성
   단순이 데이터 분석을 많이한다고 경쟁우위는 아니다
   전략적 통찰력으로 비즈니스에 집중하여 데이터 분석하여 차별적 전략 운영

• 일차원적인 분석 vs 전략 도출 위한 가치 기반 분석
  산업별 일차원적인 분석
  에너지: 트레이딩 (금융과 헷갈리지 않도록 주의)

• 전략 도출 위한 가치 기반 분석
  업계 내부의 문제에만 포커스를 두고 있음.
  일차원적인 분석으로 분석 경험을 늘리고 범위를 넓고 전략적으로 변화시켜 인사이트를 주는 가치 기반 분석 단계로 나아가야

2) 전략 인사이트 도출을 위해 필요한 역량

• 데이터 사이언스의 의미와 역할
  데이터사이언스는 비정형 데이터로 다룬다. 그래프의 시각화까지 포함

• 데이터 사이언스에 대한 이해
  데이터 사이언스는 데이터로부터 의미 있는 정보를 추출해내는 학문
  통계학이 정형화된 데이터를 분석하는 것에 비해 데이터 사이언스는 다양한 유형의 데이터를 대상으로 함

• 데이터 사이언스의 역할
  비즈니스 성과를 좌우하는 핵심 요소를 정확하게 겨냥할 수 있고, 이것이 소통력이 필요한 이유이다.

• 데이터 사이언스와 데이터 사이언티스트 ⭐

  데이터 사이언스의 핵심 구성요소

  • Analytics 분석적 영역
    학문적 영역. 수학 확률 모델 머신러닝 분석학 패턴인식 학습 모델링
  • IT(Data management) 영역
    프로그래밍 엔지니어링 웨어하우징 고성능컴퓨팅
  • 비즈니스 컨설팅 영역
    커뮤니케이션 프레젠테이션 스토리텔링 시각화 등

• 데이터 사이언티스트의 요구 역량 ⭐
  하드 스킬: 업무 능력. 빅데이터 이론적 지식. 분석 기술.
  소프트 스킬: 통찰력, 호기심, 설득력, 스토리텔링 커뮤니케이션

참고 가트너가 제시한 데이터 사이언티스트 요구 역량
- 데이터 관리 : 데이터에 대한 이해
- 분석 모델링 : 분석론에 대한 지식
- 비즈니스 분석 : 비즈니스 요소에 초점
- 소프트 스킬 : 커뮤니케이션, 협력, 리더십, 창의력, 규율, 열정

• 데이터 사이언스 : 과학과 인문의 교차로
  세계적인 데이터 사이언스 전문가들은 데이터 사이언티스트에게 스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 글쓰기 능력, 대화 능력 등이 필요하다고 강조
  인문학적 사고의 특성:
  

3) 빅데이터 그리고 데이터 사이언스의 미래

• 가치 패러다임의 변화
  디지털화 ▶️ 연결 ▶️ 에이전시
  디지털화가 되고 나서 데이터들이 연결이 되기 시작하면서 데이터 관리하는 에이전시로 가치 패러다임이 변화하고 있다.