📔설명
빅데이터의 정의, 출현배경, 빅데이터의 기능, 본질적인 변화를 알아보자. 또, 빅데이터의 가치와 영향을 알아보고 빅데이터를 통한 위기 요인과 통제 방안을 알고, 빅데이터의 미래를 예상해보자.
빅데이터 : 큰 데이터. 단순히 용량만 방대한 것이 아니라 복잡성도 증가하여 기존의 데이터 처리 툴로 다루기 어려운 데이터셋.
- 빅데이터의 활용을 통해 생활이 편리해지고 있으나, 그와 반대로
사생활 침해등의 문제 증가 - 범죄를 미리 예측해서 관리하고자 할 때 자칫
책임원칙 주의가 훼손될 수 있음 데이터의 오남용으로 잘못된 미래 예측이 더 큰 피해를 불러옴
빅데이터 시대가 진행되면서 부각되는 어두운 면
- 사생활 침해
- 책임원칙 훼손
- 데이터 오용
현재 초고속 인터넷 시대에서 모바일 광대역 네트워크 시대를 살고 있으며 사물인터넷(IOT) 시대가 도래했다. 웨어러블 시장이 활발해지고 있으며 정형/비정형 데이터를 활용한 빅데이터를 통해 더 편리하고 빠른 의사결정을 할 수 있도록 변화할 것이다.
🧂빅데이터의 이해
빅데이터의 이해
빅데이터의 정의
관점에 따른 정의
: 빅데이터를 보는관점에 따라3가지로 정의
1)3V로 요약되는데이터 자체의특성변화에 초점을 맞춘좁은 범위의 정의
2) 데이터 자체뿐 아니라처리,분석기술적 변화까지 포함되는중간 범위의 정의
3)인재,조직 변화까지 포함한넓은 관점에서의 정의
- 맥킨지, 2011 : 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터를 의미
->데이터 규모에 중점 - IDC, 2011 : 빅데이터는 다양한 종류의 대규모 데이터로부터
저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집/발굴/분석을 지원하도록 고안된차세대 기술 및 아키텍처
->분석 비용및기술초점을 맞춘 정의 - 메이어-쇤베르거와쿠키어, 2013 : 빅데이터란
대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일. 나아가 이를 활용해 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일.
*퍼스널 빅데이터
: 사용자의 모든 행동을 복합적으로 축적한 데이터.
이동, 구매, 식사 같은 실생활 패턴 외에 웹이나 소셜 로그 같은 온라인 활동 포함
- 빅데이터 정의의
범주및효과
- 기존 방식으로는 얻을 수 없는
통찰 및 가치창출 - 사업방식, 시장, 사회, 정부 등에서
변화와 혁신주도
출현 배경과 변화
출현 배경
: 빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존의 데이터, 처리 방식, 다루는 사람과 조직 차원에서 일어나는 변화를 말함
- 3가지
출현 배경
ICT의 발전과빅데이터의 출현
빅데이터의 기능
빅데이터에 거는 기대를 표현한 비유
빅데이터가 만들어내는 본질적인 변화
과거에서 현재로의 변화
-
사전처리->사후처리
: 필요한 정보만 수집하고 필요하지 않은 정보는 버리는 시스템에서
가능한 한 많은 데이터를 모으고 그 데이터를다양한 방식으로조합해숨은 정보를 찾아냄 -
표본조사->전수조사
:데이터 수집 비용의감소와클라우드 컴퓨팅 기술의 발전으로 데이터 처리비용이 감소. 표본을 조사하는 기존의 지식발견 방식에서전수조사를 통해샘플링이 주지 못한패턴이나정보를 발견하는 방식으로 데이터 활용방법이 변화 -
질->양
: 데이터가 지속적으로 추가될 경우양질의 정보가오류 정보보다 많아전체적으로 좋은 결과산출에 긍정적인 영향을 미친다는 추론에 바탕을 둔 변화가 나타남 -
인과관계->상관관계
:상관관계를 통해특정 현상의 발생 가능성이 포착되고, 그에 상응하는행동을 하도록 추천되는 일이 점점 늘어남. 이처럼 데이터 기반의상관관계 분석이 주는인사이트가 인과관계에 의한미래 예측을 점점 더 압도해 가는 시대가 도래하게 될 것으로 전망
🥗빅데이터의 가치와 영향
빅데이터의 가치
빅데이터 가치 산정이 어려운 이유
: 여러가지 변수로 인해 빅데이터 시대에서는 가치를 측정하는 것이 쉽지 않음
-
데이터 활용방식: 데이터 활용 방식에서는재사용이나재조합,다목적용 데이터 개발등이 일반화되면서 특정 데이터를언제/어디서/누가 활용할지알 수 없게됨. 따라서가치를 산정하는 것도 어려워짐 -
새로운 가치 창출: 빅데이터 시대에는데이터가기존에 없던 가치를 창출함에 따라 그 가치를 측정하기 어려워짐 -
분석 기술 발전:현재는가치가 없는데이터일지라도,추후에 새로운분석 기법이 등장한다면 거대한가치를 지닌 데이터가 될 수 있음
빅데이터의 영향
| 분야 | 영향 | 내용 |
|---|---|---|
| 기업 | 혁신, 경쟁력 제고, 생산성 향상 | 빅데이터를 활용해 소비자의 행동을 분석하고 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업 발굴 |
| 정부 | 환경 탐색, 상황분석, 미래대응 | 기상, 인구이동, 각종통계,법제데이터 등을 수집해 사회 변화를 추정하여, 관련 정보 추출 |
| 개인 | 목적에 따른 활용 | 빅데이터를 서비스하는 기업의 출현이 늘어나 데이터 분석 비용이 지속적으로 하락하여 정치인이나 대중 가수 등과 같은 개인도 인지도 향상에 빅데이터 활용 |
- 생활 전반의 스마트화
*맥킨지가 언급한 빅데이터가 가치를 만들어 내는 다섯가지 방식
투명성 제고로 연구개발 및 관리 효율성 제고시뮬레이션을 통한수요 포착및 주요 변수 탐색으로 경쟁력 강화고객 세분화및 맞춤 서비스 제공- 알고리즘을 활용한
의사결정 보조혹은 대체 비즈니스 모델과 제품, 서비스의 혁신
🍷비즈니스 모델
빅데이터 활용 사례
기업
구글은 사용자의로그 데이터를 활용한검색엔진 개발, 기존 페이지랭크 알고리즘을 혁신하여검색 서비스 개선월마트는 고객의구매패턴을 분석해상품진열에 활용
정부
정부는실시간 교통정보수집,기후 정보,각종 지질 활동,소방 서비스등 다양한 국가 안전 확보 활동을 위해실시간 모니터링 활용- 미래 의제인
의료와교육 개선을 위해 빅데이터를 활용해 해결책 모색
개인
정치인은 선거 승리를 위해사회관계망 분석을 통해유세 지역선정, 해당 지역의 유권자에게 영향을 줄 수 있는 내용을 선정해 효과적인 선거 활동가수는 팬들의 음악 청취 기록 분석을 통해실제 공연에서 부를 노래 순서를 짜는데 활용
*빅데이터 활용사례
구글: 사용자로그데이터를 분석해서 기존의 페이지 링크알고리즘 개선월마트: 고객의구매패턴을 분석해서상품진열을 변경구글, 페이스북 등: 실시간자동 변역 시스템을 통해 의사소통 불편 해소아마존 등:전자책관련 데이터를 분석하여저자에게독서 패턴 정보 제공
빅데이터 활용 기본 테크닉
빅데이터를 활용한 기본 테크닉
| 테크닉 | 내용 | 예시 |
|---|---|---|
| 연관규칙학습 | 변인들 간에 주목할 만한 상관관계가 있는지 찾는 방법 | 커피를 구매하는 사람이 탄산음료를 더 많이 사는가? |
| 유형분석(군집분석) | 문서를 분류하거나 조직을 그룹으로 나눌 때, 또는 온라인 수강생들을 특성에 따라 분류할 때 사용 | 이 사용자는 어떤 특성을 가진 집단에 속하는가? |
| 유전자 알고리즘 | 최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 매커니즘을 통해 점진적으로 진화시키는 방법 | 최대의 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 하는가? |
| 기계학습 | 훈련 데이터로부터 학습한 알려진 특성을 활용해 예측하는 방법 | 기존의 시청 기록을 바탕으로 시청자가 현재 보유한 영화 중에서 어떤 것을 가장 보고 싶어할까? |
| 회귀분석 | 독립변수를 조작함에 따라, 종속변수가 어떻게 변하는지를 보면서 두 변인 관계를 파악할 때 사용 | 구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가? |
| 감정분석 | 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석 | 새로운 환불 정책에 대한 고객의 평가는 어떤가? |
| 소셜네트워크분석(=사회관계망분석) | 특정인과 다른사람이 몇 촌 정도의 관계인가를 파악할 때 사용, 영향력있는 사람을 찾아낼 때 사용 | 고객들 간 관계망은 어떻게 구성되어 있나? |
*예측적 분석
: 미래의 불확실한 사실을 사전에 예측하거나 알려지지 않은 결과의 가능성을 파악하기 위하여 사용하는 분석 방법
🥟위기 요인과 통제 방안
빅데이터 시대의 위기 요인
사생활 침해
개인정보가 포함된 데이터를목적 외에 활용할 경우사생활 침해를 넘어 사회/경제적 위협으로 변형 가능
ex) 여행 사실을 트윗 한 사람의 집을 강도가 노리는 고전적 사례
->익명화(Anonymization)기술 발전 필요
책임 원칙 훼손
- 빅데이터 기본분석과 예측기술이 발전하면서
정확도가 증가한 만큼, 분석대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성 증가.
민주주의 국가에서는잠재적 위협이 아닌명확한 결과에 대한책임을 묻고 있어 이에 따른 원리를훼손할 가능성이 있음
ex) 범죄 예측 프로그램에 의해 범행을 저지르기도 전에 체포, 자신의 신용도와 무관하고 부당하게 대출이 거절.
-> 민주주의 국가의 형사 처벌은잠재적 위협이 아닌명확하게 행동한 결과에 대해 책임을 물음.
데이터 오용
- 빅데이터는
일어난 일에 대한 데이터에 의존하기 때문에 이를 바탕으로미래를 예측하는 것은 적지 않은 정확도를 가질 수 있지만항상 맞을 수는 없음.
또한,잘못된 지표를 사용하는 것도 빅데이터의 폐해가 됨.
ex) 베트남 전쟁 당시 맥나마라 장군이 적군 사망자 수를 전쟁의 진척상황을 나타내는 지표로 활용했고, 그 결과 적군 사망자 수는 과장돼 보고되는 경향을 보여 결과적으로 전쟁 상황을 오보하는 결과를 일으킴.
위기 요인에 따른 통제 방안
동의에서 책임으로
- 빅데이터에 대한 사생활침해 문제를 해결하기에는 부족한 측면이 많고, 매번 개인정보 제공 동의를 하는 비효율적인 단계를 줄이고자
개인정보를 사용하는사용자의책임으로 해결하는 방안 제시
개인정보 제공자의 동의->개인정보 사용자의 책임 - 개인정보 유출 및 사용으로 발생하는 피해에 대해
사용자가책임을 지게됨으로사용주체의 적극적인 보호장치를 강구
결과 기반 책임 원칙 고수
- 책임원칙 훼손 위기요인에 대한
통제 방안으로 기존의 원칙을 좀 더보강하고강화할 필요가 있으며,예측 자료에 의한 불이익을 당할 가능성을최소화하는 장치를 마련하는 것이 필요 잘못된 예측 알고리즘을 통한 판단을 근거로불이익을 줄 수 없으며, 이에 따른피해 최소화 장치마련
알고리즘 접근 허용
- 데이터 오용의 위기요소에 대한
대응책으로알고리즘에 대한 접근권을 제공하여예측 알고리즘의부당함을반증할 수 있는 방법을 명시해 공개할 것 불이익을 당한 사람들을 대변할 전문가(알고리즈미스트)가 필요하게 됨
*소비자 프라이버시 보호 3대 권고사항
기업은상품 개발 단계에서부터 소비자 프라이버시 보호 방안을 적용하라.기업은 소비자에게공유정보 선택 옵션을 제공하라.소비자에게 수집된 정보 내용 공개 및 접근권을 부여하라.
🍅미래의 빅데이터
빅데이터 활용의 3요소
기본 3요소
-
데이터
:모든 것의데이터화(Datafication)
특정 목적없이 축적된데이터를 통한창의적인 분석이 가능해져,새로운 가치로 부상 -
기술
: 진화하는알고리즘, 인공지능
대용량의 데이터를빠르게처리하기 위한알고리즘의 진화와 함께 스스로 학습하고 데이터를 처리할 수 있는인공지능 기술이 출현 -
인력
:데이터 사이언티스트,알고리즈미스트
빅데이터를 처리하기 위한데이터 사이언티스트와알고리즈미스트의 역할을 통해 빅데이터의다각적 분석을 통한인사이트 도출이 중요해짐
*모든 것의 데이터화
: 사물인터넷(IOT)시대에 웨어러블 단말의 발전으로 대화기록, 음악 청취 기록 등이 저장되어 사물인터넷 시대가 되어 훨씬 더 많은 정보가 생산, 공유됨
*데이터 사이언티스트
: 빅데이터에 대한 이론적 지식과 숙련된 분석 기술을 바탕으로 통찰력, 전달력, 협업 능력을 두루 갖춘 전문인력.
빅데이터의 다각적 분석을 통해 인사이트를 도출하고 이를 조직의 전략 방향제시에 활용할 줄 아는 기획자
*알고리즈미스트
: 데이터 사이언티스트가 한 일로 인해 부당하게 피해가 발생하는 것을 막는 역할.
알고리즘 코딩 해석을 통해 빅데이터 알고리즘에 의해 부당하게 피해를 입은 사람을 구제하는 전문인력
