1. 빅데이터 개요 및 활용
1-1. 데이터와 정보
데이터 : 추론과 근거를 이루는 사실로, 현실 세계에서 관찰하거나 측정하여 수집한 사실
특징
- 단순 객체로도 가치가 있으며, 다른 객체와의 상호작용 속에서 더 큰 가치를 갖음
- 존재적 특징 : 객관적으로 사실
- 당위적 특징 : 추론, 추정, 예측, 전망을 위한 근거
구분
| 구분 | 설명 | 특징 |
|---|---|---|
| 정량적 데이터 | 숫자로 구성된 데이터 | 객관적, 정형/반정형 |
| 정성적 데이터 | 문자(텍스트) 기반 데이터 | 주관적, 비정형 |
유형
| 유형 | 설명 | 특징 | 예시 |
|---|---|---|---|
| 정형 데이터 | 정해진 형식과 구조 존재 | 연산 가능 | DB 테이블 |
| 반정형 데이터 | 구조는 없지만 스키마 존재 | 태그/메타데이터 포함 | XML, JSON, HTML |
| 비정형 데이터 | 구조 없음 | 연산 어려움 | 문서, 영상, 이미지, 음성 |
+) 스키마 : 자료의 구조, 표현 방법
근원에 따른 분류
| 구분 | 설명 | 특징 |
|---|---|---|
| 가역 데이터 | 원본으로 환원 가능 | 1:1 관계, 변경 반영 가능 |
| 불가역 데이터 | 원본으로 환원 불가 | 독립적, 1:N 관계, 변경 반영 불가 |
기능
- 암묵지 : 개인의 경험으로 인한 무형의 지식. 전달, 공유 어려움
- 형식지 : 형상화된 지식. 전달, 공유 용이
지식 창조 매커니즘
- 공통화 : 경험, 인식 공유로 암묵지로 발전
- 표출화 : 암묵지를 형식지로 변환
- 연결화 : 형식지 재분류, 체계화
- 내면화 : 형식지를 개인의 것으로 만듦
-> 총 4가지 단계가 반복됨.
지식의 피라미드
- 지혜 : 축척된 지식으로 원리 이해, 아이디어 결합으로 도출된 창의적 산물
- 지식 : 연결된 정보들로 유의미한 것을 분류, 개인적 경험 결합, 내재화
- 정보 : 데이터를 가공, 처리하여 관계를 분석하고 그 속에서 도출된 의미.
- 데이터 : 현실에서 관찰, 측정한 사실이나 값.
-> 지혜 - 지식- 정보 - 데이터 순서로 상위 단계.
+) 정보의 특징 : 정확성, 적시성, 적당성, 관련성
1-2.데이터베이스
데이터베이스
- 체계적·조직적으로 정리되고 개별 접근이 가능한 데이터 집합
- 여러 사용자 요구를 처리하기 위해 일정 구조로 저장된 데이터
- 다양한 활용이 가능한 정보의 집합체
데이터베이스 관리 시스템 (DBMS = DataBase Management System)
- DB를 관리하며 응용 프로그램들이 DB를 공유, 사용할 수 있는 환경 제공 소프트웨어.
DBMS 종류
| 종류 | 설명 | 구조 |
|---|---|---|
| 관계형 DBMS | 데이터를 테이블 형태로 표현 | 행(Row) + 열(Column) |
| 객체지향 DBMS | 데이터를 객체 단위로 표현 | 객체(Object) |
| 네트워크 DBMS | 데이터 간 관계를 그래프로 표현 | 그래프 구조 |
| 계층형 DBMS | 데이터 간 관계를 트리 형태로 표현 | 트리 구조 |
DB의 특징
| 특징 | 설명 |
|---|---|
| 통합된 데이터 | 중복 최소화 |
| 저장된 데이터 | 컴퓨터 접근 가능 저장매체에 저장 |
| 공용 데이터 | 여러 사용자 공유 |
| 변환되는 데이터 | 현 시점의 상태 표현, 지속적 갱신 |
+) DB의 장단점
✅ 장점
- 데이터 중복 최소화
- 실시간 접근 가능
- 보안 강화
- 논리적·물리적 독립성 확보
- 데이터 일관성 및 무결성 유지
- 데이터 공유 용이
❌ 단점
- 구축 및 유지 비용 발생
- 백업·복구 등 관리 필요DB 활용
-
OLTP (OnLine Transaction Processing) :
- 단말 요청 -> 호스트 컴퓨터의 DB 조작 -> 결과 단말로 리턴
- 현재 시점의 데이터만 DB가 관리
+) 이미 발샌한 트랜잭션은 과거의 데이터로 다른 디스크,테이프에 저장 가능
-
OLTP (OnLine Transaction Processing) : 호스트 컴퓨터와 온라인 접속된 여러 단말간 처리 형태. 하나의 DB 데이터를 수시로 갱신하는 프로세싱
- 처리 흐름 :
사용자 요청 → DB 처리 → 결과 반환
- 처리 흐름 :
-
OLAP (OnLine Analytical Processing) : 정보 위주의 분석 처리. OLTP에서 처리된 트랜잭션 데이터 분석으로 판매 추이, 재무회계 분석 등을 프로세싱.
- 비즈니스 관점에서 데이터 접근, 의사결정에 용이
OLTP와 OLAP 비교
| 구분 | OLTP | OLAP |
|---|---|---|
| 목적 | 데이터 처리 | 데이터 분석 |
| 구조 | 복잡 | 단순 |
| 데이터 갱신 | 실시간(동적) | 주기적(정적) |
| 응답 시간 | 수초 이내 | 수초 ~ 수분 |
| 데이터 범위 | 최근 데이터 | 장기간 데이터 |
| 데이터 성격 | 정규화된 핵심 데이터 | 비정규화된 분석 데이터 |
| 데이터 크기 | GB 단위 | TB 단위 |
| 데이터 내용 | 현재 데이터 | 요약 데이터 |
| 접근 빈도 | 매우 높음 | 보통 |
| 예측 가능성 | 높음 | 낮음 |
-> OLTP (데이터 갱신 위주) / OLAP (데이터 조회 위주)
데이터 웨어 하우스 (Data Warwhouse = DW)
- 의사결정을 지원하기 위해 다양한 DB 데이터를 통합·변환·분석하는 데이터 저장소
데이터 웨어 하우스 특징
| 특징 | 설명 |
|---|---|
| 주제지향성 | 고객, 제품 등 주제 중심 |
| 통합성 | 데이터 형식 통일 |
| 시계열성 | 시간 흐름 기반 데이터 |
| 비휘발성 | 적재 후 변경 거의 없음 |
데이터 웨어 하우스 구성
| 구성 요소 | 설명 |
|---|---|
| 데이터 모델 | 주제 중심 ER(개체-관계) 모델 |
| ETL | 추출(Extract) → 변환(Transform) → DW 적재(Load) |
| ODS | 다양한 DBMS 데이터 통합 관리 |
| 메타데이터 | 데이터 모델 스키마 정보, 비즈니스 측면의 정보 제공 |
| OLAP | 다차원 분석 도구 |
| 데이터 마이닝 | 대용량 데이터 패턴 및 인사이트 도출 |
| 분석 도구 | DW 데이터 분석 수행 |
| 경영 지원 시스템 | KMS,DSS,BI 같은 경영의사 결정 지원 솔루션 |
+) KMS : 지식관리 시스템
DSS : 의사결정지원 시스템
BI : 데이터 분석으로 기업 의사결정 활용 프로세스BI : 데이터 분석으로 기업 의사결정 활용 프로세스
1-3.빅데이터 개요
빅데이터 : 기존 데이터보다 너무 방대하여 기존 방법으로는 수집/저장/분석이 어려운 정형, 비정형 데이터.
작은 용량에서는 얻을 수 없던 새로운 통찰이나 가치를 추출한다.
빅데이터의 등장과 변화
- 등장 배경 : 데이터, 기술, 인재/조직의 변화
- 빅데이터 등장으로 인한 변화
- 데이터 처리 시점 : 사전 -> 사후
- 데이터 처리 범주 : 표본조사 -> 전수조사
- 가치 판단 기준 : 질 -> 양
- 분석 방향 : 이론적 인과관계 -> 단순 상관 관계
빅데이터의 특징
- 가트너 그룹 3V : 규모, 유형, 속도
- 2V : 품질, 가치
(총 5V 내 3V와 2V로 나뉘는 것)
- 2V : 품질, 가치
빅데이터의 활용
- 빅데이터 활용 3요소 : 자원, 기술, 인력
- 빅데이터 활용 기본 테크닉
- 연관규칙 학습 : 변인 간 상관 관계 탐색- 유형 분석 : 문서 분류, 조직 그룹시 사용
- 유전 알고리즘 : 생물 진화를 모방하여 문제 해결
- 기계학습 : 데이터로 학습한 특성으로 예측
- 회귀분석 : 독립변수가 종속변수에 미치는 영향 분석 시 사용
- 감정분석 : 말이나 글을 쓴 사람의 감정을 분석
- 소셜네트워크 분석 : 특정인의 관계, 영향력 파악.
1-4. 빅데이터의 가치
빅데이터의 기능과 효과
- 고객 세분화, 맞춤형 서비스 제공
- 알고리즘 기반 의사결정 지원
빅데이터 가치 측정의 어려움
- 데이터 활용 방식 : 누가 언제 어떻게 어디에 쓸지 알 수 없음
- 가치 창출 방식 : 가공 방법에 따라 가치 창출 여부가 결정됨
- 분석 기술 발전 : 이후 나오는 분석 기술로 가치가 나올 수도 있음.
- 데이터 수집 원가 : 목적에 따라 수집, 가공 비용이 달라짐
빅데이터의 영향
- 기업 혁신, 강화의 근간
- 정부의 상황 분석, 대응 수단, 환경탐색에 도움
- 개인에게 목적에 따른 스마트화 영향
1-5. 데이터 산업의 이해
데이터 산업의 진화
데이터 산업은 데이터 처리 - 통합 - 분석 - 연결 - 권리 시대로 진화하고 있다.
- 데이터 처리 시대 : 프로그래밍언어로 대규모 데이터 처리, 파일 형태 결과.
- 데이터 통합 시대 : 데이터 모델링과 DBMS 등장, 웨어하우스 도입.
- 데이터 분석 시대 : 빅데이터 기술 등장,인공지능 기술 사용화
- 데이터 연결 시대 : 기업,기관,사람,사물 등이 항상 2가지 이상 방식으로 연결, 데이터 송수신
- 데이터 권리 시대 : 자신의 데이터에 대한 권리 보유, 행사하는 마이데이터 등장
데이터 산업의 구조
- 인프라 영역 : 데이터 수집, 저장, 분석, 관리 담당.Hw/Sw로 구성
-서비스 영역 : 데이터, 데이터 활용 교육, 컨설팅 제공 및 처리 역할
1-6. 빅데이터 조직 및 인력
필요성
- 빅데이터분석, 활용을 위한 조직체계, 분석 전문가 확보 어려움
조직 역할
- 데이터 수집, 분석, 인사이트 도출
조직 구성
- 집중형 : 분석을 별도의 전담조직에서 진행
- 기능형 : 각 부서에서 분석 진행
- 분산형 : 각 부서도 분석, 전담 분석 조직도 존재
데이터 사이언스 역량
- 기능 : 사업 성과 견인
- 인문학적 요소 : 스토리텔링, 커뮤니케이션, 창의력, 직관력, 비판적 시각, 열정
- 한계 : 인간 해석 개입, 가정에 근거한 분석
데이터 사이언티스트
- 데이터의 근원을 찾고 대용량의 복잡한 데이터를 구조화, 서로 연결하는 역할
2. 빅데이터 기술 및 제도
2-1. 빅데이터 플랫폼
빅데이터 플랫폼 : 빅데이터의 수집, 저장, 처리, 분석등의 전 과정을 통합적으로 제공하는 환경
빅데이터 플랫폼 등장 배경
- 비즈니스 요구사항 변화
- 데이터 규모, 처리 복잡도 증가
- 데이터 구조 변환, 신속성 요구
- 데이터 분석 유연성 증대 (비정형도 가능해짐)
빅데이터 플랫폼 기능
- 빅데이터 처리 과정의 부하 해소
- 부하 예시 : 컴퓨팅, 저장, 네트워크 등
빅데이터 플랫폼 조건
- 사용자(사용성), 서비스 제공자(성능, 운영등) 측면에서 모두 만족해야 함.
빅데이터 플랫폼 구조
| 계층 | 역할 |
|---|---|
| 소프트웨어 계층 | 데이터 수집, 정제, 처리, 분석 및 애플리케이션 구성 |
| 플랫폼 계층 | 애플리케이션 실행 환경 제공, 스케줄링, 자원 관리 |
| 인프라스트럭처 계층 | 물리적 자원(서버, 스토리지, 네트워크) 제공 및 관리 |
- 소프트웨어 계층 : 애플리케이션 구성, 데이터 수집, 정제, 처리, 분석 담당.
| 모듈 | 기능 |
|---|---|
| 데이터 처리 및 분석 엔진 | 데이터 처리 및 분석, 워크플로우 구성, 데이터 표현 |
| 데이터 수집 및 정제 모듈 | 데이터 추출 → 변환 → 적재 |
| 서비스 관리 모듈 | 서비스 운영 및 관리 |
| 사용자 관리 모듈 | 인증 및 접속 관리, 사용자 서비스 관리, SLA 관리 |
| 모니터링 모듈 | 플랫폼/인프라스트럭처 서비스 사용성, 성능 모니터링 |
| 보안 모듈 | 보안 관리 |
+) SLA : 사용자별 서비스 수준 협약
- 플랫폼 계층 : 애플리케이셩 실행 플랫폼 제공, 스케줄링, 자원 관리, 프로파일링(CPU 추적) 담당.
| 모듈 | 기능 |
|---|---|
| 사용자 요청 파싱 모듈 | 사용자 요청 해석 |
| 작업 스케줄링 모듈 | 애플리케이션 실행 작업 스케줄링 |
| 데이터 및 자원 할당 모듈 | 초기 데이터/자원 할당, 재할당 및 스케일링 |
| 프로파일링 모듈 | 시스템/애플리케이션 성능 분석, 자원 재할당 지원 |
| 데이터 관리 모듈 | 사용자 데이터 관리 |
| 자원 관리 모듈 | 인프라스트럭처 자원 관리 |
| 서비스 관리 모듈 | 플랫폼 서비스 관리 |
| 사용자 관리 모듈 | 인증, 서비스 관리, SLA 관리 |
| 모니터링 모듈 | 인프라스트럭처 서비스 가용성, 성능 모니터링 |
| 보안 모듈 | 보안 관리 |
- 인프라스트럭처 계층 : 자원 배치, 스토리지 관리, 노드/네트워크 관리 -> 빅데이터 처리, 분석 자원 제공
| 모듈 | 기능 |
|---|---|
| 사용자 요청 파싱 모듈 | 요청 해석 |
| 자원 배치 모듈 | 초기 자원 배치, 재배치 및 스케일링 |
| 노드 관리 모듈 | 인프라스트럭처 내 노드 관리 |
| 데이터 관리 모듈 | 인프라스트럭처 내 스토리지 관리 |
| 네트워크 관리 모듈 | 인프라스트럭처 내 네트워크 구성 및 관리 |
| 서비스 관리 모듈 | 인프라스트럭처 서비스 운영 |
| 사용자 관리 모듈 | 인증, 서비스 관리, SLA 관리 |
| 모니터링 모듈 | 가용성 및 성능 모니터링 |
| 보안 모듈 | 보안 관리 |
2-2. 빅데이터 처리기술
빅데이터 처리과정과 요소기술
| 단계 | 설명 | 주요 기술 |
|---|---|---|
| 생성 | 내부(DB), 외부(인터넷)에서 데이터 생성 | 시스템 로그, 웹 데이터 등 |
| 수집 | 데이터 검색, 수집, 변환, 적재 | 크롤링, ETL, Open API |
| 저장(공유) | 데이터 저장 및 시스템 간 공유 | NoSQL, Hadoop, 병렬 DBMS |
| 처리 | 대용량 데이터 처리 | 분산/병렬 처리, MapReduce |
| 분석 | 데이터 의미 도출 | 통계분석, 머신러닝, 마이닝 |
| 시각화 | 결과를 사용자에게 전달 | 대시보드, 그래프 |
빅데이터 수집
- 크롤링 : 여러 컴퓨터에 분산 저장된 문서를 수집, 검색 대상의 색인으로 포함
- 로그 수집기 : 조직 내 서버, 시스템 로그 수집
- 센서 네트워크 : 유비쿼터스 컴퓨팅 구현 위한 센서 간 네트워크
- RSS Reader / Open API : 데이터 생산, 공유, 참여 환경 (=웹 2.0) 구현 기술
- ETL 프로세스 : 다양한 원천 데이터를 추출, 변환, 적재 하는 기술
빅데이터 저장
-
NoSQL : SQL을 사용하지 않는 비관계형 DBMS
- 기존 원자성, 일관성, 독립성, 지속성 적용
- 데이터 업데이트 즉각적으로 가능
- Cloudata, Hbase, Cassandra, MongoDB등.
-
공유 데이터 시스템 : 일관성, 가용성, 분할 내성 중 최대 2개만 보유 (=CAP 이론) -> 기존 RDBMS 보다 높은 성능, 확장성
-
병렬 데이터베이스 관리 시스템 : 여러 마이크로프로세서로 여러 디스트에 CRUD 처리 동시 수행
-
분산 파일 시스템 : 네트워크 내 여러 호스트의 파일에 접근하는 파일 시스템 (예 : 아마존 s3)
-
네트워크 저장 시스템 : 여러 기종의 저장 장치를 하나의 데이터 서버에 연결, 총괄적으로 관리하는 시스템 (예: SAN)
빅데이터 처리
- 기본 구조
| 구분 | 설명 |
|---|---|
| 분산 시스템 | 여러 컴퓨터를 하나처럼 동작 |
| 병렬 시스템 | CPU 자원을 병렬 연결하여 처리 |
| 분산 병렬 컴퓨팅 | 네트워크로 연결된 자원을 하나처럼 사용 |
-
분산병렬컴퓨팅 시 고려 사항
- 전체 작업 배분
- 각 프로세서의 중간 결과물을 주고 받기
- 다른 프로세서간 동기화
-
주요 기술
| 기술 | 설명 |
|---|---|
| 하둡 (Hadoop) | 분산 처리 프레임워크 (HDFS, HBase, MapReduce) |
| 아파치 스파크 | 인메모리 기반 실시간 처리 |
| 맵리듀스 | 분산 병렬 처리 모델 |
- 맵리듀스 처리 단계
| 단계 | 설명 |
|---|---|
| 데이터 분할 | 입력 데이터 분할 |
| 맵(Map) | 데이터 처리 및 중간 결과 생성 |
| 셔플(Shuffle) | 중간 데이터 재분배 |
| 리듀스(Reduce) | 결과 집계 |
| 출력 | 최종 데이터 생성 |
빅데이터 분석
- 데이터 분석 방법
- 탐구 요인 분석 (EFA) : 데이터 간 상호 관계 파악
- 확인 요인 분석 (CFA) : 변수들의 집합 요소 구조를 통계적 방법으로 파악
- 데이터 분석 방법
| 기법 | 설명 |
|---|---|
| 분류 | 학습 데이터를 기반으로 결과 예측 |
| 군집화 | 유사한 데이터 그룹화 (비지도 학습) |
| 기계학습 | 데이터를 통한 패턴 학습 |
| 텍스트 마이닝 | 비정형 텍스트 분석 |
| 웹 마이닝 | 웹 데이터 분석 |
| 오피니언 마이닝 | 사용자 의견 분석 |
| 리얼리티 마이닝 | 행동 및 관계 분석 |
| 소셜 네트워크 분석 | 관계 구조 및 영향력 분석 |
| 감정 분석 | 긍정/부정 등 감정 판단 |
2-3. 빅데이터와 인공지능
인공지능
-
정의 : 기계를 지능화 하려는 노력.
-
인공지능 ⊃ 머신러닝 ⊃ 딥러닝
-
딥러닝의 특징 : 깊은 구조로, 엄청난 양의 데이터를 학습 가능
-
기계학습의 종류
| 구분 | 개념 | 특징 | 주요 방법 |
|---|---|---|---|
| 지도학습 | 정답(레이블)이 있는 데이터를 학습하여 함수(모델) 생성 | 입력 → 출력 관계 학습 | 분류, 회귀 |
| 비지도학습 | 정답 없이 데이터 구조나 패턴 파악 | 데이터의 숨겨진 구조 발견 | 군집분석, 오토인코더, GAN |
| 준지도학습 | 일부만 정답이 있는 데이터를 함께 학습 | 적은 라벨로 성능 향상 | 지도 + 비지도 혼합 |
| 강화학습 | 보상을 최대화하는 행동을 학습 | 시행착오 기반 학습 | 강화학습 |
인공지능 데이터 학습의 진화
- 전이학습 : 기존 모델의 지식을 새로운 문제에 적용하여 빠르고 효율적인 학습 수행
- 전이학습 기반 사전학습모형 : 딥러닝 모형에 추가적인 데이터를 학습시키는 방식.
- BERT : 구글의 언어인식 사전학습모형.
빅데이터와 인공지능의 관계
- 인공지능 학습 위한 데이터 확보 : 학습을 위해 양질의 많은 데이터를 가공 필요
- 학습 데이터의 애노테이션 작업 : 데이터상의 주석 작업. 무엇을 학습 해야 하는지 표식한다.
- 애노테이션 작업을 위한 도구로써의 인공지능 : 학습 데이터의 수요로 인해 인공지능 기반 애노테이션 도구 제공 서비스가 진화중
인공지능의 기술동향
| 기술 | 설명 |
|---|---|
| 기계학습 프레임워크 | 모델 개발을 위한 도구 (텐서플로, 케라스 등) |
| GAN | 생성자와 판별자가 경쟁하며 데이터(이미지) 생성 |
| 오토인코더 | 비지도 학습으로 데이터 라벨링 |
| 설명 가능한 AI | 결과에 대한 근거를 제공하는 AI |
| 기계학습 자동화 | 데이터 전처리부터 모델 튜닝까지 자동화 |
- 거대 언어 모델 (LLM) : 신경망 기반으로 학습된 언어 모델
- 구성
| 구성 요소 | 설명 |
|---|---|
| 토큰화 | 자연어를 기계가 이해할 수 있는 단위로 변환 |
| 트랜스포머 | 문맥과 단어 간 관계를 학습하는 신경망 |
| 프롬프트 | 모델에 입력되는 질문/명령 |
인공지능의 한계점과 발전방향
- 국내시장의 한계 : 개발 중요성에 대한 인식 부족, 수학/통계학적 이해도 부족
- 인공지능의 미래 : 딥러닝의 재학습, 전이학습을 활용한 새로운 학습모형
2-4. 개인정보 개요
개인정보의 기준과 판단기준
- 정의 : 살아있는 개인에 관한 정보로, 개인을 식별할 수 있는 정보
+) 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보 포함
개인정보의 이전
- 개인정보가 제 3자에게 이전, 공통으로 처리하게 하는 것.
- 개인정보 처리 위탁 : 제공자가 업무처리의 목적으로 3자에게 이전
- 개인정보 3자 제공 : 제공받는 자가 업무처리 목적으로 3자에게 이전
개인정보의 보호
- 개인정보 보호조치
- 개인정보보호 가이드라인 점검
- 백업, 최신화, 패스워드 변경
- 빅데이터 개인정보보호 가이드라인
| 항목 | 설명 |
|---|---|
| 비식별화 | 개인정보 포함 시 식별 불가능하도록 처리 |
| 투명성 확보 | 처리 목적, 수집 출처 등 공개 |
| 재식별 시 조치 | 재식별 발생 시 즉시 파기 또는 재비식별화 |
| 민감정보 처리 제한 | 민감정보 생성 및 활용 금지 |
| 보호조치 수행 | 기술적·관리적 보호조치 적용 |
- 고려사항 : 법적 가이드라인, 내부 개인정보 컴플라이언스 체계
개인정보보호 관련 법률 - 데이터 3법 : 개인정보보호법, 정보통신망 이용 촉진 및 정보보호등에 관한 법률, 신용정보의 이용 및 보호에 관한 법률
2-5. 개인정보 법, 제도
개인정보보호법 : 당사자의 동의 없는 개인정보 수집 및 활용, 제 3자 제공 금지
- 개인정보 3자 제공 : 정보주체로부터 개인정보 3자 제공 동의를 받아야 함.
정보통신망법 : 정보통신망 개발, 보급, 이용촉진 및 정보통신망 활용 정보 보호에 관한 법률
신용정보보호법 : 개인신용정보 제공시 주체의 동의 필요
해외 개인정보보호 체계
- 유럽연합 : GDPR 준수
- 미국 : 시장 자율로 딱히 법률이 없으나 주마다 다름.
2-6. 개인정보 비식별화
개요
-
비식별 정보 : 개인정보 비식별 조치 가이드라인에 따라 비식별 조치된 정보
-
비식별 조치 : 개인을 식별할 수 있는 요소를 전부/일부 삭제, 대체
-
비식별 정보 활용 : 이용 또는 3자 제공. (원칙적으로는 공개 금지)
-
비식별 정보 보호 : 재식별 주의, 관리적, 기술적 조치 필수
개인정보 비식별화 조치 가이드라인
-
배경: 정부 3.0 이후로 데이터 활용 가치 증대, 개인정보 보호 강화에 대한 사회적 요구
-
단계별 조치사항
| 단계 | 목적 | 주요 조치 | 세부 기준 / 핵심 키워드 |
|---|---|---|---|
| 사전 검토 | 개인정보 여부 판단 | 데이터 성격 확인 | 개인정보이면 반드시 보호조치 수행 |
| 비식별 조치 | 개인 식별 불가능하게 처리 | 식별정보 삭제 또는 대체 | 식별자 : 원칙적 삭제 속성자 : 불필요 → 삭제 / 필요 → 가명처리·총계처리 |
| 적정성 평가 | 비식별 처리 적절성 검증 | 평가단 검토 | k-익명성 (기본) l-다양성 t-근접성 |
| 사후 관리 | 재식별 방지 및 안전 관리 | 지속적 모니터링 | 재식별 가능성 점검 문제 발생 시 즉시 조치 |
- 조치 방법
- 가명처리 : 식별 요소 다른 값으로 대체
- 총계처리 : 총합 값으로 대체
- 데이터 삭제 : 필요 없는 값 삭제
- 데이터 범주화 : 범주 값으로 숨김
- 데이터 마스킹 : 식별자를 비가시화 처리
2-7. 가명정보의 활용
가명정보의 개요
가명정보 : 가명처리의 산출물
가명처리 : 활용하려는 개인정보의 일부를 삭제, 대체하는 과정
개인정보 : 특정 개인에 대한 정보 (개인 특정 가능)
-> 정보 주체에게 동의를 받은 범위 내 활용 가능
가명정보 : 추가 정보 없이는 개인을 특정 할 수 없는 정보
-> 사전 동의 없이 통계/연구/공익 목적 활용 가능
익명정보 : 특정 개인을 알아볼 수 없게 처리한 정보
-> 제약 없이 이용 가능
-> 개인정보는 개인의 사생활 침해 같은 문제 발생을 막기 위해 기술적 조치 필요.
- 가명처리의 목적 및 대상 : 통계 작성, 과학적 연구, 공익적 기록 보존
가명처리 절차
1. 목적 설정, 사전 준비
2. 위험성 검토 : 대상 선정 -> 위험성 검토
3. 적정성 검토
4. 안전한 관리
2-8. 개인정보 활용
데이터 수집의 위기 요인과 통제 방안
사생활 침해로 위기 발생->동의에서 책임으로 강화하여 통제
데이터 활용의 위기 요인과 통제 방안
책임원칙 훼손으로 위기 발생->결과 기반 책임 원칙 고수로 통제
데이터 처리릐 위기 요인과 통제 방안
데이터 오용으로 위기 발생->알고리즘 접근을 허용하여 통제
