ADsP 1과목 요약정리

dozzzini·2025년 5월 17일

ADsP

목록 보기
1/3
post-thumbnail

데이터

  • 데이터의 특성
    • 존재적 특성: 데이터는 있는 그대로의 객관적 사실
    • 당위적 특성: 데이터는 추론, 예측, 전망, 추정을 위한 근거
  • 데이터의 유형

    • 정량적 데이터: 언어, 문자 등

    • 정성적 데이터: 수치, 도형, 기호 등

    • 정형 데이터: 정형화된 틀이 있고 연산이 가능한 데이터 (ex. CSV, 엑셀)

    • 비정형 데이터: 정형화된 틀이 없고 연산이 불가능(ex. 소셜 데이터, 댓글, 영상, 음성)

    • 반정형 데이터: 형태는 있지만 연산은 불가능 (ex. XML, JSON)

    • 암묵지: 개인에게는 습득되어 있지만, 겉으로는 드러나지 않는 상태의 지식

      • 내면화
      • 공통화

    • 형식지: 외부로 표출되어 여러 사람이 공유할 수 있는 지식

      • 표출화
      • 연결화
  • DIKW 피라미드
    • 데이터 : 의미가 중요하지 않은 객관적인 사실
      • A는 100원, B는 200원에 연필을 판매한다.
    • 정보 : 데이터의 가공, 처리를 통해 데이터 간의 관계에서 도출된 의미
      • A 연필이 더 저렴하다.
    • 지식 : 정보에 개인적인 경험을 결합해 고유의 지식으로 내재화한 것
      • 더 저렴한 A로부터 연필을 사야겠다.
    • 지혜 : 지식의 축적과 아이디어가 결합된 창의적 산물
      • 데이터를 가공 및 처리하여 얻을 수 있는 것으로 사람에게 가장 깊숙이 내재되어 있음
      • A의 다른 물건도 저렴할 것이다. (아하!)
    • 인사이트(X) , 도형(X)
  • 데이터베이스의 일반적인 특징
    • 통합된 데이터 : 동일한 내용의 데이터 중복 x
    • 저장된 데이터 : 컴퓨터 매체가 접근할 수 있는 저장 매체에 저장
    • 공용 데이터 : 여러 사용자가 공유
    • 변화하는 데이터: 삽입, 수정, 삭제를 통해 항상 최신의 정확한 데이터 유지

용어

  • 인하우스 DB → ERP (전사자원관리시스템)으로 확대
  • ERP(Enterprise Resource Planning)
    • 여러 자원 및 업무가 하나로 통합된 시스템으로 재구축
  • OLTP(Online Transaction Processing)
    • 거래 단위에 초점
    • ex. 주문 입력
  • OLAP(Online Analytical Processing)
    • 적재된 데이터에 초점
    • 다차원의 데이터를 대화식으로 분석하기 위한 소프트웨어
    • ex. 데이터의 분석
  • CRM(Customer Relationship)
    • 기업 내 외부적인 분석을 통해 마케팅 측면에서 신규 고객 창출 또는 기존 고객의 이탈을 방지하는 목적
  • SCM(Supply Chain Management)
    • 원자재에서부터 기업을 거쳐 고객에게 도달할 때까지 유통 단계를 최적화하여 고객에게 제공하는 것이 목적
  • EAI(Enterprise Application Integration)
    • 기업들 간의 서비스 연계
  • BI(Business Intelligence)
    • 데이터를 수집, 정리, 분석하여 효율적인 의사결정을 지원하는 리포트 중심의 기술
    • 여러 데이터베이스의 활용 방법 중 데이터를 통합, 분석하여 기업 활동에 연관된 의사결정을 돕는 프로세스
  • BA(Business Analytics)
    • 데이터와 통계를 기반으로 성과에 대한 이해와 비즈니스 통찰력에 초점을 둔 분석 방법
    • 경영 의사결정을 위한 통계적이고 수학적인 분석에 초점을 둔 기법

데이터베이스

  • RDB(관계형 데이터베이스)
    • 데이터를 행과 열로 이뤄진 테이블에 저장
    • 정형 데이터를 다루는데 특화
  • NoSQL (Not only SQL / Non-Relational)
    • 비관계형
    • 기존의 RDB의 SQL을 보완 및 개선
    • 비정형 데이터, 대용량 데이터 분석 및 분산처리에 용이

빅데이터

빅데이터의 출현 배경

  • 기업의 방대한 양의 고객 데이터 축적
  • 스마트폰 및 인터넷 보급을 통한 기하급수적인 데이터 양의 증가
  • 기술의 발전을 통한 저장 및 분석 비용의 감소
  • 데이터의 정형화를 통한 관리의 용이성(X)
  • 클라우딩 컴퓨팅 → 빅데이터의 처리 비용 ↓

더그래니의 3V

  • Volume : 데이터의 양
  • Variety : 데이터의 다양성, 유형
  • Velocity : 데이터 수집과 처리 측면에서의 속도

4V

  • Value (가치) → 투자비용 요소에 해당 x
  • Veracity (정확성)

빅데이터의 기능

  • 산업혁명의 석탄, 철
    • 혁명적인 변화를 가져올 것
  • 21세기 원유
    • 새로운 범주의 산업을 만들어 낼 것
  • 렌즈
    • 큰 영향을 줄 것
  • 플랫폼
    • 공동 활용을 목적으로 구축
    • 수집된 데이터를 가공, 처리, 저장해 두고 이 데이터에 접근할 수 있음

빅데이터가 만들어내는 변화

  • 사전 처리 → 사후 처리
  • 전수조사
    • 표본조사 (X)
  • 질 → 양
  • 인과관계 → 상관관계

빅데이터 활용 기본 테크닉

  • 연관 규칙 학습
    • 주목할 만한 상관 관계가 있는지 찾아냄
  • 유형 분석
    • 새로운 사건이 속할 범주를 찾아내는 방법
  • 유전 알고리즘
    • 최적화가 필요한 문제의 해결책을 점진적으로 진화
  • 기계학습 = 머신러닝
    • 데이터로부터 규칙을 찾고 이를 활용해 예측
  • 회귀분석
    • 독립변수를 조작하면서 종속변수가 어떻게 변하는지를 보며 수치형으로 이뤄진 두 변인의 관계를 파악
  • 감정분석
    • 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석하는 방법
  • 소셜 네트워크 분석
    • SNS 같은 온라인 공간에서 관계를 분석

빅데이터의 위기요인과 통제 방안

위기 요인

  • 사생활 침해
  • 책임 원칙 훼손
  • 데이터 오용

통제 방안

  • 동의에서 책임으로
  • 결과 기반 책임 원칙 고수
  • 알고리즘 접근 허용

용어

  • 스태밍(Stemming)
    • 단어의 어원을 찾는 작업
  • 코퍼스(Corpus)
    • 텍스트 분석을 위해 모아놓은 단어 또는 문장을 보유한 저장소
    • 특정 단어가 어떤 단어들과 주로 어울리는지 사용
  • 토큰화(Tokenization)
    • 문장 또는 코퍼스를 여러 개의 뜻을 가진 가장 작은 단위의 단어들로 나누는 작업
  • 임베딩(Embedding)
    • 토큰화가 수행된 단어 집합에 대해서 벡터로 변환

가치 패러다임의 변화

  • 디지털화
    • 아날로그 세상을 어떻게 효과적으로 디지털화하는가
  • 연결(Connection)
    • 디지털화된 정보와 대상들이 서로 연결되어 이 연결이 얼마나 효과적이고 효율적으로 제공하느냐
  • 에이전시
    • 사물인터넷의 성숙과 함꼐 연결이 증가하고 복잡해짐
    • 복잡한 연결을 얼마나 효과적이고 신뢰감 있게 관리하는가
    • 데이터 사이언스의 역량에 따라 좌우됨
profile
dozzzini
다음 포스트

ADsP 2과목 요약정리

0개의 댓글