학습 목표

1. 데이터 과학의 개념 이해
2. 인공지능의 개념 이해

데이터 과학의 개념

데이터 과학(Data science)

데이터 과학(현재) → 빅데이터(21c) → 데이터베이스(20c)

• 데이터 과학의 시작: '빅데이터' 등장 이후
• 빅데이터는 데이터베이스로부터 도출된 개념
  • 따라서 데이터베이스를 누가 사용하고, 어떨 때 사용하는지에 대한 상황 인식 필요
    • 왜 빅데이터가 도출되었는지 이해할 수 있음 → 데이터 과학에 대한 이해
    • 즉시성을 지닌 데이터가 체계적으로 축적되는 게 기본 아이디어
• 카페에서 N페이로 KB카드 결제 → 결제 내역이 각각 N페이와 KB카드에 저장 → 핵심은 데이터, 달라진 건 발생 빈도(건수)
  - 100건(데이터베이스) → 10만건(빅데이터) → 1억 건(데이터 과학) 단위로 바라보는 데이터의 개수가 증가
• 건수 외의 인사이트도 존재: '연구'(공부) 마인드

정의

• 데이터를 탐구하고 분석하여 그 안에서 체계(패턴)을 발견하고 이를 활용하여 현실의 문제를 해결해 나가는 학문

  • 유효한 탐구나 분석의 결과를 도출할 수 있음 → 체계, 즉 패턴 발견
    • '반드시' 도출해야 하는 건 아님: 탐구/분석 결과를 취업과 같은 목표를 달성/피드백
    • 유의미한 내용이 아니어도 괜찮으니 고민의 흔적을 기록할 것
  • 일상 생활에서 만들어 내는 데이터 → 무수히 많이 생성됨
    • Social Media mentions, 결제 정보(1, 2차 결제 과정을 통해 상업적으로 이어지는 패턴) 응용 → 예: 어디에 카페를 만들까(지하철/고속도로/…), 마케팅 활용(몇 시에 어떤 이용자가 얼마나 많이 등)

• 데이터를 다루기 위해 프로그래밍 언어를 활용하고, 알고리즘을 적용하기 위해 컴퓨터 기술을 사용

  • 데이터 과학과 AI는 구분선을 지어 가를 수 없이 서로 융합되어 있는 측면이 강함

  • 데이터 과학은 AI라는 학문 분야의 부분 집합으로 볼 수 있음

    '사용'과 '활용'은 다름!
    → 사용: 있는 것을 그대로 씀
    → 활용: 있는 것에서 더 첨가/부가(add on) → 기존에 나왔던 결과와 다른 좀 더 유의미한/개선된 형태의 결과 도출

  • 데이터 과학은 한 개 이상의 프로그래밍 언어로 여러 개의 데이터를 가지고 현실의 문제를 해결해 나갈 수 있는 활용성 있는 코드를 만들어 내야 함

    • 이 과정에서 알고리즘을 적용 → 알고리즘: 문제 해결을 위한 가장 최적화된 경로를 정하는 것 → 현실의 문제를 해결해 나가는 과정에서 상황/시간/목적 등에 의해 유연하게 변경 가능

      예: 네비게이션/지도 앱 길찾기 → 목적에 따라서 최선의 경로가 바뀜, 거리가 짧다고 무조건 빠른 건 아님, 시간과 상황에 따라서 유연하게 경로 변경해야 함

    • 알고리즘은 '변할 수 있는 가능성'을 차단하지 말고 유연한 사고를 가져야 함

• 데이터 분석을 위해 수학과 통계 기법 등 과학적 원리 적용

  • 제시된 수학 공식을 프로그래밍 언어로 풀어낼 정도의 수식 적응 능력
    • 예: 평균, 분산, 표준편차, 중위값, 최빈값, …

    data = [60, 70, 80, 90]
    			def calculate_variance(data):
      # 평균 계산
      mean = sum(data) / len(data)
      # 편차 제곱의 합 계산
      squared_differences = [(x - mean) ** 2 for x in data]
      # 분산 계산
      variance = sum(squared_differences) / len(data)
      return variance
    # 결과 출력
    variance = calculate_variance(data)
    print(f"분산: {variance}")

  • 수학 스킬이 필수적인 영역도 있음

목적

• 데이터 분석을 통해 지식과 인사이트를 창출하고, 이를 통해 올바른 의사 결정을 할 수 있도록 도움을 주는 것

프로세스

데이터 분석 → 인사이트 창출 → 의사 결정
(예)
1백, 1만, 1억 → 지하철/DT → 카페 창업 기획 자료

• 단순히 숫자를 나열하고, 그 숫자들을 표나 그래프로 표현하는 것은 데이터 과학이라고 말하지는 않음
• 데이터를 분류하거나 분석하는 것뿐만 아니라 데이터 속에 담긴 의미를 찾아 미래를 예측하고, 그에 따라 어떻게 행동할 것인지를 알려주는 일련의 과정을 데이터 과학이라 함
  • 인사이트를 도출하는 것이 데이터 과학

데이터 분석이란?

정의

• 데이터를 탐구하여 특징을 찾아내고, 의사를 결정하기 위해 시각화하여 표현해 주는 모든 활동
  • 시각화 결과물 자체가 데이터 과학과 1:1로 대칭되는 것은 아님!
  • 반드시 탐구, 분석, 특징 추출 과정을 병행해야 함
• 데이터를 다양한 각도로 들여다보며 적절한 분석 모델을 적용해 이를 통해 데이터가 주는 의미를 발견하는 과정

유형

• 데이터를 분석하는 방법과 그 역할에 따라 네 가지 유형으로 구분
  
  → 단계/방법론이라 할 수 있음
  → 하나의 흐름으로 보기도 하며 분석의 결과를 어떻게 도출하는가에 따라 네 가지 유형을 모두 사용하기도 함

설명분석(Descriptive Analytis)

• 주어진 데이터를 요약하고 집계하여 과거나 현재에 발생한 상황에 대해 단순히 확인하는 작업
• 예: 어느 기업의 지난 달 매출과 이번 달 매출이 어떠했는지를 확인
• 문제에 대해 설명하는 것
• 무슨 일(what)이 일어나고 있는가에 대해 조사한 후 그 현상에 대해 정리하고 서술하는 방식

진단분석(Diagnostic Analytics)

• 과거와 현재에 발생한 사건의 원인에 초점을 맞추고 데이터 간의 관계를 발견하여 왜(why) 그 사건이 발생했는지를 기술하는 방식
  • 단순한 데이터 하나가 아닌 두 데이터(다른 도메인) 간 시계열 분석
  • 예: 버스 하차-음료 구매/버스 승차-음료 구매

예측분석(Predictive Analytics)

• 의사 결정자가 판단하는 데 도움이 되는 인사이트를 제공
• 미래에 어떤 일이 일어날지 추정하는 것에 초첨을 맞춤
• 다양한 변수 데이터를 사용하여 변수 간 상관관계를 파악

처방분석(Prescriptive Analytics)

• 예측 분석을 통해 도출된 결과를 바탕으로 의사 결정자에게 어떻게 행동할 것인지, 무엇을 해야 할 것인지를 알려줌으로써 최적의 의사 결정을 도출
• 대표 사례: 현재의 교통 상황을 고려하여 최적의 경로를 추천하는 교통 프로그램, 인공지능 알파고 바둑
• 처방분석은 과거에 일어난 일을 해석하는 설명문석, 그것이 왜 일어났는지를 밝히는 진단분석, 앞으로 어떤 일이 일어날지 추측하는 예측분석을 조합하여 다음에 취해야 할 최선의 행동을 고찰하는 '최적화 분석'이라고 할 수 있음

절차

문제 정의

• 주어진 문제를 파악하고 데이터 분석의 목적을 정확히 정의
• 해결할 문제의 목표와 범위를 정하고, 최종 결과물은 누구에게 어떤 형태로 전달될 것인지 명확하게 함

데이터 수집

• 분석에 필요한 데이터를 획득
• 문제를 해결하기 위한 재료를 데이터화하는 과정
• 수집한 데이터는 데이터에 대한 여러 속성과 속성에 대한 값으로 구성된 형태로 표현할 수 있음

데이터 전처리

• 수집한 데이터에서 필요한 부분만 선택하기 위해 정제하고, 용도에 맞게 가공
• 데이터에서 부정확하거나 관련 없는 부분은 삭제하거나 수정하여 데이터 중복을 없애고 오류를 수정하는 과정

데이터 분석 모델 수립

• 데이터의 조건에 알맞은 통계 도구와 분석 기법을 이용해 데이터 속의 의미를 찾을 수 있는 모델 생성
• 모델링은 표본 통계치나 수식의 형식으로 표출
• 필요에 따라 통계 기법 사용
• 머신러닝, 딥러닝 등 기계 학습 기법이 사용되기도 함

모델적용 및 결과구현 및 평가

• 수립된 모델을 실제 사례에 적용하여 결과를 도출
• 대부분의 경우 우수한 성능의 모델을 만들기 위해 분석 모델 수립 단계에서 평가 단계까지의 과정을 여러 번 반복함

데이터 과학의 기술 분야 ★★★

• 데이터 과학은 융합 영역을 다루므로 필요한 기술과 분야가 다양함
  • 컴퓨팅 기술
  • 수학 및 통계학적 지식
  • 다루려고 하는 해당 내용에 대한 전문적인 지식

도메인(학문 분야)
도메인 전문 지식 → 인사이트

• 데이터 과학에서 다루는 기술 분야 & 데이터 과학 절차에 따라 필요한 기술

컴퓨팅 기술

• 데이터를 가공, 처리하기 위한 프로그래밍 기술
• R, Python → 데이터 과학을 위한 대표적인 프로그래밍 언어
  • R
    • 많은 데이터를 통계 처리하기 위한 오픈 소스 프로그래밍 언어
    • 분석 결과를 직관적으로 이해할 수 있는 데이터 시각화 기능 제공
  • Python
    • 데이터 분석 및 시각화에 유용한 도구
    • 다양한 플랫폼에서 사용 가능한 인터프리터 방식의 오픈 소스 프로그래밍 언어
    • 문법이 배우기 쉽고 결과를 바로 확인할 수 있어 프로그래밍 초보자에게 추천
  • SQL(Structured Query Language)
    • 데이터베이스 시스템에 적재된 데이터를 처리하기 위한 언어
    • 통신, 금융 등 데이터를 전문적으로 다루는 조직에서 많이 활용
    • 그 밖에 가벼운 데이터를 다루기 위해서는 스프레드시트 프로그램인 엑셀이 많이 활용됨

머신러닝(Machine Learning)

• 컴퓨터가 인간의 지능적 행동을 모방하도록 하는 인공지능의 하위 분야
• 입력된 데이터로부터 컴퓨터가 스스로 학습할 수 있도록 프로그래밍하는 기술
  • 충분한 학습으로 일정한 패턴을 인식할 수 있는 능력을 갖추면 새로운 입력값에 대해서도 학습된 패턴을 기반으로 판단하고 예측치를 도출할 수 있다는 생각을 기반으로 함
    • 인간이 다양한 경험과 시행착오를 통해 지식을 배우는 것과 유사

인공지능, 머신러닝, 딥러닝의 관계 ★★★

→ 부분 집합으로 생각하면 되지만 LLM 모델을 개발하는 것인지 LLM 서비스를 기획하는 것인지에 따라 포지션이 달라지는 경우도 있음 (뉘앙스 차이)
→ OpenAI 버전 업그레이드는 인공지능 분야에서 도출된 모델의 성능이 발전되었다는 의미

Q. K-means가 딥러닝의 한 분야인가요?
A. 아닙니다. AI, ML, DL의 개념을 정리하면서 정확하게 개념을 정의합시다.

• 공통점
  • 규칙
  • 결과 산출
• 차이점
  • 컴퓨터 과학: 처리 → 처리를 할 수 있도록 누군가가 어시스트해 주거나 명령을 내려야 함 → 주체가 '사람'
  • 머신러닝: 학습 → 인간의 학습과 유사(사람이 새로운 지식을 수용해 새로운 무언가를 만들 수 있는 상태가 됨 == AI 모델을 만들고 학습시킴)

딥러닝(Deep Learning)

• 머신러닝의 한 분야
• 사람의 신경망을 모방하여 여러 층으로 구현된 학습 모델을 통해 데이터 속에서 패턴을 찾도록 하는 기술
• 학습을 하려면 많은 양의 계산이 필요하므로 고성능의 컴퓨팅 장비를 갖추어야 함
  • 기반이 조성되면 높은 정확도를 갖는 예측 모델 구현 가능 → 딥러닝은 현재의 인공지능 시대를 연 주인공이라 할 수 있음
• 예: 고양이 사진 분류
  • 컴퓨터에 많은 양의 고양이 사진 제공 → 컴퓨터가 데이터들을 여러 층으로 구성된 학습망에 통과시키면서 고양이의 특성을 파악 → 학습이 완료된 신경망은 고양이 사진을 인지할 수 있는 인공지능으로 기능
    

데이터 시각화

• 데이터 분석 결과를 쉽게 이해하도록 도표, 그림과 같은 시각적 수단을 통해 정보를 효과적으로 전달하는 방법
• 예시
  • 통계 그래픽: 통계치를 그래프로 표현
  • 인포그래픽: 수많은 데이터를 한 장의 그림으로 요약하여 표현
  • 단어 구름(Word cloud): 문서에 사용된 단어의 빈도와 중요도를 시각적으로 표현
  • 이 외에도 시간의 흐름을 보여주는 과학적 시각화, 지도 데이터 시각화 등 데이터의 분석 및 활용이 활성화됨에 따라 다양한 기법과 기능들이 계속 개발되고 있음
• 시각화의 중요성
  • 데이터 시각화에서 중요한 것
    • 데이터 분석을 통해 얻을 수 있는 통찰력이 무엇인지 파악
    • 데이터 시각화를 통해 전달할 메시지가 무엇인지를 명확히 정의
• 모든 경우에 적합하거나 모든 시각화 중에서 가장 좋은 단 하나의 데이터 시각화 방법이란 존재하지 않음 → 데이터를 통해 보여주고자 하는 메시지를 표현하기에 적합한 방법을 선택하는 것이 중요

인공지능의 개념

인공지능(AI: Artificial Intelligence)이란?

• 인간의 지적 능력을 컴퓨터로 구현하는 과학 기술 → AI 모델
  • 상황을 인지해 합리적, 논리적으로 판단하고 행동하며 감성적 요소와 창의적인 기능을 수행하는 능력까지 포함
    → 인간의 지적 능력 == 뇌, 컴퓨터로 구현 == AI 모델 → 뇌와 모델은 유사!
• 인간의 지능으로 수행할 수 있는 인식, 사고, 학습 활동 등을 기계가 할 수 있도록 구현하는 기술이자 그 기술을 연구하는 학문 분야
• 인간 지능과 인공지능 비교
  • 인간: 경험(시각, 청각, 청각 등의 오감을 활용)과 지식(책, 인터넷 등 다양한 대상으로부터 습득)으로 주변 환경을 인식 + 직감과 통찰을 활용해 문제를 해결하고 결론 도출
  • 인공지능: 다양한 형태의 빅데이터를 지식 베이스로 하여 학습한 결과에 따라 판단하고 그 결과를 다시 데이터로 저장하여 점차 성능을 향상시킴

인공지능의 특성

스스로 학습하고 개선

• 방대한 지식을 수집하여 스스로 학습하고 개선
• 데이터에서 패턴을 인식하거나 시행착오를 기반으로 행동을 최적화하여 예측하고 판단하는 능력을 키움
• 인터넷 쇼핑, 동영상 스트리밍, 음악 등의 추천 시스템에서 사용자에게 더 맞춤화된 추천 정보를 제공하기 위해 스스로 학습하고 개선
• 학생 수준에 맞는 개별화 학습이 중요시되는 교육 분야에도 적용됨

빅데이터를 처리

• 예측 모델을 생성해 방대한 양의 데이터를 처리하고 의사 결정을 도움
• 예: 금융 분야 → 주식 가격 예측이나 투자 전략 개발
• 상업용 비즈니스, 금융, 의료, 마케팅, 군사 등 다양한 분야에서 가치를 창출

복잡한 문제 해결에 유용

• 복잡한 수식을 계산하고 이미지에서 대상을 인식하며 자연어에서 문맥을 이해하는 등의 복잡하고 어려운 문제 수행 가능
  • 의료 분야에서 희귀 질병을 찾아낼 때
  • 예상할 수 없는 다양한 상황이 발생하는 교통 운송에도 유용하게 활용

자동화에 최적화

• 반복적인 작업을 빠르고 정확하게 수행
• 자동화
  • 인간의 개입을 최소화하는 기술
  • 일상생활 또는 비즈니스에 걸친 모든 영역에 활용
    • 법원에서 자동화를 사용하여 법률 문제를 해석하고 판단하는 데 활용
    • 산업 현장에서 로봇이나 자동화 시스템에 사용
• 복잡한 데이터나 개념을 단순화(일반화)하는 능력으로 복잡한 문제 해결에 도움을 줌

인공지능의 활용

활용 범위

• 일상생활뿐 아니라 교육, 금융, 의료, 교통 등 현대 사회의 다양한 분야에 활용
• 향후 인공지능 관련 기술이 발달함에 따라 인공지능의 활용 범위가 더 넓어질 전망

교육 분야

• AI 튜터: 인공지능이 개인 교수 역할
• 적응형 학습: 인공지능이 학생의 수준에 맞게 개별화 학습 진행
• 개인별 맞춤형 평가: 자동 채점, 자동 피드백
• 성격/적성 검사: 인공지능이 빅데이터 기반으로 개인의 성격, 적성 판별

상업 분야

• 구매 물품 추천: 온라인 쇼핑몰에서 고객의 취향에 맞는 물품을 추천
• 영화 추천 시스템: 데이터의 패턴을 이용하여 구독자에게 영화 추천
• 마케팅 전략: 인공지능 기술을 활용한 빅데이터 분석으로 시장 상황을 파악하여 마케팅 전략 수립

교통/운송 분야

• 자율주행 자동차: 인지, 판단, 제어를 거치면서 작동하는 자율 운행 시스템을 이용해 운전자의 주변 상황을 주시하고 돌발 상황에 대비하는 첨단 운전자 보조 시스템 포함
• 자율 드론: 자율 비행 시스템을 이용하여 위치, 경로, 속도 등을 미리 설정 후 사용 가능
• AI 택배: 택배 분류 자동화 시스템을 이용하여, 빅데이터 기반 분석으로 이동해야 할 상품의 양을 파악하고 운송에 필요한 차량 수와 배송 인력을 미리 준비하는 최적의 물류 지원 계획 수립

의료 분야

• 의료 데이터 분석을 통한 병변 탐지 및 분류 등을 지원
• 개인 맞춤형 의료 서비스

법률 분야

• 복잡한 법률 문제 해석
• 판단을 내릴 수 있는 근거 조항 및 판례 분석

국방 분야

• AI 공격 무기: 적을 찾아 공격
• AI 방어 시스템: 적군의 공격 징후를 포착하여 방어
• 군사 보행 로봇: 지뢰 탐지, AI 탱크 로봇, 군사 작전 등 주변의 물리적 상황에 맞게 보행 또는 주행 가능

제조 분야

• 산업 현장의 다양한 센서와 기기들이 스스로 정보 취합
• 취합된 정보와 인공지능을 결합해 생산성 최대로 향상

인공지능의 원리

학습을 기반으로 인식 추론 행동을 환경과의 상호 작용으로 구현

• 학습을 기반으로 인간의 인식, 판단 및 추론, 행동을 컴퓨터로 구현하여 다양한 분야의 문제를 해결하는 데 도움 제공
  • 인간: 눈이나 손의 감각으로 사물을 인식, 두뇌로 생각해 결정, 몸으로 행동하는 것이 자연스럽게 진행됨
  • 컴퓨터: 입력된 정보를 계산 가능한 형태로 만들기까지 복잡한 과정을 거쳐야 인간과 유사한 인식, 추론, 행동 가능

자동차에 적용된 인공지능의 원리

• 학습하는 자동차 → 테슬라(LA에서)
  • 자율주행 자동차가 효율적인 주행을 위해 다양한 데이터를 사용하고, 기계학습과 딥러닝을 활용하여 가장 최적의 결정을 내리도록 함
  • 기계학습은 컴퓨터가 다량의 데이터를 기반으로 학습하여 규칙을 자동으로 찾아내고, 이를 새로운 데이터에 적용하여 새로운 정보를 얻거나 예측하는 기술
    • 그중 딥러닝은 기계학습의 한 분야로, 인공신경망을 여러 층으로 구성하여 더 복잡한 특징과 패턴을 학습하는 방법
    • 딥러닝은 인공신경망을 사용하여 다양한 분야에서 높은 성능을 발휘하고 있음
• 인식하는 자동차 → 현대자동차(2024년 이후)
  → 기술적인 솔루션을 GPS/도로 정보 기반 자율주행과 이미지 정보 기반 자율주행 중 이미지 정보 처리로 결정한 게 2024년
  → 이미지 기반 센서 퓨전 방식도 있다고(카메라 레이더 & 센서 퓨전 추가): 라이다, 레이다(비용 문제, 데이터 융합 문제가 있다고 함)
  • 자율주행 자동차에 탑재되거나 장착된 카메라, 라이다, 레이더, GPS 등을 이용하여 주변의 사물을 인식하고 다양한 정보를 수집
  • 카메라는 주변 환경의 이미지 데이터를 활용하여 360도의 넓은 시야를 확보하는 데 사용
  • 라이다는 비나 안개와 같은 기상조건에서는 성능이 저하되는 카메라의 한계를 보완하여 정확한 인식을 도움
  • 레이더는 전파를 이용하여 좁은 범위의 물체를 인식, 보행자 탐지, 충돌 방지를 위해 사용
  • 위치확인시스템(GPS)은 차량의 운행 경로와 현재 위치를 알려주는 역할

• 행동하는 자동차
  • 자율주행 자동차가 주행할 방향과 엔진의 구동 방식 등을 결정
  • 차량의 운행을 지속적으로 감시하며 상황에 따라 적절한 명령을 내릴 수 있는 운행 감시 체계를 구축
    • 다양한 상황을 분석해 시스템의 고장 여부 진단
    • 오퍼레이터에게 적절한 정보를 제공하거나 경보를 알리는 기능 수행
• 판단 및 추론하는 자동차
  • 자율주행 자동차가 인식 단계에서 수집한 지도 정보를 기반으로 가장 최적의 주행 전략을 결정하는 과정
    • 학습된 지식을 기반으로 한 논리적인 추론 과정을 통해 가장 최적의 경로를 발견
    • 이러한 추론 과정은 자율주행 자동차가 주행에 필요한 결정을 스스로 내리는 데 도움을 줌

인공지능의 문제 해결 방법

탐색을 활용하여 논리적으로 문제를 해결

• 문제(problem): 점심 메뉴 정하기, 식당까지 가는 가장 빠른 길 찾기 등의 일상 생활의 일들
• 탐색(search): 문제를 해결하기 위한 과정
• 문제의 해: 탐색을 통해 나온 답
• 인공지능은 다양한 문제들을 해결하기 위해 탐색을 활용
  • 탐색은 인공지능이 문제를 자율적으로 해결하기 위한 방법 중 하나
  • 탐색의 과정에서 이미 알고 있는 지식이나 이전에 발견된 정보를 이용함으로써 최적의 해를 찾아 문제를 해결

탐색의 종류: 맹목적 탐색과 정보 이용 탐색

• 맹목적 탐색
  • 무정보 탐색이라고도 함
  • 상태 공간에 관한 정보 없이 모든 상태를 규칙에 따라 탐색하는 방법
  • 분기점에서 갈 방향을 정한다
  • 예: 깊이 우선 탐색, 너비 우선 탐색
• 정보 이용 탐색
  • 휴리스틱 탐색 또는 경험적 탐색이라고도 함
  • 상태 공간에 대한 정보를 활용하여 지능적으로 그래프의 일부만 효과적으로 탐색함으로써 가까운 근삿값을 빨리 찾을 수 있음
  • 예: 언덕 등반 탐색, 최상 우선 탐색, A*(에이스타) 알고리즘

지식의 표현과 추론

• 컴퓨터에서 활용하기 위해 만든 지식 표현 방법
  • 규칙기반전문가시스템(rule based expert system)
  • 의미망(semantic network)
  • 프레임(frame)
  • 명제 논리
  • 술어 논리 등
• 추론
  • 이미 알고 있는 지식에서 논리적 결론을 도출하는 행위 또는 과정
  • 어떠한 판단으로부터 다른 판단을 이끌어 냄
  • 추론 방법
    • 연역적 추론
    • 귀납적 추론