인공지능, 파이썬을 이용한 빅데이터 수집

chltndid724·2019년 12월 11일
0

Conference

목록 보기
6/6

ML 이란 ? (Machine Learning)

기계에게 많은 양의 데이터를 주는 것을 통해서 기계가 그 데이터를 사용하면서 자기 스스로 추측을 하며 학습한다.

지도학습 (Supervised Learning)

정답이 주어진 상태에서 컴퓨터를 학습시키는 방법.
ex ) 고양이나 강아지 사진을 기계에게 학습시키는 것

회귀 (Regression)

  • 어떤 데이터들의 특징을 토대로 값을 예측하는 것.
  • 결과 값은 실수 값을 가질 수 있다.(그 값들은 연속성을 갖는다. 그래프)

ex) 어디 동네에 어떤 평수 아파트면 집 값이 얼마일까 ?
어디는 20평에 얼마, 어디는 26평에 얼마

분류 (classification )

  • 어떤 데이터에 대해 두 가지 중 하나로 분류할 수 있는것.

Pass or Non-pass 예측

비지도 학습 (Unsupervised Learning)

  • 정답을 따로 알려주지 않고, 비슷한 데이터들을 군집화 하는것.

ex) 고양이, 병아리, 기린, 호랑이 사진을 기계에게 동물의 이름을 정의 하지않고 가르쳐 주면 기계가 스스로 다리가 4개인것, 목이 긴것, 몸통이 작은것으로 군집화 하는것이다.

강화학습 (Reinforcement Learning)

  • 상과 벌이라는 보상을 주며 상을 최대화 하도록 강화 학습하는 방식. 알파고가 이런 학습이고, 주로 게임에서 최적의 동작을 찾는데 학습하는 방식이다.

TensorFlow

  • Graph 형식
  • 파이썬언어
  • 기본적인 함수 H(x) = W(x) + b
  • H = Hypothesis (가설)
  • W(x) = 가설 데이터
  • b = 실제 데이터

Graph

  • 노드 (연산작업)

  • 엣지 (노드와 노드 연결)

  • 데이터 (tensor)

  • 가장 작은 단위 스칼라

    작동원리

  • 그래프를 사용해서 텐서플로우 작성 (학습데이터 작성)

  • 세션을 작동시킨다.

  • 결과를 계속 업데이트 시킨다.(첫번째로 나온 결과를 리커젼느낌으로 계속 실행)

Placeholder (그릇,변수)

  • tf.placeholder(타입자리, shpae자리, ranks자리)
  • 플레이스 홀더를 쓰면 range 자리에 feed_dict가 들어간다.
  • tensorflow 2 버전에서는 삭제 되었다.

Tensor 의 구성

Ranks

몇개의 Array 구성이냐, [] 1개 (1차원) ,[[]] 2개 (2차원)

Shapes

각각의 element에 몇 개씩 가지고 있냐
[1,2,3] 3개 가지고 있다.

Types

Cost 최소 값 구하기

  • 어디서 출발하든 최소값이 같아야한다. (나선형곡선을 추구)
  • 미분을 통해서 구한다.

미분 대신 optimizer 함수 사용

  • 미분이 복잡하기 때문에 optimizer로 간단히 사용 가능.
  • optimizer에서 learning_rate=? 값만 주면된다. 이것은 나선형 그래프에서 데이터를 줄여나갈때 범위를 설정하는 것이다.
  • 미분 적용때

  • optimizer로 적용했을때

Matrix

  • H(x) = XW

  • 입력값이 여러게가 되면 코드가너무 길어지기 때문에 matrix를 사용한다.

  • 아래 형식처럼 규칙을 통해서 찾아갈 수가있다.

빅 데이터 사용법

파이썬 리스트의 slicing 기능

전체적인 느낌

참고

profile
힘들땐 블로그 하나더 적자!!![ Suyang ]

0개의 댓글