데이터 (전)처리

데이터 전처리란?특정 분석에 적합하게 데이터를 가공하는 작업을 의미한다.업무활동이나 현업에서 발생하는 데이터는 분석, 머신러닝(딥러닝)에 적합하지 않은 경우가 많다. 의미 없는 값이 포함되어 있거나, NA값이 존재하거나 수많은 변수는 데이터의 품질을 떨어뜨린다. 이를

Crawler 웹상의 다양한 정보를 자동으로 검색하고 색인하기 위해 검색 엔진을 운영하는 사이트에서 사용하는 SW이다. 스파이더(spider), 봇(bot), 지능 에이전트라고도 한다. 사람들이 수작업으로 해당 사이트의 정보를 검색하는 것이 아닌 컴퓨터 프로그램의 미리 입력된 방식에 따라 새로운 웹 페이지를 찾아 종합, 찾은 결과를 이용해 새로운 정보를 찾...

BeutifulSoup : HTML 코드를 Python이 이해하는 객체 구조로 변환하는 Parsing을 맡고 있으며, 이 라이브러리(모듈)을 통해 의미있는 정보를 추출할 수 있게 된다.여기에 이어서 예제를 살펴보겠습니다.from selenium import webdri

구글 Playstore에서 게임 설명(description)을 크롤링 해보자세 종류의 game ranking 페이지에서 각 게임의 정보를 제공하는 페이지 url 추출게임 정보 제공 페이지에서 게임 설명을 추출

벡터화란 수학적인 의미로 행렬을 세로 벡터로 바꾸는 선형변환의 하나이다.보통 matrix or table의 형태로 되어있다.독립 변수(설명 변수)인 x와 종속 변수(반응 변수)인 y로 이루어져있다.무작정 데이터를 수집하면 안된다. -> 데이터를 matrix 형태로 추출