구조화된 데이터 처리를 위한 Spark 모듈대화형 Spark 셸이 제공됨하둡 상의 데이터를 기반으로 작성된 Hive 쿼리의 경우 변경없이 최대 100배까지 빠른 성능을 가능하게 해줌데이터프레임을 SQL로 처리 가능RDD 데이터는 데이터프레임으로 변환한 후 처리 가능외부

Spark Spark를 설명하기 전에 빅데이터 기술과 하둡에 관해 설명한다. 빅데이터 기술이란? 빅데이터의 정의와 예시 빅데이터의 정의 1. "서버 한 대로 처리할 수 없는 규모의 데이터" (분산 환경이 필요하느냐에 포커스) 빅데이터의 정의 2. "기존의 소프트웨어

데이터 팀의 Mission신뢰할 수 있는 데이터를 바탕으로 부가가치 생성데이터의 품질이 보장되어야! (garbage in garbage out)데이터를 빠르게 가져올 수 있어야 한다.많은 경우 데이터 분석은 회사의 주력 사업이 아니라 부가적인 가치를 생성해내는 일데이터

SQL JOIN은 두 개 혹은 그 이상의 테이블들을 공통 필드를 가지고 merge하는 것.이는 star schema로 구성된 테이블들로 분산되어 있던 정보를 통합하는데 사용된다.왼쪽 테이블을 LEFT, 오른쪽 테이블을 RIGHT라고 하면 JOIN의 결과는 양쪽의 필드를

테이블의 레코드를 그룹핑하여 그룹별로 다양한 정보를 계산한다.두 단계로 이루어짐1.먼저 그룹핑을 할 필드를 지정(하나 이상의 필드가 될 수 있음)GROUP BY로 지정(필드 이름을 사용하거나 필드 일련번호를 사용)2.다음 그룹별로 계산할 내용을 지정여기서 AGGREGA

다수의 SQL 문을 실행한다면 세미콜론으로 분리한다.ex) sql문1;sql문2SQL 주석: -- 인라인 한줄짜리 주석, /--/ 여러 줄 주석SQL 키워드는 대문자를 사용한다던지 하는 나름의 포맷팅이 필요팀프로젝트라면 팀에서 사용하는 공통 포맷이 필요테이블/필드 이름

구조화된 데이터를 저장하는 스토리지엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장한다.가장 밑단에는 테이블들이 존재테이블은 데이터베이스(or스키마)라는 폴더 밑으로 구성레코드들로 구성(행)레코드는 하나 이상의 필드(컬럼)로 구성(열)필드는 이름과 타입과 속성(

10월 한달은 본격적인 인공지능과 관련된 학습의 시작이었다.먼저 선형대수와 확률같은 인공지능에 필요한 수학을 학습하면서 기초를 다졌고, 머신러닝 선형회귀모델, 분류모델고 관련된 기본적인 머신러닝 모델에 대해 배웠다. 그 후 딥러닝에 관련된 것들을 배우기 시작했는데 다층

프로그래밍, 개발이라는 것에 관련된 것들을 공부한 지는 20년도 군대에 있을 때 시작했지만 얼마 전까지 제대로 열심히 뭔가를 해본 적이 없었던 것 같다. 그래서 이번 인공지능 데브코스를 시작하게 되면서 적어도 이 정도는 해야 공부했다고 말할 수 있을 것 같았다.처음 데

Model생성POST기능 추가배운내용링크POST기능을 추가하고 나서 update, delete하는 기능을 추가해보고 싶었지만 실패했다.sql대신 orm을 사용하여 db를 관리할 때의 장단점, 왜 orm을 사용하는지예전에 sql자격증을 취득하면서 sql문법을 공부했었는데

저번주 목요일에 노트북 고장나서 이제서야 쓰는 늦은 TIL... 😥Django 프레임워크App생성방법MVT Pattern배운내용 정리 링크Django프레임 워크를 처음 사용하면서 구조가 익숙하지 않았다.model, view, template에 해당하는 각각의 파일들을

django에서 어떤 정보의 요청에 대해 DB를 관리하는 곳이 Model이다. Template과 View에 요청된 정보를 제공한다.django는 SQL을 사용할 수 있지만 내장되어 있는ORM object을 사용해서 DB를 다룰 수 있다.models.py를 작성해서 Mo

Django는 파이썬으로 만들어진 무료 오픈소스 웹 애플리케이션 프레임워크(web application framework)이다.이번에도 CLI환경에서 만든 가상환경에 진행한다.가상환경 생성 방법은 이전 포스트를 확인하자!먼저 pip install을 통해 django를

4주차 수요일 TIL 오늘 공부한 내용✒️ EDA Process 데이터의 분석목적과 변수 확인 전체적인 데이터 파악 데이터 셋의 변수들의 특성 파악 배운내용 정리 링크 어려웠던 내용😰 시각화를 진행할 때 각 변수별로 변수들의 특성?에 따라 시각화하는 방법이 달라

EDA(탐색적 데이터분석) EDA의 Process 분석의 목적과 변수 확인 데이터 전체적으로 살펴보기 데이터의 개별 속성 파악하기 1. 분석의 목적과 변수 확인 먼저 분석할 데이터를 먼저 불러옵니다. 분석 목적 : 살아남은 사람들은 어떤 특징을 가지고 있었는가

Flask 설치 밎 사용방법Flask Rest API생성우선 웹사이트나 api에 관한 부분에 익숙하지 않았다. 오픈 api를 활용한 크롤링 같은 것은 해보았지만 직접 웹사이트를 생성하거나 rest api서버를 만드는 것은 생소해서 그 메커니즘이 조금 헷갈렸던 것 같다.

flask를 사용하기 전에 파이썬 가상환경에서 진행하기 위해 가상환경을 설정한다.CLI환경에서 가상환경을 만들고 싶은 디렉토리로 움직인다.Programmers/flask-proj 나는 이경로에 설정했다.가상환경 생성 모듈 설치pip install virtualenvve

matplotib 라이브러리 사용법seaborn 라이브러리 사용법https://velog.io/@jooniorp/Week3-day4Matplotlib\*배운내용 정리 링크오늘도 크게 어려웠던 내용은 없었다...각각의 그래프들이 구체적으로 어떤 데이터를 시각화하

matplotlib은 파이썬에서 데이터를 시각화해주는 라이브러리이다.1.라이브러리 임포트matplotlib라이브러리를 import하는데 주로 matplotlib.pyplot을 많이 사용합니다.2.자주 사용되는 Plotting의 Options크기 : figsize제목 :

3주차 수요일 TIL 오늘 공부한 내용✒️ pandas라이브러리 사용법 series, dataframe 데이터프레임 형태 데이터 불러오기, 관찰하기 데이터 추출 : loc[], iloc[] groupby() https://velog.io/@jooniorp/Week3-