# 데이터
Airflow 와 AWS S3 연결하기 + S3 DAG example
이미 초기 학습데이터를 구성했지만, 시간이 지남에 따라 추가로 활용할 수 있는 데이터가 DB에 저장되고 있어 학습 데이터를 주기적인 업데이트가 필요하다.
[Daily 탐구 과제] 코드스테이츠 PMB 17기 W6D3 #공공데이터포털 #실제데이터 #가설추측 #해당지표로 #가설검증 #데이터시각화고민
여행 및 외식업과 관련하여 공공데이터포털에서 제주도 업종타입별 외식업 이용 정보 데이터를 찾게 되었다.
데크 (Deque)
Java에서 데크(Deque)는 "Double Ended Queue"의 약자로,양 끝에서 삽입과 삭제가 모두 가능한 자료구조이다.즉, 큐(Queue)와 스택(Stack)의 기능을 모두 가지고 있다.
관계형 데이터 모델링 4.3 ~ 4.11
movie 4.3. ERD의 구성요소 4.4. 엔티티 정의 4.5. 속성 정의 4.6. 식별자 지정 4.7. 엔티티간의 연결 4.8. Cardinality 4.9. Optionality 4.10. ERD 완성 [4.
관계형 데이터 모델링 1~4
movie 관계형 데이터 모델링 - 1. 수업소개 관계형 데이터 모델링 - 2. 전체 흐름 관계형 데이터 모델링 - 3.1. 업무파악 : 인트로 관계형 데이터 모델링 - 3.2. 기획 관계형 데이터 모델링 - 4.1. 개념적 데이터 모델링 소개 [관계형 데이터 모델링 - 4.2. 관ᄀ...
파이썬 공부 4일차(데이터와 변수)
데이터란 관찰이나 측정을 총해 수집된 숫자, 문자, 이미지등의 정보를 의미하고 이를 수집 하고 가공하여 메모리에 저장한 뒤 필요에 따라 PC에 출력을 하게된다. 코드로 명령을 하게 되면 데이터가 메모리에 올라가 pc 화면에 출력된 결과를 볼 수 있다.
[Programmers-SQL] 자동차 대여 기록에서 대여중 / 대여 가능 여부 구분하기
2023-03-08 수요일 💡 자동차 대여 기록에서 대여중 / 대여 가능 여부 구분하기 1. CAR_RENTAL_COMPANY_RENTAL_HISTORY 테이블 전체 출력하기 2. CASE문 사용하여 '2022-10-16' 특정일에 대한 조건 걸기 3. 자동차ID와
데이터취업스쿨 13기 1일차
1일차 OT를 들으며, 막막하지만 차근차근 커리큘럼을 따르면 좋응 겿과가 있을 것이란 생각이 든다. 비전공자이고 취업에만 전념할 수 없는 환경이지만 주어진 시간내에서 열심히 해야겠다.
HIVE로 데이터 살펴보기
HDP 2.65를 통해 ambari에 접속 후 하이브를 사용하였다.접속하면 엄청나게 많은 hadoop ecosystem이 있다. 언제 다 사용할 수 있을지 모르겠다,,오른쪽 상단에 있는 격자무늬 아이콘을 클릭하면 세부기능이 나타나는데 HIVE VIEW를 클릭하면 된다.
무신사 데이터 크롤링하기
사용할 데이터는 데이터 공개사이트에서 다운받아 사용할 수 있지만 크롤링을 이용해 직접 데이터를 수집하였다.무신사스토어 홈페이지 실시간 랭킹 - 바지 항목에서 1위부터 900위까지 제품들의 브랜드명, 제품명, 가격을 TEXT파일에 저장하였다.1) 종종 크롤링을 하기 위해
데이터 직군이 필요 지식/기술
'실리콘밸리에서 날아온 데이터 분야 커리어 특강' 한기용님의 강의 중 중요하다고 생각하는 부분을 정리했습니다. 데이터 엔지니어가 알아야 하는 기술 SQL: 기본 SQL, Hive, Presto, SparkSQL 프로그래밍 언어: 파이썬, 스칼라, 자바 데이터 웨어하우스: Redshift, Snowflake, BigQuery ETL/ELT Framewor...
데이터 조직하는 일
'실리콘밸리에서 날아온 데이터 분야 커리어 특강' 한기용님의 강의 중 중요하다고 생각하는 부분을 정리했습니다. 데이터 조직이 하는 일 데이터 분석가 데이터 기반 지표 정의 대시보드 리포트 생성 등등 데이터 사이언티스트 머신러닝 알고리즘을 통해 사용자 서비스 경험 개
[JavaScript] 데이터 타입
JavaScript의 모든 값은 특정한 데이터 타입을 가짐크게 원시 타입(Primitive Type)과 참조 타입(Reverence Type)으로 분류정수 또는 실수형 숫자를 표현하는 자료형NaNNot-A-Number(숫자가 아님)Number.isNaN()의 경우 주어
기초수학_12일차_학습일지
군수열 여러 개의 항을 묶었을 때 규칙성을 가지는 수열 024 코드..ㅎ 숫자를 묶어서 묶은 수의 규칙성을 찾는 수열 순열 순서를 지켜 나열하는 수 n개에서 r개를 택하여 순서대로 나열하는 수 numN = int(input('numN 입력: ')) numR =
API
view를 통해 정보를 보여주는 것이 아닌, http에 직접 정보를 보여주는 방식주로 json형태로 데이터를 보여준다.@ResponseBody는 결과를 http의 body영역에 '직접' 보내겠다는 뜻이다.객체를 반환하게 되면 json형태로 데이터를 보낼 수 있다.@Re
2장 데이터 통합 - (2)
데이터 웨어하우스 : 분석 용도로 구조화된 순수한 통합 데이터 저장소데이터 웨어하우스 방법론 : 데이터베이스에서 주기적으로 덷이터를 추출하여 사람이 이해할 수 있는 형태로 변환 후 중앙 데이터 웨어하우스에 적재중앙 데이터 웨어하우스 : 모든 데이터의 순수한 사본을 취합
