데브코스_데이터분석-데이터 분석 소개[1주차]

데이터란?정보를 도출해 내기 위해 필요한 것으로 현대 사회에서 데이터는 자산이자 힘의 척도이다. 예시)사이렌 소리(데이터)+응급차(데이터) = 위험한 상황(정보)​데이터의 활용의 시작은 데이터를 기록하고 수집하는 것(Digitization) 으로 의료업계의 혁신은 병원

데이터 팀이 하는 일신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성신뢰하지 못할 데이터는 쓰레기일 뿐이다.데이터의 잘못된 노출과 사용으로 인한 위험을 줄여야 됨.데이터를 고려한 결정 vs 데이터 기반 결정데이터를 고려한 결정 : 내 의견이 있고 데이터를 부가적으로 사

컴퓨팅 자원(하드웨어, 소프트웨어)을 네트웍을 통해 서비스 형태로 사용하는 것키워드 :No Provisioning : 클라우드 업체가 미리 컴퓨팅 자원을 지원하기 때문에 준비할 필요가 없다.Pay As You Go : 쓴 만큼 돈을 내면 된다.자원(서버)을 필요한 만큼

Amazon Web Services블랙프라이데이 같이 트래픽이 튀는 날 제외하면 노는 서버들이 많아서 하드웨어 및 서버를 빌려주는 형태로 사업을 시작.대용량 클라우드 스토리지 서비스데이터 저장관리를 위해 계층적 구조를 제공(파일 구조 가능)버킷이나 파일별로 액세스 컨트

조직에 따라 한 사람이 몇 개의 역할을 동시 수행하는 것이 일반적종류데이터 엔지니어데이터 분석가데이터 과학자ML 엔지니어머신러닝 모델을 만듦MLOps 엔지니어프라이버시 엔지니어구글이 처음 만듦데이터 문해력(스킬)문제와 데이터를 연결해서 가치 있는 결론을 내는 사고방식일

데이터 문해력의 정의데이터 문해력이란?데이터를 이해하고 활용할 수 있는 능력레벨에 따라 요구 조건은 달라짐기업 도메인과 성숙도에 따라 굉장히 다양한 수준이 존재데이터를 다음과 같이 활용하는 능력데이터 기반 의사 결정데이터 기반 제품 개선데이터 (GenAI) 기반 생산성

간략하게 설명하자면 하기와 같다.폭포수(Waterfall) 개발 방식개발 사이클이 한번만 도는 구시대 형태요구→디자인→구현→테스트→소프트웨어 릴리스→유지보수 끝!세상이 빠르게 변화하지 않던 때에 사용됨애자일 개발 방식개발 사이클을 계속해서 돌며 업그레이드를 진행하는 형

데이터란 기본적으로 과거의 기록이를 바탕으로한 결정은 지금 하는 일의 최적화에 가까움 vs 혁신Data Driven Decision - 데이터 기반 의사결정Data Informed Decision - 데이터 참고 의사결정중요 지표를 데이터를 기반으로 정의하고 시각화하기

중앙 집중 구조데이터 엔지니어, 데이터 분석가, 데이터 엔지니어가 한 조직에 속해 같이 일을 하는 모습분산 구조현업 조직 밑에 소속됨. 인프라를 구축하는 엔지니어들은 보통 중앙 집중 구조에 속함하이브리드 구조중앙 집중+분산 구조의 형태. 평소에는 중앙 집중 구조를 진행

데이터 조직은 보통 주간 업무를 어떻게 진행할까?세상이 빠르게 변화하면서 미리 소프트웨어의 요구 사항을 알 수 없음알아도 시간이 지나면서 변하게 됨(불가항력)소프트웨어 개발은 폭포수 모델이 아닌 애자일 방법론이 대세 됨.애자일 개발 방법론의 특징아는 만큼 보이는 만큼

데이터팀이 하는 일데이터 조직의 미션은? 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성 신뢰하지 못할 데이터는 쓰레기...blog.naver.comhttps://dthumb-phinf.pstatic.net/?src=%22https%3A%2F%2Fblogim

이번 글에서는 대시보드의 종류에 대해 알아보자대시보드 혹은 BI(Business Intelligence)툴이라고 부르기도 함KPI, 지표, 중요한 데이터 포인트들을 데이터를 기반으로 계산/분석/표시해주는 툴결국은 결정권자들로 하여금 흔히 이야기하는 데이터 기반 의사결정

Tableau Desktop코어 제품으로 대시보드를 만들 수 있는 저작환경으로 맥용과 윈도우용 제공Tableau Server엔터프라이즈 레벨 플랫폼으로 사용자들간에 대시보드, 웍북, 데이터 소스등의 공유와 웹/앱으로 접근 가능중앙 플랫폼이기에 데이터 거버넌스, 보안 등

머신 러닝을 통해서 패턴을 찾아 미래를 예측해 제품을 개선하는 기법.머신러닝은 블랙박스 형태로 데이터를 누적함.머신러닝의 형태로 사용자들의 경험을 개선문제에 맞춰 가설을 세우고 데이터를 수집한 후에 예측 모델을 만들고 이를 테스트장시간이 필요하지만 이를 짧은 사이클로

유데미는 강의 추천을 규칙 기반에서 머신 러닝 기반으로 전환강의 추천을 규칙에 의거하여 했지만. 머신러닝을 기반으로 전환 ( 이때 AB 테스트를 진행한 뒤 수익성이 10% 이상 늘어난 것을 파악. (신뢰성을 더함))훈련 데이터를 수집하는 두 가지 방법실제 사례 수집(신

이전 글에서 데이터 기반으로 다양한 분야를 개선할 수 있다는 것을 알아 봤다.그렇다면 데이터를 효율적으로 사용할 수 있게 도와주는 머신 러닝이란 무엇일까?구체적인 프로그래밍 없이 배울 수 있는 능력을 컴퓨터에게 부여.배움이 가능한 기계의 개발결국 데이터의 패턴을 보고

데이터 과학자들은 최근까지만 해도 머신러닝모델을 만든 뒤의 배포과정은 생각하지 않음. 데이터 과학자들은 R언어로 머신러닝모델을 만들었는데 엔지니어들의 사용 툴에서 R언어 사용 불가데이터 과학자 : "아주 좋은 머신러닝 모델을 만들자"엔지니어 : "모델을 만든 뒤 의 스

지난 글에서 머신러닝 애자일 과정에서 MLOps라는 직군이 생겼다는 것을 말했었다.이번 글에서는 MLOps 직군이 무엇인지 알아보자.MLOps란?ML모델 빌드, 배포, 모니터링 등 전체 프로세스를 자동화하는 직군DATA Drift(시간이 지남에 따라 데이터가 썩음)로

데이터로부터 패턴을 찾아 학습데이터의 품질과 크기가 중요데이터로 인한 왜곡(bias) 발생 가능AI 윤리 - 산타크루즈 마을 예시(범죄자를 특정짓는 머신러닝을 만들었는데 흑인을 범죄자로 봐버림)내부동작 설명 가능 여부도 중요이러한 요구 조건을 ML Explainabil

Simple ML for Sheets을 사용함.https://workspace.google.com/marketplace/app/simple_ml_for_sheets/685936641092예제 시트 : 비공개시트에 있는 H열에 빈공간을 ML을 통해 채워 볼 것이

학습된 컨텐츠 바탕으로 새로운 컨텐츠를 만드는 딥러닝 기술입력값을 기반으로 학습 후 새로운 모델이 만들어짐(예 : GPT)프롬프트를 바탕으로 대답을 예측하던지 새로운 컨텐츠를 생성인공지능 : 인간이 하는 일을 대신 해주는 시스템을 만드는 컴퓨터 과학머신러닝 : 인공지능

Gen Ai 모델 예시와 그로 인하여 발생되는 문제점을 알아보자.입력값 : 이미지출력값 :이미지 -합성등의 새로운 이미지를 생성해줄 수 있음.텍스트 - 이미지에 대해서 설명을 해줄 수 있음비디오 - 이미지를 바탕으로 애니메이션을 만들어 줄 수 있음입력값 : 텍스트출력값

Generative Pre-trained TransformerOpenAI에서 만든 초거대 언어 모델훈련과 예측에 전용 하드웨어를 사용LLM : Large Language Model처음에는 두 가지 모델을 제공Word Completion다음 언어를 예측하는데 이를 자연어

open ai의 chat gpt로 구축된 Q-Chat이라는 ai 개인 튜터다양한 토픽에 대해 일대일 채팅을 통한 학습 가능듀오링고는 GPT - 4로 두 가지 새 기능을 구현 (프리미엄 기능)Roleplay : ai 대화 파트너특정 상황을 토대로 대화하기도 가능.상황극

Gen Ai를 활용하여 업무를 자동화 해보자.예시 : 마케팅 문구 생성, 데이터 분석, 코드 작성ChatGPT를 사용한 데이터 분석임의의 데이터셋을 하나 골라 데이터 분석을 해보자고 그 화면 스크린 샷을 보내기.ChatGPT4의 경우 파일을 업로드 하면 데이터를 자동으

데이터의 중요성이 대두되는 가운데 변화내용과 주의해야 될 점을 알아보자.데이터 관련한 최근 변화데이터 소스와 양의 폭발적인 증가Data Warehouse < Data Lake데이터 레이크(호수)라는 개념이 새로 생김과거 데이터 웨어하우스만 사용하던 시절에서 데이터

개인정보 보호법의 중심에 있는 GDPR을 기준으로 알아보자.GDPR이란?유럽연합의 개인정보보호 법령유럽연합내 모든 회원국에 일괄 적용더 이상 권고가 아님적용 대상 기업유럽연합 내의 회사가 아니어도 EU사용자가 있는 서비스의 경우 모두 적용대상많은 글로벌 회사들이 GDP

개인정보란? 개인을 식별할 수 있는 정보PII개인식별 정보의 예성명, 이메일 주소, 전화번호, 주소 등개인식별 정보의 다른 예몇가지 조합으로 개인을 식별할 수 있는 경우 (준 식별자)나이, 사는 도시, 직장개인식별 정보의 정의 - 대한민국개인정보보호법 제2조 1항"개인

한 주간 블로그 정리한 내용을 간략하게 보면 아래와 같이 나눌 수 있다.데이터 문해력이란?데이터를 기반한 의사 결정데이터를 기반한 제품 개선Gen AI를 이용한 생산성 증대데이터 활용시 고려할 점해당 내용은 데이터 분석 및 모델링을 할때에 기본이 되는 지식이다.실무 스