MS data school

서버를 다시 켤 때 Gradio 주소는 매번 바뀝니다: --share 옵션을 쓰면 실행할 때마다 https://xxxx.gradio.live 주소가 새로 생성됨. 이전에 썼던 주소로 접속하면 안열림. Storage 만들기 Azure에서 '리소스 만들기' > '스토리

파이썬은 동적 타이핑 언어라 자료형이 자유롭다는 장점이 있지만, 데이터가 복잡해지면 사고가 나기 쉽습니다. 기존 방식: 데이터가 들어올 때마다 if isinstance(age, int)나 try-except를 수십 개씩 써서 검증해야 했습니다.Pydantic 방식: "

SQL을 배울 때 우리는 분명 실행 순서를 다음과 같이 배웁니다.1\. FROM / JOIN2\. WHERE3\. GROUP BY4\. HAVING5\. SELECT (이때 별칭 AS가 생성됨)6\. ORDER BY그런데 아래 쿼리는 에러 없이 아주 잘 작동합니다.논리

데이터를 분석하다 보면, 아래로 길게 나열된 행(Row) 데이터를 엑셀 피벗 테이블처럼 옆으로(Column) 펼쳐야 할 때가 많습니다. SQL에서 이를 구현하는 두 가지 정석 방법을 정리합니다.별도의 설치 없이 모든 SQL 엔진에서 사용할 수 있는 가장 범용적인 방식입

대상 독자: Azure ML을 처음 접하는 분, 머신러닝 실습 환경 구축이 처음인 분사전 조건: Azure 계정 또는 실습용 계정 보유Azure Portal 접속 및 로그인(2. 리소스 그룹 선택(3. Azure Machine Learning 리소스 생성(4. ML 스

얼리버드로 신청했는데 덕분에 서류는 면제되었고 구글폼으로 이 두 가지만 제출하면 됐다.근무지/재직기간/업무내용 등 자유롭게 작성하여 주시기 바랍니다. 자기소개 및 지원동기를 자유롭게 작성하여 주시기 바랍니다.이 내용을 바탕으로 질문 안함. 그냥 참고만 하시는 듯.면접

5.3

Azure 콘솔에서 리소스를 하나씩 클릭해서 만들어본 적 있으신가요?개발 환경 하나 세팅하는 데 30분씩 클릭하고,팀원한테 "나랑 똑같이 만들어줘" 하면 어딘가 하나씩 빠져있고,운영 환경에 같은 구성을 다시 만들려니 뭘 먼저 만들었는지도 기억이 안 납니다.ARM 템플릿

Stream Analytics에 연결하는 법PowerBI 웹사이트에서 '작업 영역' > '+새 작업 영역'작업 영역 생성URL 중 박스 쳐진 부분(작업 영역 ID) 저장해두기Stream Analytics에서 Power BI를 출력으로 추가할 때, '그룹 작업 영역'에

단일 서비스 리소스로 독립 생성이 가능.최근에는 Azure AI Foundry (Foundry Tools) 산하로 편입되는 방향으로 가고 있음.OCR/Read손글씨도 인식하는데 단어 순서를 반대로 추출하기로 함... 가장 기본적인 text 추출Layout테이블, fig

Notebook: 주피터 노트북 상위호환. 동시 수정과 sql, python, md 언어 동시에 한 문서에서 사용가능 (ex. %sql)카탈로그: 프로젝트(카탈로그)마다 스키마와 테이블을 생성하는 곳.

<6월 15일 9-11시 학습한거 다시 보기>카탈로그 > 스키마 > 테이블에서 '계보(Lineage)' 탭에서 업스트림(원본), 다운스트림(활용처)Data lake: 온갖 다양한 원시 데이터를 저장하는 호수와 같은 공간<-> Data warehouse: 정형

핵심 차이는 "개별 객체를 구분하느냐" Semantic Segmentation은 픽셀마다 "클래스"를 붙이는 것. 사람이 두 명 있어도 둘 다 person 레이블이 붙기 때문에 "어디에 사람이 있나"는 알지만 "몇 명인지, 어디서 어디까지가 한 명인지"는 모름.Inst

11-12시 영상 보고 다시 정리DE에게 요구되는 능력치의외로 RAG를 할 줄 알면 플러스자격증 나열보다 '증거'를 만들어라수치가 들어간 엔드투엔드 프로젝트 1-2개 > 자격증10개자격증 공부할때 외우는건 맞지만 시간이 된다면 기초를 이해하고 가져가는게 자격증이 더 의

협업 필터링 VS 콘텐츠 기반 필터링비슷한 취향을 가진 사용자 집단 행동 패턴을 분석아이템 자체의 특성과 메타데이터 분석01 유사 사용자 탐색코사인 유사도, 피어슨 상관계수 등으로 비슷한 평점 패턴을 가진 유저 그룹 발견02 이웃 선정유사도 상위 K명의 이웃 사용자를

오픈소스!🌟시간 여행스키마 진화데이터 변경에 따라 테이블 스키마가 자동으로 조정!스키마 강제입력되는 데이터가 정의된 스키마와 일치하는지 확인vacuum -> 7일 미만 데이터는 안지워줌

Spark SQL로 파일 직접 쿼리하는 것부터 Delta 테이블 생성, 외부 소스 연결, 테이블에 쓰기 방법까지 한 번에 정리Databricks에서는 테이블을 만들지 않아도 파일을 바로 쿼리할 수 있다.경로는 반드시 백틱(\`) 으로 감싸야 한다. 작은따옴표가 아님에

지저분한 데이터를 정리하고, 복잡한 구조를 다루고, 재사용 가능한 함수를 만드는 방법 정리count(컬럼)은 NULL을 건너뜀. count(\*)은 NULL이 있는 행도 포함.주의: DISTINCT는 NULL이 있는 행을 제외하지 않는다. 모든 값이 NULL인 행도 "

SQL과 Python DataFrame API, 두 가지 방법으로 같은 쿼리를 표현하는 방법 정리Q. 내용은 PySpark인데 왜 제목이 Spark SQL이야?Spark SQL은 "SQL만 쓰는 것"이 아니라 구조화된 데이터를 처리하는 Spark 모듈 전체의 이름이다.

컬럼 선택, 추가, 수정, 행 필터링, 정렬까지 DataFrame을 다루는 핵심 문법 정리DataFrame에서 컬럼을 가리킬 때 세 가지 방법이 있다. 결과는 모두 동일하다.select()와 차이:withColumn 규칙:filter()와 where()는 완전히 동일하

비유: Reader는 "데이터를 가져오는 택배 수령", Writer는 "데이터를 보내는 택배 발송"두 방법은 동일한 결과. 취향에 따라 선택⚠️ inferSchema=True는 전체 데이터를 한 번 스캔하므로 느림. 대용량이면 스키마 직접 지정 권장비유: 테이블의 설계

9 Datetimes / 10 Complex Types / 11 Additional Functions비유: cast는 "형변환 캐스팅" — 배우(데이터)를 다른 역할(타입)로 바꾸는 것원시 데이터의 타임스탬프는 보통 마이크로초(μs) 단위 Long 숫자로 저장됨.초 단

🗓️ 학습일: 2026.06📚 출처: Databricks 수업 자료 (5_Aggregation.ipynb)"데이터를 그룹으로 묶고(groupBy), 그 그룹에 집계를 적용한다(agg / count / sum / avg …)"집계는 여러 행(row)을 하나의 요약 값

13 Query OptimizationSpark는 코드를 실행하기 전에 Catalyst라는 최적화 엔진이 쿼리 계획을 자동으로 다듬어줌.비유: 내가 요리 순서를 비효율적으로 짜도, 주방장(Catalyst)이 알아서 더 효율적인 순서로 바꿔서 실행하는 것출력 순서:실무에