Microsoft Fabric
: 데이터 전문가와 고객이 협업할 수 있도록 단일 통합 환경을 제공하는 End-to-end analytics 플랫폼.데이터를 수집, 저장, 처리 및 분석 가능.
Microsoft Fabric이 제공하는 서비스
- Data engineering
- Data integration
- Data warehousing
- Real-time intelligence
- Data science
- Business intelligence
Microsoft Fabric을 사용한 End-to-end analytics
* End-to-end analytics : 데이터 수집에서부터 분석 결과 도출까지의 모든 단계를 하나의 통합된 프로세스로 관리하는 것을 의미
- 모든 데이터가 OneLake의 단일 오픈 포맷으로 저장되는 SaaS(서비스형 소프트웨어)
- OneLake는 플랫폼의 모든 분석 엔진에서 액세스할 수 있음
- Microsoft에서 제공하는 지속적인 업데이트 및 유지 관리를 제공
OneLake
- 특징
- Fabric의 레이크 중심 아키텍처
- OneCopy는 OneLake의 핵심 구성 요소로, 데이터를 이동하거나 복제하지 않고도 단일 사본에서 데이터를 읽을 수 있음
- Fabric의 데이터 웨어하우징, 데이터 엔지니어링(레이크하우스 및 노트북), 데이터 통합(파이프라인 및 데이터 흐름), 실시간 인텔리전스 및 Power BI는 모두 추가 구성 없이 OneLake를 기본 저장소로 사용
- Azure Data Lake Storage (ADLS)를 기반
- Delta, Parquet, CSV, JSON 등 모든 형식으로 데이터 저장 가능
- OneLake에 저장된 데이터는 이동하거나 복사할 필요 없이 직접 엑세스 가능
- shortcuts(바로가기)
- Fabric의 주요 기능
- OneLake 내에 내장된 참조로 다른 파일이나 저장 위치를 가리킴.
- 기존 클라우드 데이터를 복사하지 않고도 빠르게 소싱이 가능.
- Fabric 환경에서 동일한 소스에서 데이터를 파생하여 항상 동기화 상태를 유지 가능
Fabric Experiences
Fabric은 아래의 모든 Experience들을 통합하여 포괄적인 데이터 분석 솔루션을 제공한다.
- Synapse Data Engineering : 대규모 데이터 변환을 위한 Spark 플랫폼을 활용한 데이터 엔지니어링.
- Synapse Data Warehouse : 업계를 선도하는 SQL 성능과 확장성을 갖춘 데이터 웨어하우징으로 데이터 사용을 지원.
- Synapse Data Science : 확장 가능한 환경에서 모델 학습과 실행 추적을 위한 Azure Machine Learning 및 Spark를 활용한 데이터 과학.
- Synapse 실시간 인텔리전스 : 대량의 데이터를 실시간으로 쿼리하고 분석할 수 있는 실시간 인텔리전스입니다.
- 데이터 팩토리 : Power Query와 Azure Data Factory의 규모를 결합하여 데이터를 이동하고 변환하는 데이터 통합.
- Power BI : 데이터를 의사 결정으로 전환하기 위한 비즈니스 인텔리전스.
Fabric 보안
- 데이터는 한곳(OneLake) 에서 보안되고 관리되는 반면, 조직 전체에서 액세스 권한이 있어야 하는 사용자는 검색 및 액세스가 가능Data teams and Microsoft Fabric
-
기존에는 데이터 전문가를 엔지니어와 분석가로 역할분리 필요. 이에 따른 서로간의 별도 커뮤니케이션 또한 필요 했음.
-
Fabric을 사용하면 동일한 SaaS 제품에서 작업하며 비즈니스 요구사항을 더 잘 이해하고 식별할 수 있음
-
데이터 분석가는 데이터 팩토리를 통해 상류에서 데이터를 변환할 수 있는 능력을 갖추게됨.
데이터 엔지니어는 *모델 큐레이션을 간소화 할 수 있음.
* 모델 큐레이션 : 데이터 모델을 관리하고 조정하는 과정. 여기서는 데이터 엔지니어가 데이터의 구조와 의미를 정의하여 데이터 분석가가 쉽게 사용할 수 있도록 하는 것을 의미.
- Power BI 보고서를 만들기 전에 광범위한 다운스트림 데이터 변환을 수행해야 했을 수 있는 데이터 분석가의 경우, 이제 DirectLake 모드를 사용하여 계보를 확인하고 데이터에 보다 직접적으로 연결할 수 있음.
- 필요에 따라 리소스를 확장하거나 축소할 수 있어서 변화하는 비즈니스 요구에 더 민첩하고 대응력이 뛰어남
- Power Platform에서 많은 사용자에게 성공적으로 권한을 부여한 low-to-no-code 개념, 기능 및 접근 방식을 자체 SaaS 오퍼링에 적용
Microsoft Fabric 활성화
- Fabric을 활성화하는 데 필요한 권한
- 패브릭 관리자
- Power Platform 관리자
- Microsoft 365 관리자
- 평가판을 이용한 Fabric 활성화 방법
60일 무료이용이 가능하지만 현재 회사계정으로 학습중이라 혹시라도 발생할 자동결제가 무서워서 이용 안함 , , ,
예제 오답노트
하나 맞았네 ㅠㅠ
정답해석 : Fabric의 OneLake는 데이터 전문가들과 비즈니스가 데이터 프로젝트에서 협업할 수 있는 단일 통합 환경을 제공합니다.
정답해석 : Correct. OneLake의 기본 저장 형식은 Delta Parquet으로, 데이터 레이크에 신뢰성을 제공하는 오픈 소스 저장 레이어입니다.
오답해석 : Incorrect. CSV는 OneLake의 기본 저장 형식이 아닙니다.
오답해석 : Incorrect. 데이터 웨어하우징 워크로드는 데이터 전문가들이 데이터 웨어하우스를 구축할 수 있도록 합니다.
정답해석 : Correct. Data Factory 워크로드는 Power Query와 Azure Data Factory의 확장성을 결합해 데이터를 이동하고 변환할 수 있게 합니다.
