1.MS Fabric을 사용

MS에서 데이터 관련하여 통합된 플랫폼을 내었다고 해서 직접 기업 데이터 일부를 마이그레이션 해보는 등의 작업을 진행해보았다.
현시점에서 해당 서비스는 아직 보완해야할 점도 많다고 생각되지만 나름의 편리한 기능도 분명 있다고 생각들었다.

2.MS Fabric

Microsoft fabric은 AZURE 서비스에서 데이터 관련 특정 기능들만 가져온 하나의 서비스라고 생각하면 된다. 패브릭 기능에는 데이터팩토리, 시냅스 데이터엔지니어링, 시냅스 데이터 웨어하우스, 시냅스 데이터 사이언스, 시냅스 리얼타임 애널리틱스, 파워BI이 있으며 이 모든게 OneLake라는 레이크 하우스에서 돌아간다.
즉, 올인원 분석 솔루션이다.

MS fabric 의 장점.

• 패브릭의 장점은 아무래도 한 곳에서 다 된다!이다.
  오픈소스를 사용하고, VM을 사용하면 모든 설정을 다 해줘야하지만, Azure 서비스 기반이다 보니 설정 측면에서 많이 쉽다고 느낄 수 있었다.
• 통합된 원레이크 기반의 장점으로 기술해놓은 걸 본다면 다음과 같다. (직역이 된 부분이라 어색하다)
  - 업계에서 광범위한 심층 통합 분석에 액세스합니다.
  - 친숙하고 배우기 쉬운 환경에서 공유된 환경.
  - 개발자는 모든 자산에 쉽게 액세스하고 다시 사용할 수 있습니다.
  - 선호하는 분석 도구를 사용하는 동안 데이터를 보존할 수 있는 통합 데이터 레이크입니다.
  - 모든 환경에서 중앙 집중식 관리 및 거버넌스
  내가 느낀 장점에 어느정도 부합하다고 생각이 들었다.

MS Fabric 구성요소

위에서도 언급해놓았지만 패브릭은 데이터 관련 기능들 몇가지를 제공한다.

데이터 엔지니어링 / 데이터 사이언스

spark 플랫폼으로 제공하는 notebook 환경이 있다. 여기서 데이터 엔지니어링과 사이언스 둘다 가능하다.

데이터 엔지니어링

데이터사이언스

두 가지 의 차이는 이런 UI차이? 밖에 없다.
ml을 실행해보면 다음과 같은 화면이 뜨고, 템플릿으로 시작을 눌러보면 사이킷런 로지스틱모듈을 불러온 예시정도가 추가되어있다.
하지만 하고자하는 일은 이게 아닐테니 이걸로 시작할 필요는 없지 않을까?

필요한 테이블은 레이크하우스에서 긁어오는 형태로 조회가 가능하다.
드래그 앤 드롭을 하면 파이스파크 쿼리가 바로 적히고 조회하면 끝!
스파크세션이라 업되는데 시간이 조금 걸린다.

웨어하우스

레이크하우스에 적재된 반정형 비정형 데이터 들을 노트북환경에서 스파크로 처리한 후 데이터를 적재하는 곳.

의미체계모델

테이블간의 관계 설정을 할 수 있고, powerbi에서 onelake로 관계설정한 데이터를 가져올 수 있다.

3. 패브릭이라...

분명 좋은 기능들이 많이 모여있고, DB 연결도 ODBC를 설치하였을때 dataflow gen2로 손쉽게 가져올 수 있다는 장점이 있다.
하지만 아직은 유저들이 사용해보면서 개선해 가야할 부분도 분명 있는 것 같다.