Azure Databricks
- Azure Databricks 는 대규모 데이터를 정제하고 처리하기 위한 Transformation(변환) 계층으로서의 역할을 한다.
Azure Databricks의 주요 개념
1) Clusters
- Grouping of compute resources
that you are going to use to process Data Factory transformations.
2) Workspace
- The 'filing cabinet'
모든 파일을 저장하는 파일 캐비닛 역할을 한다. In that workspace, It's going to have individual folders. Folders are the notebooks.
3) Notebooks
- The 'folders'
Notebooks are going to store all of your cells.
4) Cells
- Indiviual pieces of code
5) Libraries
- Package or modules
Azure Databricks 에 추가적인 기능을 제공한다. 필요에 따라 라이브러리를 생성하고 가져올 수 있다.
6) Tables
- Storage for structured data
Azure Databricks 에서 생성된 모든 구조화된 데이터를 저장하는 곳이다.
Cell들 안에는 작성된 개별 코드 조각들이 있다. 그 Cell들은 Notebook에 저장되고, Notebook들은 파일 캐비닛 즉, Workspace에 저장된다.
또한, Libraries를 통해 Azure Databricks에 부가적인 기능을 제공하고 Azure Databricks 에서 생성된 모든 구조화된 데이터는 Tables 에 저장된다.
Azure Synapse와 Databricks
Azure Synapse는 대규모 구조화된 데이터 처리와 데이터 웨어하우스 기능을 중심으로 제공되며, Azure Databricks는 빅데이터 처리, 머신 러닝 및 고급 분석 작업에 특화되어 있습니다. 데이터의 특성과 분석 요구 사항에 따라 적합한 서비스를 선택하여 사용해야 합니다.
Azure Synapse와 Azure Databricks는 둘 다 데이터 변환 및 분석 작업을 수행할 수 있는 서비스입니다. 그러나 이 두 서비스는 목적과 사용 사례에 따라 차이가 있습니다.
Azure Synapse
Azure Synapse는 데이터 웨어하우스와 통합 분석 서비스로, 대규모 구조화된 데이터 처리와 데이터 웨어하우스 기능을 중점으로 제공합니다. Azure Synapse는 데이터 통합, 쿼리, 대화형 분석, 비즈니스 인텔리전스 등의 기능을 제공하여 기업의 데이터 분석 요구 사항을 해결합니다. Azure Synapse에서는 스파크를 사용하여 노트북을 생성하여 분석 작업을 수행할 수 있지만, 그 주요 목적은 대규모 구조화된 데이터 처리와 분석에 있습니다.
Azure Databricks
반면에 Azure Databricks는 Apache Spark 기반의 분석 플랫폼으로, 빅데이터 처리, 머신 러닝 및 고급 분석 작업을 위한 도구로 사용됩니다. 머신 러닝과 데이터 분석을 위한 환경을 제공하여 데이터 과학자, 데이터 엔지니어, 머신 러닝 엔지니어 등이 머신 러닝 모델의 개발, 훈련, 평가, 배포 등을 수행할 수 있습니다.
이 두 서비스의 주요 목적
Azure Synapse는 구조화된 데이터 처리와 데이터 저장 목적을 위해 사용되고, Azure Databricks는 머신 러닝 분석 목적을 위해 사용된다고 이해하시면 됩니다. 하지만 이는 두 서비스의 주요 목적이고, 두 서비스 모두 다양한 기능과 용도를 제공하기 때문에 사용자의 요구 사항에 따라 유연하게 활용할 수 있습니다.
