0. INTRO
왜 Databricks 관리자 역할을 이해해야 할까?
Databricks를 처음 도입하거나 운영하는 조직에서 가장 자주 마주치는 질문 중 하나는 "누가 어떤 권한을 가져야 하는가?"입니다. Databricks는 엔터프라이즈급 데이터 플랫폼으로, 다양한 관리자 역할을 제공하여 조직의 보안과 운영 효율성을 보장합니다.
각 역할의 책임 범위를 명확히 이해하지 못하면, 불필요하게 높은 권한을 부여하거나 반대로 필요한 권한이 부족하여 업무가 지연되는 문제가 발생할 수 있습니다. 이 글에서는 Databricks의 주요 관리자 역할들을 계층별로 정리하고, 각 역할이 담당하는 영역과 실무에서의 활용 방법을 설명합니다.
Databricks 관리자 역할의 계층 구조
Databricks의 관리자 역할은 크게 네 가지 계층으로 구분할 수 있습니다:
- 계정 및 인프라 관리 수준: 클라우드 자원과 계정 전체를 관리
- 워크스페이스 및 데이터 거버넌스 수준: 특정 워크스페이스와 데이터 카탈로그 관리
- 특정 기능 관리 수준: 결제, 마켓플레이스 등 특화된 기능 관리
- 소유권 개념: 개별 데이터 객체의 소유자
1. 계정 및 인프라 관리 수준
1) Cloud Administrator (클라우드 관리자)
주요 책임:
- 스토리지 계정(버킷) 및 클라우드 네이티브 자원 관리
- IAM 역할 및 서비스 주체(Service Principal) 설정
- 클라우드 서비스와 Databricks 간의 통합 구성
실무 관점:
Cloud Administrator는 Databricks가 아닌 클라우드 플랫폼(AWS, Azure, GCP) 레벨에서 작업합니다. 예를 들어, Databricks가 S3 버킷에 접근하기 위한 IAM 역할을 생성하거나, Azure Storage Account에 대한 접근 권한을 설정하는 것이 이 역할의 주요 업무입니다.
언제 필요한가?
- Databricks 워크스페이스를 처음 생성할 때
- 외부 스토리지(데이터 레이크)와 Databricks를 연결할 때
- 클라우드 네이티브 서비스(예: AWS Glue, Azure Data Factory)와 통합할 때
2) Identity Administrator (ID 관리자)
주요 책임:
- 기업의 ID 공급자(IdP)를 Databricks와 통합
- 사용자 및 그룹을 계정에 자동 프로비저닝
- SSO(Single Sign-On) 설정 및 관리
실무 관점:
대규모 조직에서는 수백 명의 사용자를 수동으로 관리하기 어렵습니다. Identity Administrator는 SAML 또는 SCIM 프로토콜을 통해 기업의 Active Directory나 Okta 같은 IdP와 Databricks를 연동하여, 사용자 추가/삭제/권한 변경을 자동화합니다.
언제 필요한가?
- 10명 이상의 사용자가 있는 조직
- 기존 기업 인증 시스템과 통합이 필요한 경우
- 사용자 생명주기 관리를 자동화하고 싶을 때
3) Account Administrator (계정 관리자)
주요 책임:
- 메타스토어(Metastore) 생성 및 관리
- 워크스페이스 생성 및 삭제
- 계정 레벨의 사용자 및 그룹 구조 관리
- 스토리지 자격 증명(Storage Credentials) 생성
- 다른 사용자에게 계정 관리자 권한 부여
실무 관점:
Account Administrator는 Databricks 계정의 최상위 관리자입니다. 이 역할은 조직 내에서 매우 제한적으로 부여되어야 하며, 보통 데이터 플랫폼 팀의 리더나 IT 관리자가 담당합니다. 모든 데이터 객체를 관리할 수 있는 권한을 가지므로, 신중하게 권한을 부여해야 합니다.
언제 필요한가?
- 새로운 워크스페이스를 생성해야 할 때
- Unity Catalog의 메타스토어를 설정할 때
- 계정 전체의 사용자 구조를 재구성할 때
2. 워크스페이스 및 데이터 거버넌스 수준
1) Workspace Administrator (워크스페이스 관리자)
주요 책임:
- 특정 워크스페이스 내의 자산 관리 (노트북, Repo, 클러스터, 작업 등)
- 워크스페이스 레벨의 사용자 추가/제거
- 클러스터 생성 정책 및 인스턴스 프로파일 설정
- 워크스페이스 설정 및 구성 관리
실무 관점:
Workspace Administrator는 특정 워크스페이스의 "관리자"입니다. 예를 들어, "개발 워크스페이스"와 "프로덕션 워크스페이스"가 있다면, 각각 별도의 Workspace Administrator를 둘 수 있습니다. 이 역할은 개발자들이 필요한 리소스를 사용할 수 있도록 환경을 구성하고, 비용 관리를 위한 클러스터 정책을 설정합니다.
언제 필요한가?
- 워크스페이스 내에서 사용자 권한을 세밀하게 관리해야 할 때
- 클러스터 자동 종료 정책이나 인스턴스 타입 제한을 설정할 때
- 워크스페이스별로 독립적인 개발 환경을 운영할 때
2) Metastore Administrator (메타스토어 관리자)
주요 책임:
- Unity Catalog의 카탈로그(Catalog) 생성 및 관리
- 외부 위치(External Locations) 생성 및 관리
- 데이터 객체(테이블, 뷰 등)에 대한 권한 부여
- 데이터 객체의 소유권 변경
- 데이터 거버넌스 정책 수립 및 관리
실무 관점:
Metastore Administrator는 데이터 거버넌스의 핵심 역할입니다. Unity Catalog를 통해 데이터 레이크의 모든 데이터에 대한 접근 제어를 관리합니다. 예를 들어, "마케팅 팀은 sales 데이터베이스의 특정 테이블만 읽을 수 있다"와 같은 정책을 설정하고 관리합니다.
언제 필요한가?
- Unity Catalog를 사용하여 데이터 거버넌스를 구현할 때
- 여러 워크스페이스에서 공유하는 데이터 카탈로그를 관리할 때
- 데이터 접근 권한을 세밀하게 제어해야 할 때
3. 특정 기능 관리 수준
1) Marketplace Administrator (마켓플레이스 관리자)
주요 책임:
- Databricks Marketplace의 공급자 프로필 생성 및 관리
- 데이터 제품 리스팅 생성 및 관리
- 데이터 공유를 위한 Share 생성 및 관리
- 공급자 콘솔(Provider Console) 접근 및 운영
실무 관점:
Marketplace Administrator는 조직이 Databricks Marketplace를 통해 데이터를 공유하거나 판매할 때 필요한 역할입니다. 데이터 제품을 마켓플레이스에 등록하고, 다른 조직과 데이터를 공유하는 비즈니스를 관리합니다.
언제 필요한가?
- 조직의 데이터를 외부에 공유하거나 판매할 때
- Databricks Marketplace를 활용한 데이터 비즈니스를 운영할 때
2) Billing Administrator (결제 관리자)
주요 책임:
- 예산 조회 및 예산 정책 관리
- 구독 및 결제 수단(신용카드 등) 관리
- 사용량 대시보드 모니터링
- 예산 알림 설정 및 비용 최적화
실무 관점:
Billing Administrator는 Databricks 사용 비용을 관리하는 역할입니다. 각 워크스페이스나 사용자 그룹별로 예산을 설정하고, 예산 초과 시 알림을 받아 비용을 제어합니다. 재무팀이나 IT 관리팀의 담당자가 주로 이 역할을 수행합니다.
언제 필요한가?
- Databricks 사용 비용을 모니터링하고 제어해야 할 때
- 팀별 또는 프로젝트별 예산을 관리할 때
- 비용 최적화를 위한 정책을 수립할 때
4. 소유권 개념: Owner (소유자)
정의:
메타스토어 내의 각 데이터 객체(테이블, 뷰, 함수 등)를 생성한 주체이거나, 소유권을 이전받은 주체입니다.
권한:
- 명시적인 권한 없이도 자신이 소유한 객체를 읽고 수정할 수 있음
- 타인에게 권한을 부여하거나 회수할 수 있음
- 하위 객체(예: 테이블의 컬럼)를 생성할 수 있음
- 객체의 소유권을 다른 사용자에게 이전할 수 있음
실무 관점:
Owner는 역할(Role)이 아니라 객체별로 부여되는 개념입니다. 예를 들어, 데이터 엔지니어가 새로운 테이블을 생성하면 자동으로 그 테이블의 Owner가 됩니다. Owner는 해당 객체에 대한 완전한 제어권을 가지므로, 퇴사자나 역할 변경 시 소유권 이전을 고려해야 합니다.
5. 역할별 관리 대상 요약
| 구분 | 역할명 | 주요 관리 대상 | 권한 범위 |
|---|---|---|---|
| 인프라 | Cloud Admin | 클라우드 자원 (S3, IAM 등) | 클라우드 플랫폼 레벨 |
| 계정 | Account Admin | 워크스페이스, 메타스토어, 계정 전체 | 계정 전체 |
| 보안 | Identity Admin | 사용자 ID 연동 및 프로비저닝 | 계정 전체 |
| 데이터 | Metastore Admin | 카탈로그, 권한 체계, 데이터 거버넌스 | 메타스토어 범위 |
| 실행 | Workspace Admin | 워크스페이스 내 자산 (클러스터, 노트북) | 워크스페이스 범위 |
| 비용 | Billing Admin | 예산, 결제, 사용량 모니터링 | 계정 전체 |
| 공유 | Marketplace Admin | 데이터 공유 및 마켓플레이스 관리 | 계정 전체 |
| 객체 | Owner | 개별 데이터 객체 (테이블, 뷰 등) | 객체별 |
6. 실무 활용 가이드
신규 프로젝트 시작 시 권한 구성 예시
시나리오: 중소규모 조직의 Databricks 도입
-
초기 설정 단계
- Cloud Administrator: 클라우드 자원 설정 (1-2명)
- Account Administrator: 계정 및 첫 워크스페이스 생성 (1명)
-
운영 단계
- Identity Administrator: 사용자 자동 프로비저닝 설정 (1명)
- Workspace Administrator: 각 워크스페이스별 관리자 (워크스페이스당 1-2명)
- Metastore Administrator: 데이터 거버넌스 담당 (1-2명)
- Billing Administrator: 비용 관리 담당 (1명)
-
일반 사용자
- 데이터 엔지니어: 테이블 생성 시 자동으로 Owner 권한 획득
- 데이터 분석가: Metastore Admin이 부여한 읽기 권한으로 데이터 접근
권한 부여 시 주의사항
- 최소 권한 원칙: 필요한 최소한의 권한만 부여
- 역할 분리: Account Admin과 Workspace Admin을 분리하여 권한 집중 방지
- 정기 검토: 분기별로 권한 목록을 검토하고 불필요한 권한 회수
- 소유권 관리: 퇴사자나 역할 변경 시 데이터 객체의 소유권 이전
7. 마무리
Databricks의 관리자 역할 체계는 조직의 규모와 요구사항에 따라 유연하게 구성할 수 있습니다. 각 역할의 책임 범위를 명확히 이해하고, 조직의 구조에 맞게 권한을 부여하는 것이 안전하고 효율적인 Databricks 운영의 핵심입니다.
특히 계정 관리자(Account Admin)와 워크스페이스 관리자(Workspace Admin)의 차이, 그리고 메타스토어 관리자(Metastore Admin)의 데이터 거버넌스 역할을 이해하는 것이 중요합니다. 이러한 역할들을 적절히 조합하면, 보안을 유지하면서도 개발자들이 필요한 리소스에 자유롭게 접근할 수 있는 환경을 구축할 수 있습니다.
참고 자료:
