🗂️ 데이터브릭스의 DBFS란? — Databricks File System

DBFS(Databricks File System) 는 데이터브릭스 환경에서 클라우드 스토리지를 손쉽게 다루기 위한 분산 파일 시스템입니다.
이 글에서는 DBFS의 개념부터 구조, 실제 사용법, 그리고 최신 트렌드인 Unity Catalog와의 비교까지 한 번에 정리합니다.

---

📌 목차

1. DBFS란 무엇인가?
2. DBFS의 핵심 구조
3. DBFS Root 디렉토리 구조
4. 지원 파일 포맷
5. DBFS 주요 이점
6. 실전 사용법 — 파일 업로드 & 쿼리
7. DBFS vs HDFS 비교
8. DBFS vs Unity Catalog Volumes
9. 마무리 및 권장 사항

---

🔍 DBFS란 무엇인가?

DBFS(Databricks File System) 는 데이터브릭스 워크스페이스에 기본 내장된 분산 파일 시스템으로,
Apache Spark 클러스터에서 클라우드 기반 오브젝트 스토리지에 접근하기 위한 추상화 레이어(Abstraction Layer) 역할을 합니다.

쉽게 말해, DBFS는 다음과 같은 역할을 합니다:

• ☁️ AWS S3, Azure Blob Storage / ADLS Gen2, Google Cloud Storage 등 클라우드 스토리지 위에 올라가는 통합 인터페이스
• 🗂️ 복잡한 클라우드 스토리지 API 대신, 로컬 파일 시스템처럼 사용할 수 있게 해주는 레이어
• ⚡ Spark 워크로드에 최적화된 고성능 파일 I/O 제공

![Databricks 아키텍처 개요](https://sspark.genspark.ai/cfimages?u1=gsidLQ4LZwpIWjvH5zCHCelW9%2Bmp11HeHLbBfJquSDMtY7OxFe7z4obIhqCQGBsK99LU0OcvzIpW%2FIIv49XnqGwI9Xl0H4I6nBmEmSVYSoku1rRlTHco&u2=WvvWf8WJLqhdHzpm&width=2560)
*▲ Databricks 플랫폼 전체 아키텍처 — DBFS는 Data Plane의 스토리지 레이어에 위치*

---

```markdown
> 💡 **핵심 포인트**  
> DBFS는 Unix 계열 파일 시스템과 동일한 명령어(ls, cp, rm 등)로 클라우드 스토리지를 조작할 수 있게 해줍니다.  
> 내부적으로는 클라우드 스토리지 API 호출로 변환됩니다.

---

## 🏗️ DBFS의 핵심 구조

DBFS는 크게 두 가지 개념으로 나뉩니다:

### 1. DBFS Root (`dbfs:/`)
워크스페이스 생성 시 **자동으로 프로비저닝**되는 기본 스토리지 위치입니다.  
`dbfs:/` 스킴으로 접근하며, 워크스페이스의 클라우드 스토리지 계정에 위치합니다.

```python
# DBFS Root 접근 예시 (Spark API Format)
df = spark.read.csv("dbfs:/FileStore/mydata.csv", header=True)

# 또는 File API Format
import os
files = os.listdir("/dbfs/FileStore/")

2. DBFS Mounts (/mnt/)

외부 클라우드 스토리지를 DBFS에 마운트하여, 마치 로컬 디렉토리처럼 사용할 수 있게 합니다.

# S3 버킷 마운트 예시
dbutils.fs.mount(
  source = "s3a://my-s3-bucket/",
  mount_point = "/mnt/my-data",
  extra_configs = {"fs.s3a.access.key": ACCESS_KEY,
                   "fs.s3a.secret.key": SECRET_KEY}
)

# 마운트된 경로 접근
df = spark.read.parquet("/mnt/my-data/sales/2024/")

⚠️ 중요 공지 (2024~): DBFS Root 및 DBFS Mounts는 Deprecated(지원 중단 예정) 상태입니다.
신규 계정은 기본적으로 이 기능에 접근할 수 없으며, Databricks는 Unity Catalog Volumes를 사용할 것을 권장합니다.

---

📁 DBFS Root 디렉토리 구조

DBFS Root(dbfs:/)에는 다음과 같은 기본 디렉토리들이 있습니다:

디렉토리	설명
/FileStore	UI를 통해 업로드한 데이터·라이브러리·생성된 플롯 저장
/databricks-datasets	Databricks 제공 오픈소스 예제 데이터셋
/databricks-results	쿼리 결과 다운로드 파일 저장
/databricks/init	레거시 글로벌 초기화 스크립트 (현재 비권장)
/user/hive/warehouse	Hive Metastore 관리 테이블 기본 저장 위치
/mnt	외부 클라우드 스토리지 마운트 포인트

# DBFS 디렉토리 목록 조회
display(dbutils.fs.ls("dbfs:/"))

---

📦 지원 파일 포맷

DBFS는 다양한 빅데이터 포맷을 지원합니다:

![DBFS 파일 시스템 구조도](https://sspark.genspark.ai/cfimages?u1=6PKkX40DLKMwI0KUnuX86U8THI7v5%2BsXG40lzp1NhvL6zb6wMHwDznexe%2B%2FAaQzsceFsrsX9v32CrG%2FV4j8ggDQ%2FmUHZqH%2FSH13AjzRYrj%2B%2Fvqz1&u2=jv3RbziBhMlPHIvG&width=2560)
*▲ DBFS 구조 — 클라우드 오브젝트 스토리지 위의 추상화 레이어*

---

```markdown
| 포맷 | 형태 | 특징 |
|------|------|------|
| **Parquet** ⭐ | 컬럼형, 바이너리 | 최고 압축률 & 분석 쿼리 최적화 |
| **Delta Lake** ⭐ | Parquet + 트랜잭션 로그 | ACID 트랜잭션, 타임트래블 지원 |
| **Avro** | 행 기반, 바이너리 | 스키마 진화(Schema Evolution) 지원 |
| **JSON** | 텍스트, 반정형 | NoSQL 데이터 처리에 적합 |
| **ORC** | 컬럼형, 바이너리 | Hive 워크로드에 최적화 |
| **CSV** | 텍스트, 정형 | 단순하고 범용적 |
| **이미지/오디오/PDF** | 바이너리 | ML 학습 데이터 저장 |

> 📊 **성능 팁**: 분석 워크로드에는 **Parquet** 또는 **Delta Lake** 포맷 사용을 강력히 권장합니다.  
> 컬럼형 저장 방식으로 쿼리 속도와 압축률 모두 탁월합니다.

---

## ✅ DBFS 주요 이점

### ① 통합 인터페이스 (Unified Interface)
AWS S3, Azure ADLS, GCS 등 **각 클라우드별 다른 API**를 배울 필요 없이, DBFS 하나의 인터페이스로 통합 접근 가능합니다.

### ② Spark 워크로드 최적화
ETL, 머신러닝, 애드혹 분석 등 **Spark 기반 워크로드**에 최적화된 I/O 성능을 제공합니다.

### ③ 무제한 확장성
백엔드의 클라우드 오브젝트 스토리지 덕분에 **스토리지 용량 제한이 없습니다**.  
데이터 증가에 따라 자동 스케일업/다운됩니다.

### ④ 클러스터 간 데이터 공유
여러 Spark 클러스터에서 **동일한 DBFS 데이터에 동시 접근** 가능합니다.  
클러스터가 종료되어도 데이터는 보존됩니다. (컴퓨팅-스토리지 분리)

### ⑤ 다양한 API 지원
```python
# Spark DataFrame API
df = spark.read.parquet("dbfs:/data/sales/")

# Python OS API
import os
files = os.listdir("/dbfs/data/")

# dbutils API
dbutils.fs.ls("dbfs:/data/")
dbutils.fs.cp("dbfs:/source/", "dbfs:/dest/", recurse=True)

# CLI
# databricks fs ls dbfs:/

---

🛠️ 실전 사용법 — 파일 업로드 & 쿼리

Step 1: DBFS 파일 브라우저 활성화

Admin Settings → Workspace Settings → Advanced → Enable DBFS File Browser 체크 후 새로고침

Step 2: 파일 업로드

Catalog → DBFS 탭 → Upload 버튼으로 로컬 파일 업로드
기본 저장 위치: /FileStore/

Step 3: DataFrame 생성 및 분석

# CSV 파일 읽기
df = spark.read.format("csv") \
    .option("header", "true") \
    .option("inferSchema", "true") \
    .load("dbfs:/FileStore/sales_data.csv")

# 임시 뷰 생성
df.createOrReplaceTempView("sales_data")

# SQL로 분석
%sql
SELECT region, SUM(revenue) as total_revenue
FROM sales_data
GROUP BY region
ORDER BY total_revenue DESC
LIMIT 10

Step 4: DataFrame API로도 조회 가능

# 상위 10개 행 확인
display(df.limit(10))

# 특정 컬럼 필터링
df.filter(df["revenue"] > 10000).show()

파일 다운로드 (CLI 방식)

# Databricks CLI로 DBFS → 로컬 다운로드
databricks fs cp dbfs:/FileStore/result.csv ./local/result.csv

# 디렉토리 전체 다운로드
databricks fs cp -r dbfs:/FileStore/results/ ./local/results/

---

⚔️ DBFS vs HDFS 비교

항목	DBFS	HDFS
스토리지 백엔드	클라우드 오브젝트 스토리지 (S3, ADLS, GCS)	로컬 서버 블록 스토리지
아키텍처	서버리스, 컴퓨팅-스토리지 분리	NameNode-DataNode 마스터-슬레이브
확장성	✅ 무제한 (클라우드 자동 스케일)	⚠️ 제한적 (수동 노드 추가 필요)
랜덤 액세스	✅ 우수	❌ 미흡 (순차 읽기에 최적화)
클러스터 종료 시	✅ 데이터 보존	❌ 클러스터와 함께 소멸 위험
비용 모델	Pay-as-you-go (클라우드 스토리지 비용)	하드웨어 구매/유지 비용
보안	SSL, IAM, RBAC 통합	Kerberos, ACL
활용 환경	클라우드 네이티브 데이터 플랫폼	온프레미스 Hadoop 에코시스템

---

🆚 DBFS vs Unity Catalog Volumes

![Unity Catalog vs DBFS Mount 비교](https://sspark.genspark.ai/cfimages?u1=D2skshvWYtVideHCaTxxCVJUQtxXLZPfRMQpwJ7eqgYUxfaguZJeuLzjD4f9NipQ3wwhzeWnBL%2FbUFLOJS3DuQIoaKqMcQr%2BGrP1vRUp6l%2BkvRTVD2nFOfStQ%2B4lyOH8RwxJetfKb7uLkx317EqsxexiVsMPDzhoAgIo%2B49rRQA8R2M51gg3%2Bh1%2BvvA3h9pskXgNsalsH4F1QLWluybGvgrbI5CScSE%2FDqp2OJU%3D&u2=5WAu9Y5htsS3%2FZ5G&width=2560)
*▲ Unity Catalog Volumes vs DBFS Mount — 최신 Databricks 권장 아키텍처*

---

```markdown
Databricks는 2023년 이후 **Unity Catalog Volumes**를 공식 권장 스토리지로 발표했습니다.

| 항목 | DBFS | Unity Catalog Volumes |
|------|------|----------------------|
| **거버넌스** | 기본적인 접근제어 | ✅ 세밀한 RBAC, 데이터 계보 추적 |
| **멀티 워크스페이스** | 워크스페이스 단위 | ✅ 조직 전체 통합 관리 |
| **감사 로그** | 제한적 | ✅ 상세 감사 로그 |
| **데이터 계보** | ❌ 미지원 | ✅ 자동 계보 추적 |
| **권장 여부** | ⚠️ Deprecated 진행 중 | ✅ Databricks 공식 권장 |
| **접근 경로** | `dbfs:/` 또는 `/dbfs/` | `/Volumes/catalog/schema/volume/` |

```python
# Unity Catalog Volumes 접근 예시 (현재 권장)
df = spark.read.parquet(
    "/Volumes/main/sales_data/raw/2024/transactions.parquet"
)

# DBFS 접근 예시 (레거시)
df = spark.read.parquet("dbfs:/mnt/sales-data/2024/transactions.parquet")

🚀 마이그레이션 권장: 기존 DBFS 마운트를 사용 중이라면
Unity Catalog External Locations & Volumes 로의 단계적 마이그레이션을 권장합니다.

---

🎯 마무리 및 권장 사항

DBFS를 사용할 때 기억할 핵심 포인트

상황	권장 사항
신규 프로젝트 시작	Unity Catalog Volumes 사용
기존 DBFS 사용 중	점진적 Unity Catalog 마이그레이션 계획 수립
프로덕션 데이터 저장	DBFS Root 사용 지양
ML 학습 체크포인트	DBFS 또는 MLflow Artifact Store
임시 데이터/실습	DBFS FileStore 활용 가능

정리하면...

DBFS (Databricks File System)
  ├── 클라우드 스토리지 위의 통합 파일 시스템 추상화 레이어
  ├── dbfs:/ 스킴으로 접근 (Spark API)
  ├── /dbfs/ 경로로 접근 (File API)
  ├── DBFS Root → 워크스페이스 기본 스토리지
  ├── DBFS Mounts → 외부 스토리지 마운트 (Deprecated)
  └── 권장 대안 → Unity Catalog Volumes

DBFS는 Databricks 플랫폼의 핵심 스토리지 레이어로, 수년간 데이터 엔지니어와 데이터 사이언티스트들이 클라우드 스토리지를 손쉽게 다룰 수 있도록 해주었습니다. 그러나 현재는 더 강력한 거버넌스와 보안을 제공하는 Unity Catalog 체계로의 전환이 이루어지고 있습니다.

기존 DBFS 사용자라면 현재 워크플로우는 그대로 유지되지만, 새로운 프로젝트에서는 Unity Catalog Volumes를 활용하여 미래 지향적인 데이터 아키텍처를 구성해 보세요!

---

📚 참고 자료

• Databricks 공식 문서 - What is DBFS?
• Microsoft Learn - Azure Databricks DBFS
• Flexera Blog - DBFS 101 Complete Guide
• Databricks - Work with files on Databricks

---

✍️ 이 글이 도움이 되셨다면 공유 부탁드립니다! 질문이 있으시면 댓글로 남겨주세요. 🙏