Storage Layer
| ๊ตฌ๋ถ | ํต์ฌ |
|---|
| ๋ฌผ๋ฆฌ ์ ์ฅ | AWS S3 / Azure Blob / GCS |
| ์ ์ฅ ํ์ | columnar + ์์ถ + ์ํธํ (proprietary, ์๋) |
| ์ง์ ์ ๊ทผ | โ SQL ์ฟผ๋ฆฌ๋ก๋ง |
| ๊ณผ๊ธ | ์์ถ ํ ์ฉ๋, TB๋น ์์ ์ก |
| ๋น์ฉ ๋์ | ์คํ
์ด์ง ํ์ผ ยท ํ
์ด๋ธ(Time Travel ํฌํจ) ยท Fail-safe ยท Clone |
ํ์ผ ํ์ (Load / Unload)
| ํ์ | Load | Unload |
|---|
| CSV (์ ํ) | โ
| โ
|
| JSON | โ
| โ
|
| Parquet | โ
| โ
|
| Avro | โ
| โ |
| ORC | โ
| โ |
| XML | โ
| โ |
๐ "CยทJยทP ์๋ฐฉํฅ / AยทOยทX ๋ค์ด์ค๊ธฐ๋ง"
- ์ ๋ถ Load ๊ฐ๋ฅ
- Unload ๋ถ๊ฐ = Avro ยท ORC ยท XML
- CSV๋ง ์ ํ, ๋๋จธ์ง 5๊ฐ ๋ฐ์ ํ(โ VARIANT)
Micro-partitions
| ์์ฑ | ๊ฐ |
|---|
| ํฌ๊ธฐ | 50~500MB (์์ถ ์ ) |
| ์์ฑ | ๋ก๋ ์์๋๋ก ์๋ (์ฌ์ ์ ์ X) |
| ๊ตฌ์กฐ | columnar (์ฐธ์กฐ ์ปฌ๋ผ๋ง ์ค์บ) |
| ๋ฉํ๋ฐ์ดํฐ | min/max, distinct count โ Pruning |
| ํน์ฑ | ๊ฐ ๋ฒ์ overlap ๊ฐ๋ฅ โ skew ๋ฐฉ์ง |
๐ฏ ํจ์ : 50~500MB / uncompressed
Zero-Copy Clone
| ํญ๋ชฉ | ๋ด์ฉ |
|---|
| ์๋ฆฌ | ๋ฉํ๋ฐ์ดํฐ๋ง ๋ณต์ (๋ฐ์ดํฐ X) |
| ๋น์ฉ | ์์ฑ ์ ๋ฌด๋ฃ |
| ๋
๋ฆฝ์ฑ | ์๋ณธ โ ํด๋ก ๋
๋ฆฝ |
| ์ถ๊ฐ ๊ณผ๊ธ | ํด๋ก ์์ ์ ์ ๋ง์ดํฌ๋ก ํํฐ์
๋งํผ |
๐ ํด๋ก ํจ์
| ๋์ | ํด๋ก |
|---|
| Internal named stage | โ |
| External stage | โ
|
| Privileges(๊ถํ) | โ |
| Automatic Clustering | ๊ธฐ๋ณธ OFF โ ์๋ ์ฌ์์ |
๐ฏ ํต์ฌ ์์ฝ
"Snowflake๊ฐ ์ปฌ๋ผํ์ผ๋ก ์์ถยท์ํธํํด ํด๋ผ์ฐ๋์ ์ ์ฅ(์ง์ ์ ๊ทผ X) โ
50~500MB๋ก ์ชผ๊ฐ๊ณ โ ํด๋ก ์ ๋ฉํ๋ฐ์ดํฐ๋ง ๋ณต์ฌํด ๊ณต์ง"
| ํค์๋ | ์๊ธฐ |
|---|
| ์ ์ฅํ์ | columnar+์์ถ+์ํธํ |
| Unload ๋ถ๊ฐ | AยทOยทX |
| ํํฐ์
| 50~500MB(์์ถ์ ) |
| Clone | ๋ฉํ๋ฐ์ดํฐ๋ง โ ๋ฌด๋ฃ |