본 글은 Delta Lake 2.2.0 Frequently asked questions (FAQ) 을 번역 및 정리하였습니다.

What is Delta Lake?

Delta Lake는 데이터 레이크에 안정성을 제공하는 오픈 소스 저장소 계층입니다. Delta Lake는 ACID 트랜잭션, 확장 가능한 메타데이터 처리 및 스트리밍 및 배치 데이터 처리를 통합합니다. Delta Lake는 기존 데이터 레이크 위에서 실행되며 Apache Spark API와 완전히 호환됩니다.

How is Delta Lake related to Apache Spark?

Delta Lake는 Apache Spark 위에 존재합니다. 이 형식과 계산 레이어는 대용량 데이터 파이프라인 구축을 단순화하고 전반적인 효율성을 높이는 데 도움이 됩니다.

What format does Delta Lake use to store data?

Delta Lake는 클라우드 스토리지에 데이터를 저장하기 위해 버전 관리된 Parquet 파일을 사용합니다. Delta Lake는 버전 정보 외에도, 테이블 또는 Blob 스토어 디렉토리에 대한 모든 커밋을 추적하기 위한 트랜잭션 로그를 저장하여 ACID 트랜잭션을 제공합니다.

How can I read and write data with Delta Lake?

당신은 선호하는 Apache Spark API를 사용하여 Delta Lake에서 데이터를 읽고 쓸 수 있습니다. 테이블 읽기 및 테이블 쓰기를 참조하세요

Where does Delta Lake store the data?

데이터를 쓸 때, 클라우드 스토리지에서의 위치를 지정할 수 있습니다. Delta Lake는 해당 위치에 데이터를 Parquet 형식으로 저장합니다.

Can I copy my Delta Lake table to another location?

네, Delta Lake 테이블을 다른 위치로 복사할 수 있습니다. 타임스탬프를 변경하지 않고 파일을 복사하여 타임스탬프별 타임 트래블이 일관되도록 해야합니다.

Can I stream data directly into and from Delta tables?

네, 구조적 스트리밍을 사용하여 Delta 테이블에 직접 데이터를 쓰거나 Delta 테이블에서 데이터를 읽을 수 있습니다. Stream data into Delta tables 및 Stream data from Delta tables 를 참조하십시오.

Does Delta Lake support writes or reads using the Spark Streaming DStream API?

Delta는 DStream API를 지원하지 않습니다. 테이블 스트리밍 읽기 및 쓰기를 권장합니다.

When I use Delta Lake, will I be able to port my code to other Spark platforms easily?

네. Delta Lake를 사용할 때는 오픈 소스인 Apache Spark API를 사용하기 때문에 코드를 다른 Spark 플랫폼으로 쉽게 이전할 수 있습니다. 코드를 이전하려면 delta 형식을 parquet 형식으로 바꾸면 됩니다.

Does Delta Lake support multi-table transactions?

Delta Lake는 다중 테이블 트랜잭션 및 외래 키를 지원하지 않습니다. Delta Lake는 테이블 수준에서 트랜잭션을 지원합니다.

How can I change the type of a column?

열의 유형을 변경하거나 열을 삭제하는 것은 테이블을 다시 작성해야 합니다. 예를 들어, "열 유형 변경"을 참조하십시오.