databricks

compute에 기본 라이브러리를 주입해주기.

데이터 브릭스랑 싸우기 시작한지 어언 2개월차이다. 처음에는 권한 부여를 받는데 까지 시간이 걸렸고, 이제는 대략적인 아웃라인?을 알게된 상태랄까? 해봤자 mount 되어있는 blob storage에서 뷰테이블을 만들고, 해당 view table과 새로 추가한 데이터

Date 관련 정보를 timestamp 형식으로 입력해주었을때 UTC로 입력이 된다거나 문제점이 있었다.

끝이 없는 기술. master 하고 싶다..

spark.read.format("com.crealytics.spark.excel") / relativedelta 등 이용하기

데이터브릭스의 핵심 중 하나인 deltatable을 불러오는 방법 및 메타스토어 관련으로 포스팅을 하고자한다.기존 마운트 된 블롭스토리지에서 델타테이블을 만들었던 것과 동일한 방법으로 진행한다고 생각하면 수월하다.만약 메타스토어에 델타테이블이 등록되어있지 않지만, db