# udf
[Android] UDF 적용기 (feat : redux)
https://velog.io/@evergreen_tree/Android-MVI-%ED%8C%A8%ED%84%B4이전에 MVI에 대해 작성했던 글입니다. 연관되는 내용이 많으니, 보고 오시면 이해가 더 쉽습니다.필자의 개인의 주관적인 생각이 섞여있습니다. 오타
[BigQuery] UDF
UDF란? UDF(User Define Function)이란 SQL에서 사용자가 정의한 함수를 의미한다. UDF 종류 Temp UDF : 쿼리문 위에 정의해서 사용하는 방식이다. Persistent UDF : BigQuery의 데이터셋에 저장해서 사용하는 방식으로 여
Cloud Composer - Dataflow를 사용한 ETL 파이프라인 구축
DataflowTemplateOperator를 사용하여 Cloud Composer에서 Dataflow 파이프라인을 실행해볼 것이다.Composer 환경을 생성하는데 Composer 버전이 1.9이상이어야 해서 Composer2 버전으로 만들어줬다.average_weat
[스터디] 스파크 완벽 가이드 6일차
스파크에서 데이터를 사용하기 위해 프로그래밍 언어의 고유 데이터 타입을 스파크 데이터 타입으로 변환히키기 위해서는 lit함수를 사용한다. lit함수는 다른 언어의 데이터 타입을 스파크 데이터 타입에 매핑시켜 변환한다.
DB에서 Curl 날리기
DB에서 발생한 CRUD를 통하여 외부 API를 호출하고 싶다면 어떻게 해야할까요?파일 가져오기 : https://github.com/mysqludf/lib_mysqludf_sys터미널에서 깃으로 가저온 파일 경로로 갑니다. gcc -DMYSQL_DYNAMIC
Spark Zeppelin - Task not serializable
zeppelin 으로 작업하다 만난 Task not serializable 해결 과정을 기록한다.두 gps 좌표간의 거리를 계산하는 udf를 아래와 같이 만들어 사용하려 했다.distance를 적용 후 액션LAG를 사용하는데 문제가 있나해서 검색하여 @transient