Java 에서 Process exec 실행시, stream 처리 미흡시 hang이 발생할 수 있다.
타 시트의 값은 '시트명'! 시트명을 특정 값을 참조하도록 =IFERROR(COUNTIF(INDIRECT("'"&C21&"'"&"!H$5:H$1048576"),"O"),"-")
https://stackoverflow.com/questions/57509625/how-to-create-table-in-mysql-database-using-apache-spark 검증 필요.
이벤트 시간 (event time)메시지가 생성된 시간프로세스 시간 (process time)서버가 처리하는 시간분산 스토리지에 데이터를 넣을 때엔, 프로세스 시간(=서버 처리 시간)을 사용하는 것이 일반적풀 스캔 (full scan) : 다수의 파일을 모두 검색하는
※ Mysql Connector License 주의 https://stackoverflow.com/q/41518078https://mariadb.com/kb/en/sql-mode/
spark-shell 을 통해 간단한 테스트 진행시, external jar 파일들을 의존성에 추가한다.
레코드 단위로 읽고 쓰기에 최적화레코드 단위로 저장되어, 필요없는 열까지 Disk에서 로드\-> 컬럼이 늘어날 수록 성능 저하가 발생열 지향 스토리지는 컬럼 단위로 데이터 저장\-> 컬럼 수가 아무리 늘어도 성능에 영향이 없음\-> 테이블을 비정규화하여 쿼리시 테이블
초 단위 데이터를 집계하려면, 이를 예상한 시스템 필요대용량의 원본 데이터에 집계 요청을 보내면, 수분~수시간이 소요되는 문제가 발생\-> 데이터레이크에서 원하는 데이터를 미리 추출하여 데이터 마트를 구축,데이터 마트에서는 초 단위의 응답을 얻을 수 있도록 함데이터 집
configParser 예제\*\* 아래와 같이 test.config 파일이 있을 때, 해당 config를 읽는 예제