오늘의 회고

Firebase Studio

Firebase Studio를 오늘 처음 써봤는데 자연어 검색만으로 프론트를 그럴듯하게 만들어줘서 정말 놀랐다. 개인 프로젝트 진행할 때 프론트가 필요하더라도 Firebase Studio를 활용한다면 혼자서도 그럴듯한 프로젝트를 만들 수 있을 것 같다.

프로젝트

오늘 MinIO라는 스토리지를 Kafka, Spark와 연결하여 csv -> 전처리 -> parquet로 저장하는 테스트를 로컬에서 진행했다. MinIO가 S3와 API를 공유하기 때문에 AWS S3와 같은 환경으로 로컬에서 테스트해 볼 수 있었다.
Spark 환경설정 관련된 에러때문에 시간을 많이 할애하긴 했지만 전부 수정했으니까 이후에는 잘 되겠지 뭐..
그리고 전체 작업을 airflow로 자동화하는 것도 연습해 볼 예정이다. 강사님께서 shellscript로 하는 법도 공부해보라고 하셔서 이번 주말까지는 이 2가지를 연습해볼 생각이다.

발표가 얼마 안남았다. 데이터에서는 2,3 단계에서 어떻게 진행할지 계획을 발표하는 시간이 될 것 같은데 수요일, 목요일에 파이프라인 설계와 데이터 활용 방향에 대해 의논해서 구체적으로 결정해야 할 것 같다.
로그 데이터 활용이나 대시보드 작성 방안에 대해서는 어느 정도 정해진게 있는데 모델이나 광고 관련해서는 회의가 더 필요하다.

일단 머릿속에 정리된 파이프라인은 이게 끝이다. 이것도 내일 팀회의에서 픽스해야지.