처음에는 Airflow의 바람개비 로고가 마음에 들어서 Airflow를 바탕으로한
데이터파이프라인을 한번 구축해보자는 생각으로 시작하게 되었다.
(바람개비가 상당히 센스있다고 생각한다.....)

그런 과정에서 느낀점도, 어려웠던점 그리고 앞으로 더 공부해볼 것을 한번 정리해보려고 한다.

🔒 TODO

rankingflow의 핵심으로 해결되어야 했던 부분은 아마 다음 5가지로 축약될 것 같다.

• airflow - DAG 작성
• spark를 이용해 데이터를 정제
• sparkjob을 위한 스크립트 작성, python문법
• 데이터 모델링
• docker container 빌드와 파이프라인의 연결

🗝️ Airflow DAG 개발

• 최선의 방법

  BranchOperator를 포함한 DAG를 작성하는 과정에서
  이것도 될까? 혹은 이렇게 구성되면 편리할 것 같은데? 라는 생각이 들게 되면 해당 방법을 어떻게 해서든 구현하려 한것 같다.

  예를들어 A는 문제를 해결하기에 최적화되어 있으며 보편적으로 적용될 수 있는 방법,
  B는 문제를 적당히 해결할 수는 있으나 보편적으로 적용되는 해결책은 아니라고 하자.

  이런 경우에 B는 손쉽게 찾을 수 있으나, 해당 방법으로 파이프라인의 해당 부분을 매꾸고 나면 다음 단계에 task에서 문제가 생기기도 했으며, 대충 뭉게는 느낌이 들어 마음에 걸렸다.
  이런 경우에 대게 공식문서를 참고하면 어느정도 해결이 된다는 것을 배웠다.
  (물론 블로그나 chatgpt도 활용했지만 어느정도의 틀만 갖출 수 있었고, 내가 원하는 방법을 찾기위해서는 결국 공식문서를 참고해야 했다.)

  그렇게 A를 찾는 과정에서 DAG를 작성하는데에 자신감도 생기고, 이보다 직관적인 툴이 있을까?라는 생각도 했다.

🗝️ Spark..

• 데이터 처리

  spark는 주로 데이터 처리에 사용되는 분산 데이터프레임워크이고, 이를 구성하는 요소가 workernode,cluster manger, driver program가 있다는 사실정도만 가지고 spark를 사용하기로 했다.

  사실 내가 수집하는 데이터의 양이 실제 산업에서 사용되는 정도의 데이터양은 아니기 때문에 airflow-worker을 이용해서 데이터를 처리할 수도 있었을 것이다.

  하지만 실제 산업에서 파이프라인을 구축한다면, 이라는 생각으로 임해야 했기 때문에 spark와 airflow의 조합을 선택했다.
  그 과정에서 SparkAPI를 이용해서 전처리하는 방법도 익숙해졌다고 생각한다.

• 데이터 저장
  spark도 그렇고 , spark dataframe을 저장하는 JDBC에 대한 내용을 심도있게 공부하고, Java를 공부하며 해당 코드를 내것으로 만드는 것도 분명 도움이 될 것이다.

  하지만, 데이터 엔지니어링을 위해서는 내가 어떤 프레임 워크를 개발하고 코드를 심도있게 파악하는 것보다는
  새로운 프레임워크에 유연하게적응하고 그것을 가져다 최적화하여 잘쓸 수 있는 공부를 해야겠다고 생각했다.

  그래서 JDBC와 Spark에 대해 공부할때도 이 부분에 유의해서 공부해야 겠다고 생각했다.
  

🗝️ sparkjob & python

• python 문법

  이전까지는 python에 대한 기본적인 자료를 다루는 문법이라던지, pandas혹은 numpy를 이용해서 데이터를 분석하고, 처리해본게 끝이었던것 같다. 그래서인지 실제 개발에서 사용될 수 있는 문법들을 이번기회에 접하고 사용하게 된 것 같다.

  코드의 가독성을 최대로 끌어올리고, 함수의 유지보수성을 챙기기 위해 노력을 많이 한 것 같다.
  이 과정에서 class에 대한 문법, @decorater를 사용한 문법, 다른 사람 코드에서 보던 __init__.py의 의미, python에서의 메모리 구조등을 파악하고 평소 애매하게 알 있던 부분들까지 공부하게 된 것 같다.

🗝️ 데이터 모델링

• 데이터 모델링이 왜 필요해?

  컴퓨터공학을 전공하지 않았기 때문에 학부때 DB와 관련된 이론을 배운적이 없다. 졸업을 하고 나서 취득한 sqld자격증에서 얻은 지식이 전부였다. 사실 데이터 파이프라인 프로젝트를 시작하기 이전에는 도대체 이걸 왜 해야하는지 잘 알지 못했고, 크게 도움이 될까라는 생각이 머릿속에 떠올랐다.

  그래서 맨땅에 데이터를 수집하고, 적당히 이런거 있으면 되겠네~라는 생각으로 데이터를 정제하고 테이블을 만들었다.
  다 만들고 난 테이블은 다음과 같은 문제가 존재했다.

  • 1) 중복되는 데이터가 너무 많았다. ( 감으로 하다보니 1번 테이블에 존재하는 데이터가 2번 테이블에도 존재했다.)
  • 2) 위의 문제를 해결하기 위해 정규화를 하는 과정에서 spark로 데이터를 처리하는 것 보다 더 많은 노력이 필요했다.
  • 3) 정말로 필요했던 컬럼이 나중에 생각나고, 해당 컬럼을 추가하는 연산에 비용이 많이 들어갔다.
  • 4) 특정 데이터를 뽑기위해 요청한 쿼리의 성능이 매우매우 낮았다 lost connection하는 일이 대거 발생
    (중복된 데이터, 불필요한 컬럼까지 join 되는 상황)

  기타등등..
  결과물이 너무 내가 원하는 방향이 아닐것 같아 처음부터 다시 실행했다.

• 요구분석
  내가 무엇을 하고 싶은지를 명확히 정하는 과정이었다. 해당 과정을 거치니 내가 수집하고 싶은 속성이 무엇인지 명확해졌다.

• ERD 다이어그램
  요구 분석을 하고 나니 내가원하는 속성이 무엇인지 확실해졌고, 해당 속성들이 어떤 엔터티에 들어가 있어야 하는지는 직감적으로 채워나갈 수 있게 됐다.
  이 과정에서 중복된 데이터를 없게 하고, 최소한의 join연산을 통해 원하는 데이터를 출력할 수 있게 되는 데이터 모델을 작성해볼 수 있었다.
  

🗝️ docker

• Linux OS
  평소 데이터 분석을 하는데에 있어서 단순히 window환경에서 데이터를 분석할 수 있었기 때문에 리눅스에 대해서 공부할 필요를 느끼지 못했었다.

  그러나 데이터 파이프라인을 구성하는 강력한 오픈소스는 모두 하나같이 리눅스에서 동작하는 소프트웨어였고, 그중 docker마저도 리눅스 위에서 돌아가는 시스템이었다.

  docker에서 docker-compose파일, dockerfile을 이해하고 활용하며
  다른 오픈소스를 이해하고 사용하기 위해
  리눅스의 운영체제에 대해서 공부할 필요를 느꼈고, 우분투로 시작하는 리눅스 공부를 위한 책도 한권을 다보며 공부했다.

  이 과정을 통해 docker 컨테이너도 하나의 프로세스라는 단위로 인식할 수 있게 됐고, Host커널에서 동작하는 도커엔진과 그 컨테이너가 왜 virtual machine보다 경량화되어 있다는것인지, 또한 docker로 올라간 container의 파일시스템도 linux의 파일시스템과 비슷하다는 점 등을 인식하고 사용하기 수월해지는 경험을 할 수 있었다.
  

  하지만 부족한 점과 겉핥기 식으로 알고 있는 부분을 완전히 메꾸고, 컨테이너관리와 데이터파이프라인의 관리를 위해 OS라는 것을 집중적으로 공부해야할 필요성을 느꼈다.

😊 마무리~_~

💫 Next

AWS EC2

Airflow를 이용하여 데이터 파이프라인을 구축하고 나니 나의 프로젝트에서 아쉬운점이 보이게 됐다.

• 우선, 바로 내가 작성한 프로젝트의 데이터는 결국 로컬에 저장된다는 것이다. 구축한 데이터파이프라인을 통해서 저장한 데이터를 협업하는 누군가가 사용할 수 있는 환경을 만들어내는 숙제가 생겼다.

• 다음으로, 나의 호스트머신이 작동하고 있는 시간에만 airflow가 dags를 파싱하고 스케쥴링 한다는 것이다. 즉 컴퓨터를 켜놓은 상태가 되어야 데이터를 수집할 수 있고, 저장할 수 있게 된다는 것이다.

• 마지막으로, 한정된 컴퓨터 자원이다. 결국 데이터가 로컬에 저장되기 때문이다.

이를 위한 해결책으로 AWS EC2와 같은 클라우드 컴퓨팅서비스가 있다.
이 부분을 공부하고 적용한다면 해결될 부분이라고 생각이 들었다.

Apache Kafka

내가 수집한 데이터는 매일 06:00를 기준으로 초기화되고 해당 시간에 데이터를 수집하고 처리하는 과정이다.

즉batch일 기준의 처리인 셈이다.

이것과 조금 다른 개념이 바로 실시간 데이터 처리인데 이때 사용할 수 있는 것이 apache kafka라고 한다.

해당 부분을 공부해서 실시간 데이터 처리도 해내고 싶다.

💫 Good Bye 2024

데이터에 대한 관심을 가지고, 사회조사분석사부터 시작하여 빅데이터분석기사, sqld와 같은 자격증을 취득하며 일년을 보냈다.
7월부터 목표로 했던 airflow와 관련된 프로젝트를 2024년의 끝과 함께 할 수 있어서 한해를 그래도 나름? 잘 끝내는 느낌이 들었다.

log를 보며 계속 고민하고해당 로그를 어떻게하면 없앨 수 있을까 디버깅하고, 됐을거라 생각해서 wsl에 pull하며 확인했지만 airflow의 task가 failed뜰때면 좌절하고, 다시 로그확인하고, 다시 commit하고 ,, 그러다가 의외에 방법에서 success가 뜨는 것을 확인했을때의 허무함과 짜릿함

docker와 관련된 책도 재밌게 읽고,
빅데이터 분석기사 필기를 공부하며 이론으로만 확인했던 여러 툴들을 내가 직접 써보게 된다는 설렘에서 시작했을까
잠이오지 않은 새벽에는 sparkapi공부하고, 모든 과정을 즐길 수 있었다.

---

즐거웠다. 앞으로도 즐기며 무언가를 배우는 내가 되고 싶다.
더 많이 공부하고, 더 많이 알게 될 미래의 내가 지금 이 프로젝트를 본다면 부족한 부분 아쉬운 부분이 먼저 보일 수도 있을 것 같다. 하지만, 그때도 여전히 지금처럼 배우는걸 즐기고, 과정을 즐기는 내가 되어있길 바라며