2022년 정규 시간은 이미 지났지만 추가시간(?)이 있으니 급한대로 의식의 흐름에 따라 회고를 작성해봤습니다.

Contents

• 2022년 업무 요약
• 블로그 시작
• 원격 근무 느낀점
• 이직.. 해치웠나?
• 2023년 목표

2022년 업무 💻

2022년에는 농산물 거래 플랫폼을 위한 데이터 프로덕트를 주로 개발했습니다. 프로젝트를 3가지로 짧고 굵게 요약해 봤습니다.

1) 농산물 가격 예측 모델링

B2B 온라인 농산물 거래 플랫폼을 활성화시키기 위한 일환으로 사내에 농산물 시황을 파악할 수 있는 서비스가 필요했습니다. 그래서 농산물 거래 가격 트렌드와 예측 가격 현황을 파악할 수 있는 프로덕트를 만들어야 했고, 이것을 위한 개발을 전반적으로 진행했습니다.

• 시계열 예측을 경험할 기회가 생겨서 좋았습니다. 통계적 모형부터 딥러닝을 활용한 모델링까지 여러 실험을 시도할 수 있는 시간이 주어진 덕분에 시계열 예측에서의 알고리즘별 특징을 이해하게 되었습니다. 특히 국내 농산물 가격 예측 연구 논문을 참고하여 회사 비즈니스에 필요한 형태로 개발하다보니 Applied Data Scientist로서 역할을 많이 하게 된 것 같습니다.
• 농산물별로 예측 변수는 매우 다양합니다. 출하량, 가격, 날씨, 재배면적 등의 변수를 모든 작물에 동일 적용하기보다는, 각 품목별로 가격에 영향을 주는 변수를 먼저 연구하면 더 좋았을 것 같습니다. 작물이 다양한만큼 농산물 가격 변동을 설명하기 위한 연구 분야는 여전히 어려운 과제 중 하나긴 합니다.
• 이런 부분에서 data-centric AI가 더 중요하다고 느꼈습니다. 비슷한 학습 데이터로부터 여러 알고리즘 내에서 최적화를 진행하기보다는, 데이터 자체를 보강해야 한다는 점을 충분히 배운 프로젝트였습니다.

2) ML 파이프라인 개발

시계열 예측뿐만 아니라 다양한 ML/DL 모델 훈련을 스케줄링을 통해 배치로 수행하는 파이프라인을 만들었습니다. 사내 인프라는 AWS를 사용하고 있어서 SageMaker와 Batch를 통해 나름대로 안정적인 ML 파이프라인을 설계하여 운영했습니다.

• Conda 환경을 제공하는 SageMaker 기반으로 '인스턴스 생성' → '모델 훈련' → '예측 결과 저장' → '인스턴스 중지 및 삭제'를 수행하는 DAG 템플릿을 개발했습니다.
• 특히 팀 내 ML Engineer 덕분에 많은 걸 배울 수 있는 기회였습니다. CT(Continuous Training)를 수행할 때 학습된 모델은 MLflow을 통해 Model Registry를 따로 하며, 등록된 모델을 BentoML을 통해 API로 호출하여 Inference를 수행하도록 설계한 덕분에 MLOps 디자인 패턴과 아키텍처를 더 깊이 이해할 수 있어 좋았습니다.
• CT를 통해 새롭게 학습된 최신 버전의 모델만을 사용하기보다는 Metric을 모니터링하면서 Model Selection에 개입을 할 수 있는 트리거를 만들고 싶었지만, 이 부분을 못한 게 아쉬웠습니다.

3) 데이터 엔지니어링

2022년 한 해의 절반 이상은 데이터 엔지니어링에 투자할 수밖에 없던 시간이었던 것 같네요.

• 농산물 거래 데이터는 공공기관에서만 제공하기에 외부 API에 의존해야 하는 개발 환경이었습니다. 그러다 보니 장애를 빠르게 확인할 수 있는 Alert 기능부터 Backfill 장치까지 모두 만드느라 상반기는 거의 DE로 지냈습니다.
• 전 직장에서는 GCP를 사용했기에 BigQuery와 Composer(Airflow) 조합으로 모든 걸 끝낼 수 있었던 것에 반해, 여기에서는 AWS를 사용하다 보니 서비스 레이어가 상당히 많았습니다. MWAA(Airflow), S3, Athena, Glue, Redshift, Batch, SageMaker 등등 신경 써야 할 게 많았지만 그래도 AWS 기반의 데이터 엔지니어링 역량을 한껏 올린 것 같아 좋았네요.

블로그 시작 📒

연말까지 꾸준히 쓰진 못했지만 그래도 블로그를 시작한 덕분에 이렇게 회고도 쓸 수 있게 된 것 같습니다. 23년 목표가 있다면 한 달에 최소 1개는 쓰는 것인데, 이번엔 꼭 지켜보려고 합니다.

제 블로그의 성격은 업무를 통해 익힌 노하우와 활용 사례를 공유하는 것이다 보니 논문 리뷰 등과 같은 지식 전달은 약해서 멈칫하는 때가 많았습니다. 하지만 제가 더 좋아하고 잘 할 수 있는 장르로 써야 계속 연재할 수 있을 것 같았습니다.

공개된 블로그인만큼 나만 알아볼 수 있는 표현과 문맥으로 가득 찬 메모 같은 느낌의 포스팅보다는, 적어도 데이터 분야에 관심 있는 사람이 방문했을 때 이해할 수 있는 범용적인 글을 쓰려고 노력해 보고 있습니다. 여하튼 22년에 쓴 것보다는 더 많이 포스팅을 해볼 계획입니다.

원격 근무 느낀점 🏠

2022년은 거의 재택으로 일을 했습니다. 주 1회 사무실로 출근하는 빈도였으니까요. 출퇴근 시간을 아낄 수 있으니 여유가 생긴 만큼 조금 더 일에 집중할 수 있던 것 같습니다. 한 해를 재택 하면서 느낀 점을 써봤습니다.

• 여유로운 식사 + 운동 빈도 증가
  • 출퇴근 시간을 줄일 수 있기 때문에 아침 식사와 저녁 식사를 여유롭게 챙겨 먹을 수 있어 좋았습니다. 덕분에 운동 빈도도 늘어났어요.
• 적절한 휴식
  • 업무를 하다가 피로가 심하다면 언제든 누워서 쉴 수 있어 좋았습니다. 허리가 좋지 않다 보니 누워서 쉬거나 주기적인 스트레칭 시간이 필요한데, 이런 점에서도 좋았습니다.
• 정리 노하우 증가
  • 동료와 만나는 시간이 줄어든 만큼 소통도 줄어들어 업무 진척 속도가 느리지 않을까 싶었지만, 그만큼 본인이 하는 일을 잘 정리해서 기록하는 빈도가 늘어났습니다. 물론 업무 기록은 기본적인 요소이지만 조금 더 꼼꼼하게 정리하는 습관이 생긴 것 같네요.
• 정서적 교류 감소
  • 만나는 시간이 줄어들어서 동료와 많이 친해지긴 어려웠습니다. 코로나가 시작하기 전에 다녔던 직장에서는 항상 동료와 티키타카를 하면서 지내다 보니 내집단 의식이 강했던 반면, 이번엔 각자도생 하는 느낌이 강해서 아쉽긴 했습니다.

이직.. 해치웠나? 🏢

저에게 2022년 빅 이벤트를 꼽자면 이직입니다. 11월 초부터 본격적으로 준비했었는데 다행히 연말 전에 새로운 보금자리를 찾았습니다. 새해의 시작을 새로운 직장에서 이어가게 되었네요.

이번 이직은 저의 정체성을 찾아가기 위한 관문이기도 했습니다. 예전 글에서도 쓴 내용이지만, 개인의 성장이 멈추지 않으려면 '내가 잘하는 것 + 잘하고 싶은 것'과 '회사에서 필요한 것'의 교집합을 계속 찾아야 합니다. 저는 이 교집합의 영역이 다소 넓지 않음을 느끼다 보니 이직을 결심했고, 운이 좋게도 이것을 만족시킬만한 곳을 찾게 되었습니다.

그리고 주변에서 말하듯이 요즘 이직이 쉽지 않은 걸 확실히 느꼈습니다. 과제도 만만하지 않았고, 실무 면접에서도 진땀을 뺐습니다. 쉽지 않은 과정이었지만 최종 문턱을 넘었기에 나름 간절했던 것 같습니다. 이제는 데이터사이언티스트 혹은 머신러닝 엔지니어로서 경쟁력을 갖추려면 추천, 자연어, 비전 등의 도메인에서 최소 한 가지는 압도적으로 잘해야 할 것 같습니다. 블로그 같은 포트폴리오도 분명 가점이 있겠지만, 점점 도메인별 모델러나 엔지니어 경험이 훨씬 중요해지는 것 같습니다.

마무리 🌷

회고를 작성할 때마다 늘 빼먹지 않고 남기는 구절이 있는데, 이번에도 우려먹어 봅니다. 헤헤.

걱정은 흔들의자와 같다. 계속 움직이지만 아무 데도 가지 않는다.

인생의 절반은 걱정하는 데 시간을 쓴다고 합니다. 그래서 많은 걱정을 하지 말라는 말이죠. 근데 그게 쉽나요. 다이어트라는 평생 숙제를 달고 사는 세상이 되어버린 이상 걱정이란 것을 안 할 수 없습니다. 그런데 2022년은 나름대로 만족스러운 나날의 연속이었습니다. 걱정만 하진 않았기 때문입니다.

이 걱정을 줄여 나가는 과정에는 '실행력'이 한몫 했습니다. '아 잘 모르겠지만 일단 먼저 해보자'라는 마인드셋이 강했습니다. 때로는 돌다리도 두드려보며 건너는 조심스러운 때도 있었지만, 2022년은 대부분 '일단 고!'였습니다.

몰랐던 것도 일단 하다 보니 알게 되고, 알던 것도 다시 배우게 되는 시간이 많았습니다. 그래서 확실히 느꼈습니다. 잘 해야될 때도 분명 있지만 그냥 해야할 때가 더 많다는 것을요.

그래서 걱정이 그렇게 나쁘지만은 않다고 생각합니다. 불안함과 초조함에서 비롯된 걱정이 잠시 제자리에 있을진 모르겠지만, 일단 해결하려고 시도하면 분명 인생을 꽃길로 물들여줄 씨앗이 되어주기도 하는 것 같거든요.

2023년에도 이 자세를 최대한 유지해보려고 합니다. 이렇게 된다면 아마도 올 해 또 생길 걱정 씨앗들이 향기로운 꽃이 되는 순간을 볼 거라 믿습니다. 더 나아가 달콤한 열매까지 수확할 수 있는 시간이 될 겁니다.

여러분도 걱정 씨앗을 뿌렸다면 제대로 수확한 2022년이 되었길 바라며, 2023은 더 풍족해지시길 바라겠습니다.