Product Serving(10): Further more

1. 앞으로 공부하면 좋을 내용

꼭 해야한다는 아니지만, 앞으로 더 공부하고 싶다면 알아보라는 취지

• 개발
  • AI Engineer, ML Engineer는 결국 엔지니어이다.
    코드 레벨에서 깊은 이해와 고민을 해야한다.

    Data Engineer 또한 데이터를 처리하기 위한 개발 학습이 필요하다.
    데이터 분석가에 가깝다고 하더라도, 데이터 분석 역량 외에 코드 역량 또한 뛰어나면 퍼포먼스가 좋아진다.

1.1 파이썬

우리는 Python을 잘 알고있을까?
엄청 Low레벨은 아니어도 Generator Decorator GIL 등
멀티 프로세싱의 동작 방식
메모리 영역에서 어떤 일이 발생하는가

이런 것들은 알자

1.2 Linux

Linux 파일 시스템, 유저 권한 , Process
나아가서는 Linux Kernel
쉘 스그립트 짜는 거 연습해라

1.3 더 좋은 코드

• 클린코드
• 클린 아키텍쳐
• DDD(Domain Driven Development)

1.4 데이터 엔지니어링

AI Engineer는
데이터 모델링
데이터 개발 영역을 커버하길 원하는 추세이다.

• 실시간 데이터를 어떻게 전처리하고, 가져올지에 대한 이해도가 높으면 좋다.
• 데이터 엔지니어링 관련 생태계도 엄청 넓다. 하나씩 격파해라

아래 책들 읽어봐라

• 빅데이터를 지탱하는 기술
• 견고한 데이터 엔지니어링

이외에 필요한 기술은

• 실시간 데이터 처리
  kafka Apache Spark Streaming
• 메세지 시스템
  Kafka Redis AWS SQS GCP PubSub Celery
• 분산 처리
  Ray Apache Spark
• 데이터 웨어하우스
  GCP BigQuery AWS Redshift
• 캐싱
  Redis
• BI(Buisness Intelligence)
  Superset Redash Metabase
• ETL 파이프라인
  어떻게 구성할까?

1.5 Computer Science

• 네트워크
• OS
• 자료구조
• 알고리즘
  이런 건 좀 알자...

1.6 Cloud, Infra

클라우드 환경 작업이 점점 익숙해지는 상황(큰 회사는 아니지만)
어느 정도 인프라에 대한 이해가 있을수록 인프라 엔지니어와 이야기할 때 수월함
Docker를 넘어서서 Kubernetes 학습
CICD를 더 잘하기 위한 방법도 고민

• laaC
  GUI에서 클릭하면서 클라우드 서비스를 사용했으나, 인프라를 코드로 관리할 수 있는 Terraform
  인프라 환경 설정할 경우 매우 유용

• Monitoring

  • 모니터링을 더 잘하기 위한 고민도 필요

1.7 Database

데이터를 저장하는 곳은 Object Storage, NoSQL도 있지만
여전히 RDB에 저장을 많이 한다
효율적으로 저장하는 방법과 Index 전략 등
저장한 데이터를 추출할 수 있도록 SQL
데이터 웨어하우스로 데이터를 옮기기 위한 고민들을 해봐라

1.8 Modeling

개발자니까 인프라, 개발만 신경쓰지 말고
머신러닝 모델링에 대한 이해도 있고
Researcher나 Scientest 분들에게
이부분 불편하니 이렇게 개선하죠? 제안할 수 있는 사람이 되어라
최근 논문의 방향성, SOTA 등을 어느정도 파악해두는 것도 좋다.

1.9 기술블로그, 발표영상, 논문

이제 책, 강의로 성장하는 것을 넘어서
각 종 회사의 기술 블로그를 찾아봐라
어떤 기술을 왜 쓰고 어떤 문제였고 어떤 상황이었는지 매우 구체적이다.

• 기술 블로그 내용을 잘 정리하고 추상화하여 기록해봐라
  • 이 산업에선 이 회사에선~ 이렇게 풀었다 혹은 동종 업계인 다른 회사는 저런 방식으로 풀었다 등...
    • 취업이 아니라 긴 커리어를 가지기 위해서도 좋다.
  • 해외는 Uber, Door Dash 추천한다.
  • Uber는 종종 데이터 엔지니어링 논문도 Publish 한다.
• 발표영상 잘 챙겨봐라
  • 회사별로 컨퍼런스 하는 것이 추세이고, 커뮤니티 행사도 여전히 존재한다.
  • 네이버의 DEVIEW, 카카오의 IFKAKO, 토스의 SLASH, 우아한 형제들의 우아콘, 데이터야놀자, Pycon
  • 기술 블로그와 마찬가지로 왜를 고민하라
  • 컨퍼런스를 날잡고 보고 친구들이랑 토론해라
• 논문
  • 머신러닝, 딥러닝 논문
  • 데이터 엔지니어링 논문
  • CS(Computer Science) 논문
  • 라이브러리, 프레임워크 논문(Hadoop, Ray 등)
    왜 만들어졌는지에 초점을 가지면서 의문 가지기

머신러닝 디자인 패턴 이라는 책 좋다.

2. 앞으로의 방향성

• 취업에 임하는 자세
  • 나와 결이 잘 맞는 회사를 만나자
  • 회사를 성장시키고, 나도 성장할 수 있는 회사
  • 앞으로 긴 커리어의 init이다.
  • 너무 조급해하지 말자. 나는 잘 된다.
  • 내가 무엇을 좋아하는지 어떤 직군을 왜 하고 싶은지에 대한 고민이 필요하다.

2.1 취업, 데이터 업무, 방향성

• 데이터, AI업무
  • 현재 맡은 업무와 내가 하고 싶은 것이 잘 정렬되어 있는가?
  • 정령되어있다면 걍 돌진해라
  • 아닌거 같은데..?~ 라고 생각이 들더라도 일단 최선을 다해 마쳐라 언젠가 시너지 난다.
  • 데이터 분석, ML 모델링, DE, 개발 등에대해서 끊임없이 고민해라

삶은 언제든 바뀐다. 인생의 방향은 하나가 아니기 때문이다.
방향을 바꾸기 위해서 어떤 방향으로 가고있고 어떤 방향으로 가고싶은지 생각해라
5년후 10년후를 생각하고 행복에 대해 떠올려라
계절이 돌듯 삶 또한 돌고 돌아 봄이 온다.

2.2 동기부여

셀프리더쉽을 가져라
무엇을 하든 지속적인 개선을 하겠다는 태도를 가지고
잘못했으면 사과하고 더 발전하고 성장해라
그렇게 조직에 기여해라 완벽한 사람은 없다.