[스터디] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python (6기) - 4주차

커리어 개발

• 워터폴 → 애자일
  • 한번에 끝내려고 하지 말기.
  • 계속해서 발전할 수 있도록 노력하기.
• 자기 검열하지 않기
  • 그로스 마인드셋
  • 이력서 그냥 내기
    • 자격요건으로 10개 중에 내가 6개 정도만 맞는거 같아서 지원하지 않기. → 그러지 말고 일단 내기. 공부를 많이 한 다음에 지원하려고 함. 그런데 문제는 그 정도에 대한 것이 없음
    • 면접과 공부를 병행하기. 내가 지금 잘하고 있는지를 스스로 계속 채찍질 할 수 있음. 오히려 면접을 보면서 적정 수준의 공부를 잘할 수 있음.
• One way door(일방통행) vs. two way door(양방향)
  • 잘되건 안되건 나가면 끝. vs. 나갔다가 정 아니면 다시 돌아올 수 있음.
  • 많은 경우가 양방향임.

Airflow (중요)

• start_date와 Execution_date 차이
  • DAG가 읽어오는 시간.

과제

• Airflow 2.1.4 사용
• 헤더가 레코드로 추가되는 문제
• 멱등성.
• 트랙젝션 (옵셔널)

과제 피드백

• 과제에 대해 빠르게 피드백 해주시고, 칭찬을 아끼지 않으심.

• 트랜잭션에 대한 이해도가 부족하였는데, 코드에 주석과 함께 가이드를 같이 제공해주셔서 이해가 수월하게 되었음.