🗂️2024.07.05 TIL

데이터 분석 분야에서의 업무 자동화

직장인들이 사무실에 출근하여 매일 아침 루틴처럼 하는 일이 있을 것이다. 이런 부분에 있어서 똑같거나, 비슷하면서 반복되는 일이 분명 있을 것이다. 이런 업무들에서의 업무 자동화는 효율성을 높이고, 오류를 줄이며, 반복적인 작업을 줄이는 데 중요한 역할을 한다.

주요 자동화 종류 및 예시

1. 데이터 수집 및 추출 자동화

• 웹 스크래핑: BeautifulSoup, Scrapy 등을 사용해 웹 사이트에서 데이터를 자동으로 수집.
• API 통합: 다양한 데이터 소스(API)로부터 자동으로 데이터를 수집 및 갱신.
• 데이터베이스 추출: SQL 스크립트나 ETL 도구를 사용해 정기적으로 데이터베이스에서 데이터를 추출.

2. 데이터 정제 및 전처리 자동화

• 데이터 클리닝 스크립트: Pandas와 같은 라이브러리를 사용해 결측값 처리, 중복 제거, 데이터 형식 변환 등의 작업을 자동화.
• ETL 파이프라인: Apache NiFi, Talend, Airflow 등을 사용해 데이터 추출, 변환, 적재를 자동화.
• 정기적인 데이터 업데이트: 정기적인 데이터 수집과 정제를 위한 스케줄링 (예: cron jobs).

3. 데이터 분석 및 모델링 자동화

• 자동화된 보고서 생성: Jupyter Notebook, R Markdown, Tableau 등을 사용해 정기적인 보고서를 자동으로 생성.
• 모델 트레이닝 및 튜닝: scikit-learn의 GridSearchCV, AutoML 도구 (예: H2O.ai, Google AutoML)를 사용해 모델 트레이닝 및 최적화 자동화.
• 예측 모델 배포: ML 모델을 프로덕션 환경에 자동으로 배포 (예: AWS SageMaker, Google Cloud AI Platform).

4. 데이터 시각화 자동화

• 대시보드 업데이트: Tableau, Power BI, Looker 등의 도구를 사용해 실시간 데이터 대시보드를 자동으로 갱신.
• 정기 리포트 생성: Matplotlib, Seaborn, Plotly 등을 사용해 정기적으로 업데이트되는 시각화 리포트 생성.

1. 문서화 및 기록 자동화

• 자동 문서화: 분석 과정과 결과를 자동으로 문서화하는 도구 사용 (예: Sphinx, MkDocs).
• 버전 관리: Git과 같은 버전 관리 시스템을 사용해 코드와 데이터를 체계적으로 관리.

참고하면 좋은 내용: https://nadocoding.tistory.com/15

Python

sort(), sorte() 함수의 key 매개변수: 정렬 형식을 어떻게 할 것인지 기준을 정할 수 있는 매개변수

• 이 매개변수에는 단일 인자를 취하고 정렬 목적으로 사용할 키를 반환하는 함수(또는 다른 콜러블)를 줘야 함.

참고: https://velog.io/@ehdtkd98/프로그래머스문자열-내-마음대로-정렬하기