[MS Data School 4기] 배운 도구 정리

no-glass-otacku·2026년 4월 30일

python 라이브러리

Numpy: 고성능 수치 계산용. (Pandas의 뿌리!)
Pandas: 표(DataFrame) 형태로 데이터를 자유자재로 요리하는 도구.

Matplotlib: 파이썬 시각화의 기본. (커스터마이징 자유도가 높음)
Seaborn: Matplotlib을 기반으로 더 예쁘고 복잡한 통계 차트를 쉽게 그려줌.

'지리 데이터(Geo)' 특화 도구

정적 크롤링 (가볍고 빠름)
requests: 웹 서버에 데이터를 달라고 요청하는 배달원.
BeautifulSoup: 받아온 HTML 뭉치에서 원하는 정보만 쏙쏙 뽑아주는 집게.

동적 크롤링 (느리지만 강력함)
Selenium: 브라우저를 직접 조종하는 아바타. (로그인, 클릭, 무한 스크롤 등 사람의 행동이 필요할 때 사용)

[데이터 주고 받는 기술]

Webhook
특정 이벤트가 발생했을 때 자동으로 지정된 URL로 데이터를 전송하는 프로세스
ex) power automate에서 팀즈 웹후크를 이용해 함수 실행마다 팀즈 채널에 메세지 보내기
우리가 팀즈의 http post url에 전송하는 거임.

REST API
인터넷 주소(URL)를 통해 서버에 데이터를 요청하거나 수정하는 가장 대중적인 방식

서버리스 환경에서 API 호출 로직을 구현

remote: azure portal > azure function app > 모니터링 > 로그 > traces 테이블 실행
local: 커멘드창에서 azurite start > 터미널에 'func start' 실행 > 터미널에서 로그 출력
※ remote <-> local로 환경설정을 바꿨을 때, 주피터 노트북 사용 시에는 restart를 해야 환경설정의 변경사항이 적용이 됨.

실시간으로 쏟아지는 방대한 데이터를 유실 없이 받아내고 순서대로 보관하는 '대용량 데이터 입구'.

뒷단(Stream Analytics 등)에서 데이터를 처리하기 전까지 안전하게 지켜주는 완충 작용(Buffer)을 함.
Event Hubs가 없다면? 센서에서 데이터가 빗발칠 때 뒷단이 조금이라도 느려지면 데이터가 그대로 사라져 버림.

[IoT 센서/웹후크] → (데이터 발송) → [Event Hubs] → (데이터 보관) → [Stream Analytics] → (SQL로 분석) → [Power BI]

데이터가 어떤 모양이어야 하는지 적힌 '표준 설계도'를 보관하고 관리하는 저장소
별도의 리소스(보통은 Azure Event Hubs namespace 안에 포함됨)로 존재

Event Hubs로 들어오는 실시간 데이터를 설정된 시간이나 용량 단위로 묶어서 자동으로 Azure Storage(Blob/Data Lake)에 저장해주는 기능 = 코딩 없이 원본 데이터를 즉시 저장소에 백업하는 기능

왜 필요한가?
Event Hubs는 자체적으로 '데이터를 전송하는 능력'이 거의 없어서 다른 곳으로 보내려면 이 설정을 켜줘야함.

하나 또는 여러 개의 input을 받아 실시간 스트림 데이터와 참고용 데이터를 쿼리로 결합하고(SQL 쿼리로 데이터를 가공), 가공된 데이터를 목적에 맞게 여러 곳(Output)으로 분기하여 전송.

✅ 핵심 요약

다중 입출력: 입력 소스들을 JOIN(결합)하여 분석하고, 결과물을 실시간 대시보드나 DB 등 여러 저장소로 동시에 보낼 수 있음.
시간의 기준: 데이터가 시스템에 도착한 시간이 아닌, 현장에서 실제로 발생한 시간을 기준으로 처리할 것.
```
	Tip: 쿼리 작성 시 TIMESTAMP BY 문구를 사용하여 발생 시간을 명시해주는 것이 정확한 분석의 핵심!
```