Data factory

Stream Analytics 랑 둘 중 고민하다가 Data factory로 결정

각종 리소스 생성

1. Data factory 리소스 생성

2. SQL DB 리소스 생성

• SQL DB 서버도 만들어야 함
  • 서버 새로 만들기를 클릭하면
    

한달에 5불 정도 나온다고 함

보통 바로 검토 + 만들기를 했는데, 바로 하지 말고, '네트워킹'으로 이동

• 클라우드 내에서 다른 서비스들이 접근 가능하도록 하는 것
• 로컬에서 접근 가능하도록 하는 것
  

테이블 만들어두기

CREATE TABLE flight_prices (
    출발_공항 NVARCHAR(10),
    출발_도시 NVARCHAR(50),
    출발_국가 NVARCHAR(10),
    출발_시간 DATETIME,
    출발_위도 FLOAT,
    출발_경도 FLOAT,

    도착_공항 NVARCHAR(10),
    도착_도시 NVARCHAR(50),
    도착_국가 NVARCHAR(10),
    도착_시간 DATETIME,
    도착_위도 FLOAT,
    도착_경도 FLOAT,

    항공사 NVARCHAR(100),
    항공사_코드 NVARCHAR(10),
    운임_클래스 NVARCHAR(20),
    비행_시간_초 INT,
    가격 FLOAT,
    할인여부 BIT
);

3. storage 생성

배포 완료 됐으면, 리소스로 이동.
보안+네트워킹 > 엑세스키로 이동
복사

다시 개요로 이동해서 "blob" 선택

컨테이너 생성(이미진엔 이미 만들어져 있음)

---

blob storage에 올라가도록 function_app.py 수정

blob storage에 올라가도록 수정함.
그리고 func start 실행

파이프라인 설정에서 아래와 같이 설정
이후, 연결테스트까지 하고 나서 적용해줌

그럼 이렇게 뜬다.

---

이번엔 원본으로 향하는? 데이터 셋을 만들어본다.

데이터 리뷰 보기 (미리보기)를 하면 확인 가능

이번엔, 최종 저장될 데이터 셋을 만든다.
이를 위해 먼저 연결 키 설정.
(로그인 잘 해야, 연결테스트 잘 됨)

연필 아이콘 > 데이터셋 > 새 데이터셋 만들기

---

Copy Activity

파이프라인 생성
파이프라인 > 이동 및 변환
이름 설정

원본으로 이동

싱크로 이동

• 원본 : 처리할 데이터 대상
• 싱크 : 데이터 저장 될 최종 목적지

매핑 : 원본과 싱크 간의 데이터 구조 맞추는 것

• 스키마 가져오기 클릭
  

나는
✅ SQL 테이블은 최신 스키마 (예: 위도/경도 컬럼 포함)로 만들었음

❗ API 호출 함수는 예전 버전이어서 → SQL 테이블에 일부 컬럼이 비어 있는 상태

👉 그래서 일부 컬럼(SQL 테이블에서)을 삭제하고 싶음

삭제해서 테이블 수정한 후) 다시 스키마 가져오기 하면 됨.

---

게시하기

실제로 파이프라인을 수행하려면? 게시해야 함.
아직 게시안 된 것들 갯수가 뜸(내 경우, 3개)

파이프라인 트리거

누르면 옆에 사이드창으로 뜨는데, 아직 매개변수 안 해줬으니까 뜨는 거임.
그러려니~ 하고 확인 클릭

모니터에서 게시된 거 볼 수 있음

아까 한 번 확인했을 땐, 1805였고, 이번에 트리거로 복사했으니까 30