를 살펴보는 중

중간의 Pipelines에 Cloud Dataflow가 있다.

오잉, Pipeline은 Cloud Composer(Airflow)로 하는게 아닌가? 싶었는데 Airflow는 Workflow용이라 Dataflow가 Pipeline이라 구분이 되는 듯

https://nangman14.tistory.com/73

통해서 좀 살펴보니 AWS의 Kinesis Analytics랑 굉장히 유사하다. 특히 Streaming Data에 대해 Windowing 해주는 기능은 AWS Kinesis Analytics에서 사용해 봤기 때문에 대충 감이 왔다.

PCollection → PTransform → PCollection 구조로 가는 듯.

결국 Source와 Target을 정하고, 중간에 Transform을 어떻게 하느냐- 를 처리해주는 오픈소스가 Apache Beam(구글에서 만듦)이고, 이를 위한 대표적인 런타임이 GCP Dataflow 인 것 같다.

Okta Custom Domain 연결하기

회사 DNS는 가비아에서 관리 하고 있다.

Okta Managed Custom Domain을 연결하려고 하는데 아무리 해도 안된다.

TXT의 Host로 _acme-challenge.okta.도메인.com 을 등록하라고 나오고 Value로 asdfasdfasdfasdf를 입력하라고 나오는데, 이걸 입력하고 dnslookup 해봐도 값이 나오질 않는다.

알고보니 가비아에 DNS를 등록할 때 _acme-challenge.okta.도메인.com 을 다 등록하는게 아니라 _acme-challenge.okta 까지만 호스트에 등록하고 _acme-challenge.okta.도메인.com 의 txt record를 lookup 해보니 값이 잘 나온다.