# Pubsub
AMQP(Promise/Async API)이용해서 pubsub 구조 구현하고 api 연동
POST /assert_exchangeDescription : exchange를 생성한다.Request Body (JSON)exchangeName (string) : 생성할 exchange 이름durable (bool) : 생성할 exchange의 option중 dur
RabbitMQ에서 PubSub 구조 구현(feat node.js)
publish하라는 요청 보내는 api Untitled exchange에 queue 연결하고 message 오면 받는 api Untitled 메세지 주고 받는 console화면 Untitled Untitledpub 클래스를 만들고 exchange의 이름과 u
PubSub + MessageQueue
publisher - message broker - subscriber 형식으로 이루어져 있다.publisher가 event 발생시 message broker 에게 알려주고 해당 토픽 혹인 컨텐츠를 구독하고 있는 subscriber에게 메세지를 전달하는 방식이다.pub
Cloud Run을 사용한 Pub/Sub to BigQuery 파이프라인 구축
완전 관리형 서버리스 플랫폼에서 원하는 언어(Go, Python, 자바, Node.js, .NET)를 사용하여 확장 가능하고 컨테이너화된 앱을 빌드하고 배포할 수 있는 제품이다.즉, 도커같은 컨테이너만 준비해둔다면 매우 쉽게 해당 어플리케이션을 배포할 수 있는 것이다.
Dataflow 템플릿 커스텀해보기
빅쿼리 데이터 세트 생성timestamp, INT/FLOAT 유형의 컬럼, STRING 유형의 컬럼을 가지는 테이블 생성Dataflow가 동작하는 스테이지의 파일을 저장할 Cloud Storage 버킷 생성ps_to_bq.py실행콘솔에서 Pub/Sub 주제에 직접 메시
Datastream을 사용한 Cloud SQL to BigQuery CDC 파이프라인 구축
Datastream은 사용이 간편한 서버리스 CDC(변경 데이터 캡처) 및 복제 서비스.지연 시간을 최소화하면서 이기종 데이터베이스와 애플리케이션에서 데이터를 안정적으로 동기화할 수 있다.Datastream은 Oracle 및 MySQL,PostgreSQL 데이터베이스에
Twitter API를 사용한 스트리밍 파이프라인 구축
우선 Twitter API를 통해 ACCESS 및 Bearer Token 등을 받아온 상태여야 한다.이 키가 내 트위터 계정에 대한 정보를 잘 받아오는 지 확인하려면 아래 명령어를 실행시켜보면 된다.잘 받아오는 것 확인.그리고 GCP 콘솔에서 아래 리소스들을 생성해준다
Debezium을 사용한 Cloud SQL to BigQuery CDC 파이프라인 구축
MySQL로 생성해주고 외부에서 접속을 해주기 위해 접속을 승인할 네트워크 대역을 지정해준다.해당 ip는 내 ip를 확인하여 지정해준 것이다.아래 명령어로 Cloud SQL 접속workbench와 같은 툴을 사용해도 되지만 Debezium 서버도 만들어야 하므로 Ubu
Cloud Scheduler를 사용한 Pub/Sub to BigQuery 스트리밍 파이프라인 구축
Dataflow의 Pub/Sub Topic to BigQuery 템플릿을 사용해 스트리밍 파이프라인을 구축할 것이다.Pub/Sub으로 메시지를 게시하는 것은 우선 Cloud Scheduler를 사용하였다.Pub/Sub 주제를 하나 기본 구독을 하나 추가해서 만들어준다.
Dataflow를 사용한 Kafka to BigQuery 스트리밍 파이프라인 구축
우분투 VM 하나 생성 후 아래 명령어 차례로 입력Apache Kafka 다운로드kafka와 zookeeper를 systemctl 명령을 사용하여 시작/중지하도록 설정zookeeper아래의 내용 추가kafka아래의 내용 추가새로운 변경사항을 적용하기 위해 systemd
graphql-ws.1(NestJs)
어쩔수 없는 subscriptiongraphql에서 graphql-ws만 남기고 없앤다고 한다.가장 어려운 부분임.app.module.tsorders.resolvers.ts이렇게 하면, readyPotato를 실행하면 subscription 구독하고,potatoRead
Dataflow SQL을 사용한 스트리밍 파이프라인 구축
Dataflow SQL을 사용해 Pub/Sub 스트리밍 데이터를 BigQuery 테이블 데이터와 join해볼 것이다.빅쿼리에 데이터 세트를 만들어주고 us_state_salesregions 테이블을 만들어준다.us_staste_salesregions.csv이 csv파일
GCP Billing - Budget Alert
Billing 관리를 BigQuery 테이블에 push가 된 후에 거기서 메신저로 트리거하는 것은 사실상 비용 통계를 내기 위한 것이고 실제 비용을 모니터링하기 위한 파이프라인으로는 비효율적이다.Pub/Sub이 트리거하는 Function 생성메모리: 128GB런타임:
RabbitMQ 튜토리얼 톺아보기
비동기 처리를 위해 Celery를 도입하려는데 메시지 브로커로 RabbitMQ, Redis를 사용할 수 있다고 한다. 둘 중 하나를 선택하기 위해 분석해서 표로 정리해보았다. | RabbitMQ | Redis | | --- | -- | | 메시지 브로커 용도로 개
Cloud Pub/Sub
GCP의 메시징 서비스로 Kafka나 래빗MQ와 같은 오픈소스 메시징 서비스와 동일한 서비스글로벌 규모에서도 낮은 지연 시간과 안정적인 메시지 전달을 제공해주고, 서버리스 환경이기 때문에 별도의 인스턴스를 관리할 필요없이 사용량에 따라 초당 수억 개까지 메시지를 확장할
Video Intelligence API를 사용한 스트리밍 영상 분석 파이프라인 구축
api사용 설정사용할 변수 설정사용할 깃허브 저장소 clonepub/sub 주제 생성주제에 대한 pub/sub 구독 생성동영상 클립을 저장할 버킷 생성bucket용 pub/sub알림 생성데이터 세트 생성테이블 생성주제 생성구독 생성주제 생성구독 생성Apache Beam
OPCUA 실습 -2 (node-OPCUA)
Node-OPCUA goes PubSub - Episode 1 // node-opcua pub/sub server
35.Subscription(3)_pubsub_publish
첫번째로 subscription의 server를 만들었고, 두번째로 subscription의subscribe부분을 만들었고, 세번쨰로 publish부분을 만들어 봄참고로 publish는 sendMessage.resolvers.js에서 구현함.
34.Subscription(2)_pubsub_subscribe
wsServer는 위에서 server.js에서 setUp을 마쳤고, 이제 resolver에서 실제로 구현을 해 봄!! https://www.apollographql.com/docs/apollo-server/data/subscriptions/npm install
스프링부트 STOMP로 채팅방 구현하기
스프링부트에서 Redis를 연동하는 연습용 프로젝트를 만들어 보겠습니다! 깃헙에 있는 정리본을 참고해주세요! autoConfiguration 덕분에 서버주소:포트번호만 적어줘도 StringRedisTemplate과 redisConnectionFactory는 자동 생