Toss | SLASH 21 - MySQL HA & DR Topology MMM이란? MySQL Multi-master replication Manager의 약자. 토스의 Live MySQL 데이터베이스의 HA 솔루션으로 사용 중. 구글에서 개발된 솔루션으로 버전 업데

비즈니스가 재해에 얼마나 영향을 받는지 파악하고 복구 계획 수립 필요비즈니스 지속성희귀하지만 대규모 장애상황 발생 가능자연재해기술적 이슈휴먼 액션개별 장애에 대한 목표 측정복구 시간(Recovery Time)복구 시점(Recovery Point)재해 발생 시 수용 가능

2022년 말부터 서울 리전에서 시작된 DB 서비스일반적으로 Amazon RDS로도 충분하지만 추가적인 OS와 Database의 커스텀 설정이 필요한 경우에 선택 가능한 옵션Oracle과 SQL-Server 중 선택 가능AWS에서 제공한 설정에 대한 책임은 AWS가 담

설계 사상: 혁신, 민첩성무제한: 성능, 확장성비용: 고가용성, 관리 편의성, 비용 효율성이중화, 자동 백업 등등전통 방식에서 마이크로 서비스, 분산 아키텍처로 변화모놀리식 어플리케이션 → 마이크로 서비스모놀리식 어플리케이션: 중앙 데이터베이스 + 종속 팀마이크로 서비

동기적으로 시스템을 만들면 강하게 결합된 시스템으로 진화하게 된다.비동기으로 시스템을 만들면 느슨하게 연결된 이벤트 기반 시스템으로 진화하게 된다.기존 모놀리식 방식 → 서비스 지향 아키텍처, 마이크로서비스 아키텍처이벤트 기반 아키텍처느슨하게 연결된 이벤트 기반 시스템

✅ 일시 : 2023년 4월 24일(월) 14:00 - 16:00 ✅ 연사 : 박재성 | 넥스트스텝 CEO 📌 목차 1.유지보수하기 좋은 코드를 구현하는 역량을 쌓기 위한 개인의 노력과 연습 방법 2.주니어(또는 중니어) 개발자가 자신이 쌓은 역량을 조직 내 동료들에

Docker는 크게 Docker Daemon, Docker Client, Docker Registry로 분리되어 있습니다. Docker Daemon - Docker Host라고 부르기도 합니다. Docker API 요청을 수신하고 이미지, 컨테이너, 네트워크, 볼륨 등

MySQL DB 서버 외부에서 MySQL에 접속하려는데 접속이 되질 않았다.보안그룹에서 해당 포트에 대한 접근 허용을 추가해주었는데도 되지 않아 찾아보니 mysql에 권한이 등록되지 않아서였다.참고https://walkingfox.tistory.com/70

Ubuntu 20.04 LTSDocker 23.0.2Jenkins 2.397도커 설치 참고 👉 https://velog.io/@inhwa1025/Docker-Ubuntu에-Docker-설치하기Jenkins 컨테이너를 생성하고 초기 비밀번호를 확인합니다.&lt

Ubuntu 20.04 LTSDocker 데몬은 항상 root 사용자로 실행됨docker 명령어 사용 시 sudo를 사용하지 않으려면 docker 그룹을 생성하고 사용자 추가 필요systemctl 명령어를 사용하여 부팅 시 docker가 자동으로 실행되도록 설정 가능자

Classless Inter-Domain Routing의 약자로 클래스 없는 도메인 간 라우팅 기법이다.기존 Class 체계보다 유연하고 효율적으로 IP 주소를 사용할 수 있다.접두어를 이용한 계층적 구조의 주소 지정 방식으로 인터넷 광역 라우팅의 부담이 줄어든다.IP

🎨 Airflow Web UI 사용하기 NHN Cloud 인스턴스에서 airflow를 구성하였다면 NHN Cloud 사이트의 Network - Security Groups 탭에서 사용중인 보안그룹에 Airflow 웹 서버를 띄운 포트를 열어주어야 함 (현재 8080

Docker를 사용하여 Airflow를 구성하려면 airflow-webserver, airflow-scheduler, airflow-triggerer, airflow-worker, postgres, redis의 최소 6개의 컨테이너를 직접 설정해주어야 한다.Docker

shell script에서 ssh를 통해 인스턴스에 접속하고 인스턴스에 도커 명령어를 날리다가 오류가 발생하였다.docker exec 명령어에서 -i 옵션(input 옵션)과 -t 옵션(tty 옵션)을 같이 사용하였는데, 이는 input pipe가 들어왔는데 inter

Dynamic Host Configuration Protocol(동적 호스트 구성 프로토콜)의 약자호스트의 IP 주소와 각종 TCP/IP 프로토콜의 기본 설정을 클라이언트에게 자동으로 제공해주는 프로토콜네트워크 안의 컴퓨터에 자동으로 네임 서버 주소, IP 주소, 게이

MapReduce. Map side와 Reduce side로 나뉜다. Map은 HDFS에서 데이터를 읽어온다. Mapper가 데이터를 저장할 땐 각각의 Mapper의 Filesystem disk에 intermediate data 저장하게 되며 Reducer에 데이터

National Climatic Data Centerhttp://www.ncdc.noaa.gov/기상 센서들이 수집하는 대량의 로그데이터 → semi-structured, record-oriented한 행이 하나의 레코드, 행 단위의 아스키코드 형식기상관측소별

single drive에서 모든 데이터를 읽는다면 매우 많은 시간이 소요됨multiple disks에서 한번에 읽으면 어느정도 문제 해결 가능100개의 드라이브가 있다면, 각각 1/100의 데이터만 읽기문제점Hardware failure → replication(복제)

Airbnb에서 만든 workflow management tool이며, 현재는 아파치 재단에서 관리중인 오픈소스입니다.데이터엔지니어링의 ETL 작업 자동화, DAG(Directed Acyclic Graph) 형태의 워크플로우 작성, 정교한 dependency의 파이프라

고객이 사용하는 소프트웨어 제공고객을 대신하여 소프트웨어와 데이터를 제공하고 관리패키지 또는 온프레미스 방식인 기존의 소프트웨어 전달 방식과 달리 개별 컴퓨터에 응용 프로그램을 다운로드하거나 설치할 필요가 없음데이터, 미들웨어, 서버 및 스토리지와 같은 모든 잠재적인