profile
Github - https://github.com/dddwsd
post-thumbnail

k8s - Istio를 이용한 CORS 설정

Service mesh는 API등을 통해 마이크로 서비스간의 통신을 안전하고, 빠르고, 신뢰할 수 있게 만들기 위해 설계된 전용 인프라 계층이다.Service mesh는 보통 Application 서비스에 경량화 Proxy를 sidecar방식으로 배치하여 서비스간 통신

2022년 5월 25일
·
0개의 댓글
post-thumbnail

(MLOps-4) kubernetes 정리 - 2

Pod는 kubernetes에서 관리하는 가장 작은 배포 단위이다.컨테이너를 만드는 docker와는 다르게 kubernetes는 pod을 생성하고 pod은 한 개 이상의 컨테이너를 포함한다.Pod을 생성하면 minikube cluster안에 pod이 생기고 pod안에

2022년 5월 11일
·
0개의 댓글
post-thumbnail

(MLOps-3) kubernetes 정리 - 1

kubernetes는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식성이 있고 확장가능한 오픈소스 플랫폼이다.다수의 서버가 있고 이 서버들에서 docker를 사용하게 되면 어떤 서버에 컨테이너를 생성하는 것이 맞을까에 대한 고민을 해야 하는데, 이를 쉽게해주는 or

2022년 5월 9일
·
0개의 댓글
post-thumbnail

(MLOps-2) docker 정리

docker는 containerization(container화 하는 기술)을 할 수 있게 해주는 소프트웨어이다.docker의 slogan은 Build Once, Run Anywhere로 어디에서나 동일한 실행 결과를 보장한다.image는 container 실행에 필요

2022년 5월 5일
·
0개의 댓글

(MLOps-1) Github repository 구축

window 10과 mac에서 번갈아가며 프로젝트를 진행할 것이기 때문에, github repository를 만들고 이를 통해 code를 공유하려한다. 원래 생각은 aws나 gcp free tier에서 linux 서버를 구축해서 ssh로 접속해서 진행하려 했으나, f

2022년 5월 4일
·
0개의 댓글
post-thumbnail

MLOps 엔지니어가 되고 싶어연

MLOps는 ML + Ops의 합성어로 ML model 배포와 운영 및 유지해주는 작업을 의미하며 주된 목표는 다음과 같다고 생각한다.ML model들이 빠르고 안정적으로 개발되도록 하는 것ML model들이 빠르고 안정적으로 serving되도록 하는 것MLOps en

2022년 5월 1일
·
0개의 댓글

Flask API

회사에서 Flask_restx로 api server를 구축해봤는데 깔끔하고 잘 구축된 것 같아서, 문서로 정리해보려 한다. 먼저 디렉토리 구성은 아래와 같다. api deploy deployment.yaml extensions \init.py

2022년 4월 24일
·
0개의 댓글
post-thumbnail

CPU와 GPU의 차이.

CPU CPU = Central Processing Unit 입출력장치, 기억장치, 연산장치컴퓨터의 두뇌를 담당한다. 다양한 환경에서 작업을 빠르게 수행하기 위해 ALU의 구조가 복잡하고 명령어 하나로 처리할 수 있는 기능도 많으며 각종 제어 처리를 위한 부분이 많다.

2022년 4월 22일
·
0개의 댓글
post-thumbnail

Hadoop - Hive 정리

Hive Hive는 hadoop ecosystem에서 데이터를 모델링하고 프로세싱 하는 경우 가장 많이 사용하는 data warehouse solution이다.

2022년 4월 22일
·
0개의 댓글
post-thumbnail

Hadoop - MapReduce

Hadoop - MapReduce MapReduce는 대용량의 데이터를 분산 컴퓨팅 환경에서 병렬 처리하여 속도를 높이도록 제작된 데이터 처리 모델이다. 간단한 단위작업을 반복하여 처리할 때 사용한다. 큰 데이터를 특정 크기의 block으로 나누고 각 block에 대해

2022년 4월 21일
·
0개의 댓글

(2) Hadoop - HDFS 기타기능 정리

HDFS Federation namenode는 파일 정보 메타데이터를 메모리에서 관리한다. 파일이 많아지면 메모리 사용량이 늘어나게 되고, 메모리 관리가 문제가 되고 이를 해결하기 위해 hadoop v2부터 HDFS federation을 지원한다. HDFS feder

2022년 4월 21일
·
0개의 댓글
post-thumbnail

(1) Hadoop - HDFS 아키텍쳐 정리

HDFS는 Hadoop Distributed File System의 약자이다.배치처리를 위해 설계되었기에 빠른 데이터 응답시간이 필요한 작업에는 적합하지 않다.그리고 namenode가 단일 실패 지점(SPOF)이 되기 때문에 namenode 관리가 중요하다.블록 단위

2022년 4월 20일
·
0개의 댓글
post-thumbnail

Hadoop ecosystem이란?

hadoop ecosystem은 hadoop framework를 이루고 있는 다양한 project들의 모임을 의미한다.분산 메시징 시스템으로 데이터 파이프라인 구축 시 주로 사용대용량 실시간 로그처리에 특화되어 있음.데이터를 안전하게 전달하는 것이 주 목적.fault-

2022년 4월 18일
·
0개의 댓글

SRE 란?

SRE란 Site Reliability Engineering의 약자로 조직이 시스템, 서비스 및 제품에서 적절한 수준의 안정성을 달성하도록 지원하는 엔지니어링 분야를 의미한다.SRE는 서비스의 인프라와 운영 관점의 문제를 소프트웨어 엔지니어링 기법을 통해 해결하고자 나

2022년 4월 17일
·
0개의 댓글

Kafka란?

Kafka - 수집기술 링크드인에서 개발한 분산 메시징 시스템. 대용량 실시간 로그 처리에 특화되어 있다. Fast: 수 천개의 데이터로부터 초당 수백 MB의 데이터를 입력 받아도 안정적으로 처리가능 Scalable: 메시지를 파티션으로 분리하여 분산 저

2022년 4월 17일
·
0개의 댓글
post-thumbnail

OS - storage management란?

1차 저장장치인 main memory와 2차 저장장치인 disk등을 관리하는 기능main memory를 지칭함.CPU가 직접 접근할 수 있는 기억장치이다.프로세스가 실행되려면 프로그램이 메모리에 올라와야 한다.각 프로세스에 할당하는 메모리 영역의 할당과 해제각 메모리

2022년 4월 17일
·
0개의 댓글
post-thumbnail

OS - process management란?

os = opearting system의 약자hardware를 관리하고, application과 hardware 사이에서 interface 역할을 하며 시스템의 resource와 동작을 관리하는 시스템 소프트웨어주된 기능들os에서 작동하는 application을 관리C

2022년 4월 14일
·
0개의 댓글

Spark API

Spark API RDD RDD = Resilient Distributed Datasets Resilient = 회복력 있는 = 데이터 처리 과정에서 문제 발생- 해도 스스로 복구할 수 있음을 의미 RDD는 파티션 단위로 나뉘고, 여러 머신에서 파티션들을 분산처리하므

2022년 4월 14일
·
0개의 댓글
post-thumbnail

Apache Spark란?

Apache Spark 빅데이터 처리를 위한 오픈소스 병렬분산처리 플랫폼 클라우드의 Apache Hadoop, Apache Mesos, Kubernetes에서 자체적으로 실행될 수 있다. 아키텍쳐 spark application (= spark cluster) 실제

2022년 4월 12일
·
0개의 댓글
post-thumbnail

메모리 종류

cpu는 register, clock, ALU(arithmetic & logic unit, CU(control unit)로 구성되어 있다.register 연산에 필요한 데이터를 저장한다.일반 메모리보다 훨씬 빠른 속도로 접근되도록 설계되었다.clock다른 시스템 구성요

2022년 4월 11일
·
0개의 댓글