# pipeline

20개의 포스트
post-thumbnail

Dynamic pipelines

소스 원소source element필터 원소filter싱크 원소sink element디먹서 원소demuxer각 원소에는 pad라는 구성 요소를 가지고 있다.소스에는 src pad, 싱크에는 sink pad, 필터의 경우에는 src 와 sink pad를 동시에 가지고 있

2021년 8월 31일
·
0개의 댓글
post-thumbnail

AWS 배포 자동화

aws의 배포 자동화

2021년 8월 20일
·
0개의 댓글
post-thumbnail

GStreamer concepts 에서 추가적으로 설명한 개념

gstreamer의 기본 구성 블럭기본 구성 블럭첫번째 인자는 원소의 타입.두번째 인자는 원소의 이름.videotestsrc 는 비디오 패턴을 만들어내는 소스.autovideosink 는 이미지를 받아서 윈도우 상에 표시해주는 싱크. 가장 적합한 것으로 자동 선택해준다

2021년 8월 19일
·
0개의 댓글
post-thumbnail

[Spark] ML Pipeline 만들기

전처리에 사용했던 피처 관련 라이브러리를 스테이지에 어레이 형태로 모아줌파이프라인에 사용할 알고리즘 모델도 어레이에 넣어줌스파크가 제공하는 파이프라인에 모아둔 어레이를 스테이지 인자로 넘겨줌훈련에 사용할 컬럼들을 골라주고 트레인, 테스트셋 만들어줌만든 파이프라인에 트레

2021년 7월 27일
·
0개의 댓글
post-thumbnail

[Spark] ML Pipeline

하나씩 테스트? 다수를 동시 테스트?교차검증, 홀드 아웃 등 스파크에서 제공하는 테스트 방법으로 테스트파이프라인이 다수를 동시에 테스트 하는 것을 수월하게 해줌교차 검증: CrossValidator훈련/테스트셋 나누기: TrainValidationSplithttps&#

2021년 7월 27일
·
0개의 댓글
post-thumbnail

[Spark] Spark MLlib ML Pipeline

트레이닝 셋의 관리가 안됨모델 훈련 방법이 기록이 안됨모델 훈련에 많은 시간 소요모델 훈련이 자동화가 안된 경우 매번 각 스텝들을 노트북 등에서 일일히 수행에러가 발생할 여지가 많음(휴먼오류?)앞서 언급한 문제들 중 2, 3번을 해결가능자동화를 통해 에러 소지를 줄이고

2021년 7월 26일
·
0개의 댓글
post-thumbnail

[Dining-together] MSA 환경 네이버 클라우드 서버에 Jenkins multi branch pipeline 을 이용해 빌드 테스트 docker 배포하기 자동화 (2)

mkdir /docker/jenkinsdocker run -d \\ \--name my_jenkins \\ \-p 8080:8080 \\ \-v /docker/jenkins:/var/jenkins_home \\ \-v /var/run/docker.sock:/var/ru

2021년 7월 17일
·
0개의 댓글
post-thumbnail

[Dining-together] MSA 환경 네이버 클라우드 서버에 Jenkins multi branch pipeline 을 이용해 빌드 테스트 docker 배포하기 자동화 (1)

네이버 클라우드 서버에 Jenkins multi branch pipeline 을 이용해 빌드 테스트 docker 배포하기 자동화 이전에 빌드와 테스트 자동화까지는 진행했다. 이번 글을 도커로 배포까지 자동화하는 과정을 설명하겠다. > - FROM: 생성할 이미지의

2021년 7월 17일
·
0개의 댓글
post-thumbnail

Jenkins + Github을 이용한 리액트 앱 자동 배포 (with aws S3)

이 글에서는 Jenkins, Github, aws S3를 활용하여 리액트 앱을 배포(호스팅)하는 방법을 소개합니다.호스팅은 S3 버킷 정적 호스팅 기능을 이용하며, 추후 Route53, Cloudfront와 같은 AWS 서비스를 사용하여 도메인 연결까지도 가능합니다.

2021년 5월 28일
·
0개의 댓글

TIL - pipeline, IO redirection

리눅스 환경에서 세미콜론으로 여러 명령어를 한번에 실행할 수 있다.\-why라는 디렉터리를 만들고 그 폴더로 바록 이동하고 싶다면 다음과 같은 명령어를 수행하면된다. ;(semicolon)를 사용하여 여러 명령을 동시에 수행할 수 있다.cat : 해당 파일의 내용을 불

2021년 5월 4일
·
0개의 댓글
post-thumbnail

파이프라인 구조

파이프라인 구조란?

2021년 4월 8일
·
0개의 댓글

HINT: remove __pycache__ / .pyc files and/or use a unique basename for your test file modules

파이프라인에서 테스트 코드 실행 시 디렉토리로 구분되어 있으나 테스트명이 같은 경우 문제가 생긴다.이런 경우 테스트 파일과 같은 레벨에 \_\_init\_\_.py를 넣어주면 된다.https://stackoverflow.com/questions/12582503

2021년 4월 6일
·
0개의 댓글
post-thumbnail

컴퓨터 구조 MIPS 파이프라인

MIPS 파이프라인의 스테이지와 해저드별 솔루션에 대해 알아봅시다.

2021년 3월 17일
·
0개의 댓글

MongoDB Pipeline을 활용한 데이터 실시간 수정

DB상 동시 수정이 필요한 경우 조회 -> 수정 시 시간차로 인한 오류가 발생할 수 있음.따라서 MongoDB Pipeline 방식을 활용하여 현재 데이터 조회하고 이를 기반으로 수정 값을 업데이트 하는 방법을 은행 출금 알고리즘에 적용함.(구글에 검색했을 때에는 조회

2021년 2월 11일
·
0개의 댓글
post-thumbnail

elasticsearch | pipeline & reindex

todolist1\. @timestamp 참조하여 localDate field 생성 (UTC, +09:00)2\. create date index name pipeline 3\. reindex using a pipelineReferenceshttps://www

2020년 9월 25일
·
0개의 댓글

Jenkins Pipeline

Jenkins Pipeline

2020년 9월 14일
·
0개의 댓글

[개발을 위한 개발] Bitbucket의 pipeline을 통한 Elastic Beanstalk 배포자동화

나는 어떤 새로운 프로젝트를 시작할때면 항상 개발환경 구성에 애를 먹곤 했다. 앞으로는 빠른 환경구성을 위해 "개발을 위한 개발"이라는 타이틀로 정리를 할까한다. 나보다 트렌디한 개발자의 조언으로 알게된 배포 자동화 당시 회사에서는 AWS의 Elastic Beanstalk에 압축파일을 직접 업로드하는 방식을 사용하고 있었다. 코드 작성 -> 빌드...

2019년 8월 27일
·
1개의 댓글