profile
성장하는 개발자

[AWS] IAM assume role

IAM 권한 위임 방식 과정을 작성합니다.A ec2는 b-role이라는 권한을 갖고 있고, 해당 권한은 s3에 관한 권한을 전혀 갖고 있지 않습니다.반면에, s3-master-role은 s3 full access policy를 갖고 있습니다.이러한 상황에서 A ec2에

2022년 3월 12일
·
0개의 댓글

[Docker] 도커 이미지로 Redmine 설치하기

도커 이미지를 활용하여 레드마인을 설치한 내용에대해 작성합니다.Docker 설치cat > install-docker.sh 입력 후 아래 내용을 입력하여 쉘스크립트 파일 생성sudo chomod u+x install-docker.sh로 실행권한 부여./install-do

2022년 2월 17일
·
0개의 댓글

[Python] json_normalize & reindex

json_normalize를 활용하여 json 형태의 데이터를 갖고 있는 열을 데이터 프레임으로 만든 후 reindex로 데이터 프레임의 열 설정을 해주는 과정입니다.json 형태의 Event_Value열 안에 category의 경우 value로 다시 json list

2022년 2월 4일
·
0개의 댓글

[Python] 계정을 key 값, path list를 value 값으로 갖는 dictionary

airflow 에서 lambda 함수를 호출 할 때, path list가 너무 긴 경우 read timeout이 발생하여 path list의 크기가 20 이하가 되도록 account가 key 값, path list가 value 값인 딕셔너리 형태를 만들 때 활용한 코드

2022년 2월 4일
·
0개의 댓글
post-thumbnail

[Spark] 로컬에서 spark 실행하기(windows)

로컬에서 spark로 s3서비스를 접근하는데 많은 삽질을 하여 로컬 spark 실행에 관한 내용을 남겨놓습니다.spark 설치링크 : https://spark.apache.org/downloads.html이전에 듣던 강의 자료에서 Hadoop 2.7버전을 사용

2022년 1월 29일
·
0개의 댓글

[python] pandas로 json 데이터 다루기

api로 데이터를 받으면, json 형태로 데이터가 들어가 있어 가공하기 편한 형태로 변환 후 적재가 필요한 경우가 있습니다.ast.literal_eval("json_string")을 사용하면, 문자열을 읽어서 파이썬의 기본 타입(dict와 list 같은)으로 변경합니

2021년 12월 14일
·
0개의 댓글

[MongoDB] Spring Boot Embedded MongoDB 연결

AWS의 documentDB의 경우 ec2를 통한 접속이 필요하여, local에는 Embedded MongoDB를 연결하였습니다. MongodbConfig에서는 환경변수 별로 MongoClientSettings가 달라지도록 구성하였습니다.참고Embedded Mongod

2021년 12월 14일
·
0개의 댓글

[AWS] python boto3 사용

boto3는 Python 애플리케이션과 AWS 서비스를 연결해주는 서비스입니다.가장 흔하게 로컬의 access key를 사용하는 경우와 profile을 사용하여 다른 aws 계정에 접근하는 경우를 기록합니다.첫 번째로, 로컬의 access key를 사용하여 s3에 연결

2021년 11월 24일
·
0개의 댓글
post-thumbnail

[AWS] AWS Lambda

AWS Lamda를 처음 사용해본 경험을 기록합니다.Lambda는 서버리스하게 함수를 실행시킬 수 있는 서비스입니다.import 하는 모듈 관련하여 에러가 발생했는데 두 가지 방법으로 해결할 수 있었습니다.첫 번째로는, Layers에 ARN을 추가하는 방법이 있습니다.

2021년 11월 23일
·
0개의 댓글

[AWS] AWS에 nginx와 docker로 Django 프로젝트 빌드하기

nginx를 활용하지 않고, 단순히 ec2에서 docker를 실행하면 서버와의 ssh 연결이 끊기면 서버도 끊기기 때문에 nginx를 사용합니다.이전에 작성한 docker로 djagno 프로젝트 빌드하기에서 django 프로젝트 폴더 이외에 nginx를 설치할 폴더를

2021년 11월 21일
·
0개의 댓글

[AWS] AWS에 docker로 Django 프로젝트 빌드하기

aws에 Django 프로젝트 빌드하는 과정을 기록합니다.<서버 콘솔>github clone을 위한 deploy key 생성 :ssh-keygen -t rsa -> Enter file in which to save the key 그냥 엔터 -> enter pass

2021년 11월 21일
·
0개의 댓글

쿠키와 세션

쿠키란?브라우저에 저장되는 정보유효시간이 정해져 있고, 해당 시간이 지나지 않는다면 브라우저를 꺼도 유지클라이언트에 저장되는 정보이기 때문에, 민감하지 않은 데이터만 쿠키에 저장 됨동작방식클라이언트가 페이지를 요청서버에서 쿠키를 생성HTTP 헤더에 쿠키를 포함 시켜 응

2021년 11월 14일
·
0개의 댓글
post-thumbnail

[AWS] auto scaling

AWS의 auto sacling을 사용하여 사용량에 따라 탄력적으로 ec2 수를 늘였다, 줄였다 할 수 있습니다.auto scaling은 자동으로 ec2를 생성해 주어야 하기 때문에 실행 템플릿과 연결되어야 합니다.auto scaling에 로드밸런서를 연결하지 않을 수

2021년 11월 14일
·
0개의 댓글

[AWS] AWS에 nginx로 Django 프로젝트 배포하기

nginx 웹서버를 활용하여 django 프로젝트를 배포해주면 python manage.py runserver 0.0.0.0:8000와 같은 서버 실행문을 ec2마다 들어가서 실행해줄 필요 없이 서버를 원하는 상태로 띄워두고, 원하는 서버 상태까지 포함하여 ec2 이미

2021년 11월 14일
·
0개의 댓글
post-thumbnail

[AWS] Load Balancer & Route53 & CloudFront

AWS의 loadbalancing 서비스를 활용하여 부하를 분산하고, route53 서비스를 활용하여 특정 도메인 이름에 연결하는 방법을 정리하겠습니다.우선, 로드밸런서를 생성하기 전에 대상그룹을 생성합니다.대상 그룹에서는 연결할 ec2, 포트번호, http proto

2021년 11월 7일
·
0개의 댓글

[AWS] AWS에 git clone으로 Django 프로젝트 배포하기

aws에 Django 프로젝트를 배포한 과정을 기록합니다.<로컬 콘솔>현재의 작업환경(가상환경)에 설치되어 있는 패키지의 리스트를 모두 출력해줌 : pip freeze >> requirements.txt<서버 콘솔>sudo apt updatesudo apt-

2021년 10월 31일
·
0개의 댓글

intelliJ utf-8 설정하기

intelliJ에서 utf-8 인코딩이 되지 않아, 한글이 깨지는 경우 아래의 설정을 통해 해결할 수 있습니다.File -> Setting -> encoding 검색 -> File Encodings -> Project Encoding과 Default encoding f

2021년 10월 5일
·
0개의 댓글
post-thumbnail

AWS glue에서 spark와 notebook 활용하기

열명 변경 처리를 하기 위해 AWS glue 서비스를 활용하여 spark와 notebook을 사용하는 방법에 대해 정리합니다. 엔드포인트 추가노트북과 연결하기 위한 엔드포인트를 추가합니다.S3, sagemaker등 필요한 서비스에 접근할 수 있는 역할을 생성 후 연결합

2021년 10월 5일
·
1개의 댓글
post-thumbnail

AWS 네트워크 설정

AWS 사용의 시작이자 기본이되는 네트워크 설정 관련하여 작성합니다.첫 번째로, aws의 가상 네트워크인 vpc를 생성합니다.vpc는 하나의 region에 속해야 합니다.테넌시 설정은 default로 하여 aws위에서 서비스를 사용할 수 있도록 합니다.(전용을 선택할

2021년 10월 4일
·
0개의 댓글

Java로 csv 파일 생성후 AWS S3에 저장

쉼표로 분리할 경우 데이터 나누기가 잘못되어, 탭을 구분자로 사용하기 위해 아래와 같이 tsv파일 생성 후 s3에 업로드 하였습니다.

2021년 9월 29일
·
0개의 댓글