파이썬 메모리 사용과 자료형 4.1 메모리 관리 개요 메모리 관리 : 프로그램 실행 중 필요한 데이터를 저장하고, 필요 없어진 데이터를 제거하는 과정 자동 메모리 관리 : 가비지 컬렉션을 통해 불필요한 메모리를 자동으로 해제 그래서 주마다 설정해서 flush 하는 작업
Welcome to innovators 고가용성을 위한 cloud 구축의 필요성 data ai 를 위한 리소스 - 클라우드의 상호호환성이 중요 ㅋㅋ (근데 얘내들도 outbound 는 돈받음) 보안강화 (당연한거긴함) planet-sacle protection ㅋㅋㅋ
모델 하나를 잡고 파보는 경험이 필요함RAG는 Generation 하기 위한 방법임파이토치로 모델을을 실험할때 많이 쓰임텐서는 고치기 힘듬 7빌리어 이하가 sLLM 임! LangChain 의 문법이 너무 많아서 일부를 활용해서 써야함 PEFT 평가를 2번을 하는데 R
MySQL 몇가지 특성Nested Loop Join 만 가능HASH 나 이런건 플러그인을 설치하든 외부에서 작성된것을 Import이 조인만 가능하다는 것은 외부 테이블 건수에 따라서 처리해야할 대상이 많아짐, 적절한 드라이빙 테이블 대상을 선정해야함(선행 테이블 사이즈
한장요약 상황에 대한 이해Check1. 문제가 된다고 하는 서비스를 바라보는 table이나 view가 어딘데? 문제점 : 현업(데이터 분석팀)에서 전달받은 문제가 된다고 하는 데이터 셋쪽의 DB는 데이터 분석 팀의 DB이기 때문에 접근이 불가능함 \*대체 해결점 : 그
조인수행시 조인기법NL Join(Nested Loops join) : 중첩된 반복문, 랜덤 엑세스2개 이상의 테이블에서 하나의 집합을 기준으로 순차적으로 상대방 row를 결합하여 원하는 결과를 조합하는 조인방식 조인해야할 데이터가 많지 않을 경우에 유용하게 사용됨 드라
ddddddddddddddddddddddddddddddddddhttps://grafana.com/grafana/dashboards/6102-timescaledb-hypertables/
• Disaster : 비즈니스에 심각한 부정적인 영향을 주는 사건✓ Natural disasters – 지진, 홍수 등✓ Technical failures – 전원 실패, 네트워크 연결 문제 등✓ Human actions – 부주의한 조작/설정, 허용하지 않은 사람의
Comprehend• 텍스트 안에서 특정 항목을 찾아내는 서비스• 예, 분석 보고서에서 회사 이름 찾기,부정적인 후기 또는 고객 서비스 상담사와의 긍정적인 고객 상담Rekognition• 이미지, 비디오 분석 (이미지에서 얼굴 탐지, 사물 인식)Polly• 텍스트를 음
Elastic Beanstalk• 웹 애플리케이션 및 서비스를 배포하고 운영하는 서비스• 사용자가 직접 인프라 리소스를 구성할 필요 없고 애플리케이션 코드에만 집중하면 됨• 코드를 업로드하기만 하면 Elastic Beanstalk가 용량 프로비저닝, 로드 밸런싱, Au
Serverless• 서버를 사용자가 관리할 필요가 없다는 의미• 실제로 서버는 존재하며 서버 인프라 운영은 AWS등의 클라우드 회사에서 담당• AWS에서 용량조정, 프로비저닝, 패치 등의 인프라를 관리• 사용자는 필요한 애플리케이션을 구축해서 사용하기만 하면 됨• 대
Container• 컨테이너는 애플리케이션 구성라이브러리를 패키지로 묶어서 컨테이너 엔진위에서 실행하는 것• OS환경이 바뀌어도 구동 가능하며 각각의 컨테이너가 독립적임• 대표적인 플랫폼으로 Kubernates와 Docker가 있음• 마이크로서비스를 배포하는데 주로 이
CloudFormation• AWS인프라 세트를 수동으로 프로비저닝하면 많은 노력이 소요됨• 예, AMI생성, EC2생성, 보안그룹적용, Auto Scaling, ALB등의 세트를 수백 대 여러 리전에 배포한다면?• 수동 작업 말고 코드를 작성하여 자동화 한다면?• 코
DNS (Domain Name System) & Route 53• DNS는 사람이 읽을 수 있는 도메인 이름(예: www.amazon.com)을 컴퓨터가 읽을 수 있는 IP 주소(예: 192.0.2.44)로 변환하는 시스템• Route 53은 AWS에서 제공하는 DNS
AWS Organizations• 여러 AWS 계정을 중앙에서 관리• Organizations는 글로벌 서비스• 전체 계정을 관리하는 계정을 관리계정(Master Account)라고 함• 그 외의 계정은 멤버 계정이라고 부름• 조직관리를 위해 OU(Organizatio
AWS Cognito, AWS Single Sing-OnAWS Cognito• 애플리케이션에 대한 로그인 및 인증을 제공하는 기능• 웹과 모바일 앱에 빠르고 사용자 가입, 로그인 및 액세스 제어 기능• 애플, 구글, 페이스북 등의 계정과 통합 가능AWS Single S
Simple Queue Service (SQS)• Queue는 대기한다는 의미• SQS는 메시지를 대기하는 기능• 애플리케이션 간에 느슨한 결합 제공(decoupling)• 시나리오: 쇼핑몰 주문SQS Queue• SQS는 Poll 방식으로 메시지를 전송 (Consum
Amazon Athena• 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 분석할 수 있는 쿼리 서비스• Athena로 데이터를 로드 할 필요 없이 S3에 저장된 데이터를 직접 사용• CSV, JSON, ORC, Avro 또는 Parquet와 같은 다양한 종류
관계형 데이터베이스 (RDS)• 데이터들이 서로 연결되어 관계들로 구성된 데이터베이스• 데이터를 테이블 형태('스키마'라고 부른다)로 관리 하여 관계를 통해서 연결된 여러 테이블에 분산• SQL 언어를 사용하여 데이터를 검색 및 조작• 데이터를 중복없이 다루기에 데이터
CloudFront • 콘텐츠 전송 네트워크 서비스 (CDN, Contents Delivery Network)• 엣지 로케이션의 콘텐츠 캐싱을 이용해 콘텐츠를 사용자에게 더 빨리 배포하도록 지원하는 서비스• 전세계에 배포된 200개 이상의 엣지 로케이션을 이용하여 콘텐