# Knowledge
AWS -9. Well-Architected Framework
The Six Pillars 1. Operational excellence > The ability to operate all of your infrastructure and operations as code Perfoming operations as code Make frequent, small, reversible changes Refine Operations procedures frequently Anticipate failure 2. Performance efficiency > The ability to use computing resources efficiently to meet your system requirements and maintain that as you scale Making sure you scale in small increments to avoid "over-scaling" Democratize advanced
AWS - 8. Databases
Database Types in AWS | Name | DB Type | Features | |-------------|-------------|------------------------------------| | RDS | SQL | Transactional | | Aurora | SQL | Transactional | | Redshift | SQL | Data Warehouse | | DynamoDB | Key/Value | Small Values | | KeySpaces | Key/Value | Large Values | | Neptu
AWS - 7. Redshift
Redshift > AZ scoped Data warehouse that can go up to 2PB It is OLAP which has high latency and not applicable for production database. Column based storage which enables compression for each column and manipulating columns is fairly quick Supports bulk update Does NOT guarantee primary key uniqueness Infrastructure > Use RA3 node type If ANY of the nodes fail, the entire AZ scoped
AWS - 6. Storage Services
EBS (Elastic Block Store) > Primary offering to create and manage file systems and disc space, it is thick provisioned Basics It is accessed through EC2 endpoint OS will view it as a local block device Volume Types SSD SSD is designed for primarily smaller bits of data that are accessed randomly. gp2 Operates on a creadit and burst system. gp3 Allows to provision the number of IOPS and the amount of throughput for the storage. Has a lower ceiling for the overall perf
AWS - 5. EC2
Types of Compute Services EC2: Dedicated to serving virtual machines ECS & EKS: Designed for Docker and/or Windows containers Lambda: Serverless Functions Batch: Batch processes in containers Beanstalk & LightSail: Dedicated for website service EC2 > AZ scoped with regional endpoints that serves as a virtual machine that is launched in a single subnet Basics Processors EC2 offers AMD, Intel, Gravitron, Apple M1 chips. The compute power is defined by vCPUs, which
AWS - 4. Network Connections
VPC Peering > Connecting 2 VPC networks Cross region Cross account No overlapping CIDR ranges for connected VPCs AT ALL Configuration 2 VPCs will have different fuctions, one as a requestor and one as an acceptor. Establish the VPC peering connection from the acceptor VPC and add route table entries in both VPCs. Cons VPC peering does not scale very well because it requires a mesh for connections Configure with Console Create two separate VPCs as requestor and acc
AWS - 3. Network Services
VPC (Virtual Private Cloud) What is a VPC? > The VPC network itself is region scoped VPC is used for almost everything that has a scope of AZ (Availabilty Zones) First thing to setup is the CIDR address. An individual VPC also supports up to 5 CIDR ranges as long as they're within the same base range. So, if you create a new VPC network and assign 10.0.0.0/16 to it, any other CIDR ranges that you apply also need to start with 10. You cannot apply a 172.16.0.0 or a 192.168.0.0 T
AWS - 2. API Endpoints
Everything in AWS is 100% API-driven AWS Services API Endpoints AWS services are terminated with a service API endpoint that accepts REST API requests and methods. Each service API endpoints are terminated regionally. Even if the service is provided at a global reources, there are still regional endpoints to access. Ways of Accessing Endpoints Console Require username and password. All it's doing is invoking the forms that are filled out to the API endpoints. Pros: C
AWS - 1. Building Block & Policies
AWS Overview AWS is the world's most comprehensive and boardly adopted cloud platform > Cloud: On-demand, Pay as you go, Network-accessible Shared Responsibility Model Shared responsibilities for the ownership of different parts of the infrastructure, the services, the features, and resources that are launched into the AWS ecosystem. AWS Provide security OF the cloud itself (servers, storage, network hardware, physical data-centers, etc.) Making sure that the requested task th
AWS 기본 -2
EC2 After Creating the instance You can access the instance with public IPv4 address. Later if you have purchased a domain, connect it with Route53 Public IPs will change when servers are shutdown and re-intiated. If you want a stable IP address, use Elastic IP Test Connection Go to connect on the instance you want to connect and open SSH client tab Follow the instructions Inbound Rules For security options, add an inboud rule to enable HTTP, port 80 from your IP address.
AWS 기본 - 1
EC2 인스턴스: 가상 컴퓨팅 환경 AMI (Amazon Machine Image): 인스턴스 템플릿 만든 인스턴스는 키페어를 통해서 로그인 할 수 있음 인스턴스 스토어 볼륨: 임시 데이터를 저장하는 스토리지 볼륨으로 인스턴스 중다, 최대 절전모드로 전환 또는 종료 시 삭제됨 Elastic IP: 인스턴스의 고정 IP 태그: 사용자가 생성하여 Amazon EC2 리소스에 할당할 수 있는 메타 데이터 VPC (Virtual Private Cloud): AWS 클라우드에서는 논리적으로 격리되어 있지만 원할 때마다 고객의 네트워크와 간편히 연결할 수 있는 가상 네트워크 EC2 구성도 EC2 인스턴스 생성 
Django 디자인 패턴 - 1
Normalization > Best Practices: Normalize while designing, denormalize while optimizing First Normal Let's say we have the first data structure like this. | Name | Origin | Power | Latitude | Longitude | Country | Time | |-----------|-------------|-------------|----------|-----------|---------|------------| | Blitz | Alien | Freeze | 10 | -15 | USA | 2023/04/29 | | Blitz | Alien | Flight | 10 | -15 | USA
Django 기능 요약
기본적인 django 프로젝트 구성을 이해한 상태로 가정함. Shell filters get() filter() order_by() HTML variables They are usually passed in as context Python code When using python code, the shell scripts also work the same way. url links polls/urls.py polls/templates/polls/index.html The href is interpreted as polls/detail and question.id is passed in as the /. polls:detail means, go to polls app and find the name "detail". HTTP Forms `po
자주 쓰는 커맨드 저장 - Makefile
Makefile 프로그래밍을 하다보면 해당 디렉토리 또는 프로젝트에서 자주 쓰는 커맨드가 등장한다. 예를 들어, 이 커맨드는 poetry 환경에서 django 프로젝트를 실행 시킨다. 계속해서 써야 하는 입력인데, 다 치기도 귀찮고 어쩌다 오타가 나면 더 귀찮아진다. 오늘 알게 된 Makefile은 이 고민을 해결해준다. 1번 커맨드를 2번 커맨드로 깔끔하게 바꿔준다. 만드는 방법은 간단하다. 파일 만들기 원하는 디렉토리로 간다. Makefile 이라는 파일을 만든다. 확장자도 필요없다. 이 안에 원하는 커맨드를 담는다. 
Venv vs Pipenv vs Poetry
서론 로컬 환경으로 개발을 하다보면, dependency 충돌이 일어나거나 "내 컴퓨터에서는 되는데 왜 안되지?" 하는 경우가 자주 발생한다. 이런 사태를 미리 방지할 수 있는 방법으로 파이썬을 다루는 개발자는 대부분 위 셋 중 하나를 선택한다. 필자도 개발 환경에 대해서 지식이 많은 편이 아니라 깊게 설명은 못하지만, 파이썬에 입문하는 사람에게 도움이 되었으면 한다. Terms Package managment tool: 3rd-party 라이브러리를 간편하게 설치, 제거, 업데이트 하는 기능을 가진다. 패키지 매니저가 없다면, 아마 깃헙이나 cURL을 이용해서 모든 패키지를 설치해야 할 것이다. *A package manager or package-management system is a collection of software tools that automates the process of installing, upgrading, configur
Django와 PostgreSQL 연결하기
요구사항 장고 설치 $ pip3 install Django postgres와 파이썬을 연결시켜줄 psycopg2 설치 $ pip3 install psycopg2 설치에서 wheel 에러가 나시는 분들은 아래 방법으로 설치 $ pip3 install psycopg2-binary .env 파일을 읽기 위해 $ pip3 install python-dotenv 새로운 프로젝트 디렉토리 생성 $ django-admin startproject myproject 앱 생성 $ python3 manage.py startapp myapp Postgres 서버 만들기 Pgadmin4 다운로드: https://www.pgadmin.org/download/ PostgreSQL 15 다운로드: https://www.postgresql.org/download/ pgadmin c
Paper Review #8 - Feature Pyramid Networks for Object Detection
Lin, Tsung-Yi, et al. “Feature pyramid networks for object detection.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017 Feature pyramid는 다양한 스케일의 object를 탐지하기 위한 방법이다. 본 논문에서는 DCN(Deep Convolution Network)에서 다중 스케일 피라미드 계층구조를 사용해 feature pyramid를 구축한다. Lateral connection을 포함한 Top-down 구조를 통해 모든 scale에서 고차원의 semantic feature map을 구축한다. 또한 FPN을 Faster R-CNN에 적용한다. Preview 이 논문에서 언급하는 Pyramid란 Convolution network를 통해 얻은 feature map을 피라미드 형태로 쌓아올린 것을 의미한다.
[CS 224n #7] Locating and Editing Factual Associations in GPT (NeurIPS, 2022)
Summary Goal: GPT 안에서 factual association의 evidence를 찾아라! Approach : Where : 어디에서 중요한 역할을 하는지 찾기 위해 CAUSAL EFFECT ANalysis 적용 How : 어떻게 fact를 Storage 하는지 찾기위해 개발한 ROME (Rank-One Model Editing) 이용해서 feed-forward의 weights 조정해서 특정 factual association들을 update 해봄. Findings middle-layer feed-forward modules step에서 factual prediction을 위한 mediation 역할을 하고 있단 것을 발견 computational mechanism을 바로 manipulation하는 것이 실현 가능하다는 것 입증 > paper: https://arxiv.org/abs/2202.05262 > github:
[Point Review] HyperDet3D: Learning a Scene-conditioned 3D Object Detector
Contribution 기존의 point cloud 3D object detection은 2D plane에 투영시켜 2D detector를 적용하는 view-based methods와 3D convolution을 적용하는 volumetric convolution-based methods를 활용해왔다. 이러한 방법들은 object 혹은 relation만을 강조하지만 유사한 특성을 가지는 object들을 판별하기 어려운 경우가 있다. -> "scene-level 정보를 prior로 주어 ambiguity를 제거하자" Methods 
[논문 리뷰] Knowledge-inspired 3D Scene Graph Prediction in Point Cloud
Introduction Scene understanding은 AR/VR, robot navigation 등 여러 분야에 유용하지만 scanned 3D data는 incomplete하기 때문에 scene을 정확하게 이해하는데 어려움이 있다. 사람은 scene에 대해 이해할 때 visual perception 뿐만 아니라 흔히 지식 혹은 상식(knowledge)이라 부르는 class 간의 관계나 조합을 고려한다. Scene graph prediction에 있어 prior knowledge를 활용하는 방법에는 한계점이 존재한다. > 1. Static knowledge는 knowledge sources나 domain에 따라 불완전하거나 부정확할 수 있다. > 2. Visual information으로부터