DS 부트캠프 다음 취업하기 1일차

1. SQLD 시험 준비

1. LIMIT : 입력시 출력하는 행의 수를 한정하는 역할

selct column1
from table
Limit 5;
-- table에서 column1을 보여주는데 5개만

selct column1
from table
offset 2
limit 5;
-- table에서 column1을 보여주는데 3부터 5개만

2. FETCH : 입력시 출력하는 행의 수를 한정하는 역할

selct column1, column2
from table
ORDER BY column1 desc
FETCH FIRST 5 ROW ONLY;
-- table에서 column1, column2을 보여주는데 column1 내림차순으로 5개만

selct column1, column2
from table
ORDER BY column1 desc
FETCH FIRST 5 ROW ONLY;
-- table에서 column1, column2을 보여주는데 column1 내림차순으로 5개만

2. Kernel Study

이유한님 타이타닉 커널 스터디 1

• Binary Classification
• Feature Type에 따른 다른 접근 방법
  (categorical(One-Hot Encoder), numerical, ordinal(Label Encoder))
• value_counts() 활용

3. 논문 읽기

AN IMAGE IS WORTH 16X16 WORDS:
TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

Introduction :

Transfomer(Self-attention)는 자연어처리에서 훌륭한 성능을 보여줌. 대량의 텍스트 corpus를 사전훈련을 하고, 작은 단위에 특정 자연어 처리를 위해 fine-tuning을 함. Transformer는 계산효율과 확장성으로, data size에 관계없이 엄청난 수의 파라미터를 훈련이 가능하다.

하지만, 컴퓨터 비전 분야에서는 convolutional architecture가 많은 선택을 받고 있다. CNN-like architectures를 self-attention과 합치거나 완전히 self-attention으로 완전히 대체 하는것은 이론상으로는 효율적이지만 아직 scaled 되지 않았다. 그래서 ResNet 같은 architectures가 SOTA임.

기본 Transformers를 이미지에 최소한의 수정을 통해서 직접 적용하는것을 실험함. 이미지를 patch로 나누고 sequence of linear embedding을 input으로 활용. 이 이미지 patche를 자연어 처리에서 token과 똑같은 취급을 함.

mid-sized dataset에서는 실망스러운 결과를 기대할 수 있음 이는 inductive biases(마주하지 않는 데이터에 대한 예측을 잘하기위한 가정)이 부족하다 이는 CNN에서 translataion equivariance와 locality에서 찾을 수 있음.

하지만 larger dataset(14M-300M images)에 대해서는 다름. Vision Transfomer(ViT) 대량으로 pre-train 할 경우 훌륭한 성능을 보여줌.

4. 면접 질문

시간 분배 실패

5. 코딩테스트

시간 분배 실패