post-thumbnail

AI 학습을 위한 GCP 설정(인스턴스 생성, VSCode 연결, Docker 환경설정)

AI 경진대회나 개인적으로 도전하고 싶은 분야의 AI 학습을 위해 GPU 환경을 만들 필요가 있었다. 지금까지는 Google Colab을 무료로 활용해 왔지만, 이전에 사용해본 결과 무료로 쓰려면 GPU 사용한도가 있어 하루에 일정 이상 학습하면 GPU를 일정 기간 쓸 수 없는 문제가 있었다. 그래서 Colab Pro를 사용할까 고민했었는데, 연동할 카드가...

2022년 5월 2일
·
0개의 댓글
post-thumbnail

[프리온보딩 AI/ML] 논문 리뷰 - "Attention is all you need"

기존의 성능 좋은 모델들은 대부분 Encoder와 Decoder 구조를 갖는 CNN이나 RNN 모델이었다. 여기서 저자는 CNN이나 RNN 구조를 없애고 attention mechanism만을 적용한 구조를 제안하였다. 이를 통해 성능 향상 뿐만 아니라 병렬화가 가능해져 학습에 더 적은 시간을 필요로 하게 되었다. 해당 논문 이전까지, Language m...

2022년 3월 9일
·
0개의 댓글

[프리온보딩 AI/ML] 1주차 Day 3 과제

1. Paperswithcode에서 NLG extractive summarization task에 대해서 본인 블로그에 정리해보세요. 아래 3가지 항목에 대해서 정리하세요. (각 항목 고려 사항 참고) 문제 정의 task가 해결하고자 하는 문제가 무엇인가? 데이터셋 소개(대표적인 데이터셋 1개) task를 해결하기 위해 사용할 수 있는...

2022년 2월 23일
·
4개의 댓글
post-thumbnail

[프리온보딩 AI/ML] 1주차 Day 2 과제

1.Paperswithcode(https://paperswithcode.com/task/natural-language-understanding)에서 NLU sub task 중 하나를 선택하여 본인 블로그에 정리해보세요. 아래 3가지 항목에 대해서 정리하세요. (각 항목 고려 사항 참고) 문제 정의 task가 해결하고자 하는 문제가 무엇인가? 데이터셋 ...

2022년 2월 22일
·
4개의 댓글

[프리온보딩 AI/ML] 1주차 Day 1 과제

1. 본인이 본 강의를 수강하는 목적에 대해서 자유롭게 적어보세요. 기업의 실무 과제를 수행하며 기업에 맞게 필요한 task를 학습하고 취업하는 것이 1차 목표이며, 취업까지 연결되지 않더라도 다른 기업의 요구사항에 맞게 스스로 프로젝트를 설계하고 수행하는 능력을 기르며, 근본적인 NLP 지식을 기르는 것이 2차 목표입니다. > 2. Paperswit...

2022년 2월 21일
·
4개의 댓글

[Boostcamp AI Tech] [Product Serving] 19주차 Day 4 학습 기록

요약 하루종일 Input dimension 바꿀 방법 찾는데 못하고있음 Pytorch to ONNX : ONNX로 변환할 때 방법이 일단 Pytorch 모델을 한 번 Inference하고 그 과정을 Graph로 기록하는 것이기에, Pytorch 모델에 맞는 Input shape을 넣어줘야 가능함. ONNX to Tensorflow : 변환 함수에 Axis...

2021년 12월 9일
·
0개의 댓글

[Boostcamp AI Tech] [Product Serving] 19주차 Day 3 학습 기록

요약 Pytorch to TFLite 변환 성공(.tflite 파일 추출), 앱 개발 파트에 넘겼으나 dimension error가 났음. 무엇을 했나요?

2021년 12월 9일
·
0개의 댓글

[Boostcamp AI Tech] [Product Serving] 19주차 Day 2 학습 기록

요약 오늘도 강의 대신 최종 프로젝트에 집중했다. 무엇을 했나요? 어제까지 완료한 Pytorch to ONNX 작업에 이어, ONNX 파일을 Tensorflow를 거쳐 TFLite로 변환하는 코드 작성 무엇을 했나요? 어제에 이어 Pytorch 모델을 .tflite 파일로 변환하는 작업을 완료하였다. Pytorch model -> ONNX -> Ten...

2021년 12월 7일
·
0개의 댓글

[Boostcamp AI Tech] [Product Serving] 19주차 Day 1 학습 기록

드디어 마지막 stage인 Product serving에 도달하게 되었다. 이전부터 자주 글로 소통하시던 마스터님이셔서 그런지 강의도 엄청나게 많고 내용도 많아보였다. 최종 프로젝트와 같이 병행해야 해서 모든 지식을 습득할 수 있을 지 걱정되지만, 두 마리 토끼 다 잡도록 노력하자. 요약 강의 듣는 거 보단 최종 프로젝트부터 진행하는게 좋다고 판단함. ...

2021년 12월 6일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 18주차 Day 2 학습 기록

요약 무엇을 했나요? 어제 학습한 모델 제출 -> 속도는 조금 느려졌지만 더 높은 성능의 모델 depth 파라미터를 최대치로 고정시키고 optuna optimize -> 기존과 성능은 큰 차이 없는데 파라미터 수만 엄청 늘어나서 중지 기존 trial 중 현재 모델과 비교해 조금 느리지만 성능이 좋게 나온 파라미터로 재학습 무엇을 했나요? 일어나서 어제 ...

2021년 11월 30일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 18주차 Day 1 학습 기록

요약 무엇을 했나요? 주말동안 서버에 PostgreSQL 설치 후 Optuna와 연동 -> study를 DB에 저장하고 load하여 기존 trial에 이어서 trial 가능! Optuna visualization 시도 -> 뭔가 에러가 나옴(zero weight), 해결 못함 Trial 중 mean time이 가장 낮은 모델의 파라미터를 대입해 yaml 파...

2021년 11월 29일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 17주차 Day 5 학습 기록

요약 무엇을 했나요? 마스터님의 대회 조언을 보고 trial의 수와 epoch 수를 줄이고 hyperparameter를 고정하여, 모델 변화에 따른 차이만 두고 학습 진행중 코드 분석 및 Optuna tutorial을 참고하며 해야 할 일 정리(DB 연동, Pruning 적용, Visualizing 적용, early stopping 적용) 무엇을 했나요?...

2021년 11월 26일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 17주차 Day 4 학습 기록

무엇을 했나요?제공받은 Optuna + baseline 코드를 보면서 Optuna의 활용 방식과, Optuna 라이브러리의 이해를 위해 Reference 및 Github에서 코드 분석피어 세션분석한 Optuna baseline 코드를 다른 팀원들에게 설명어제 혼자서는

2021년 11월 26일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 17주차 Day 3 학습 기록

요약 강의 내용 AutoML AutoML 라이브러리인 Optuna에 대한 코드 및 실습 무엇을 했나요? baseline 코드에 Optuna를 적용시킬 방법 연구 피어 세션 기업 파트너 ART Lab 발표세션 내용 공유 데이터의 중요성 DEVIEW 얘기 최종 프로젝트 client 관련 대화 강의 내용 AutoML 기존의 ML 학습 방법 : Mode...

2021년 11월 24일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 17주차 Day 2 학습 기록

강의 내용경량화 : On-device로 낮은 사양의 기기에서 모델을 돌릴 수 있게 하거나, 비슷한 성능을 더 적은 자원으로 사용할 수 있게 함.경량화 종류 : AutoML, Pruning, KD, Quantization...피어세션최종 프로젝트 역할 분담 -> 나는 모

2021년 11월 23일
·
0개의 댓글

[Boostcamp AI Tech] [모델 최적화] 17주차 Day 1 학습 기록

요약 강의 내용 간단한 대회 소개 및 최적화, AutoML 이론 최종 프로젝트 각자 EDA한 자료들 정리할 방법 의논 stratified dataset 가능한지 의논 무엇을 했나요? 대회 최적화 대회가 시작되었다. 최적화 대회의 목표는 성능과 속도를 종합해 일정 기준 치를 넘는 것으로, 둘 다 고려해야 한다는 점이 주요 포인트 같다. 아직 어떤 식으로 최...

2021년 11월 22일
·
0개의 댓글

[Boostcamp AI Tech] [데이터 제작] 16주차 주간학습정리

1주 동안 최종 프로젝트 주제 선정과 세부 목표를 설정하는 데 스트레스도 받고 뭐라도 해야하는데 아무것도 하기 싫은 상태가 이어져 한 주 동안 학습을 많이 진행하지 못했고 일일 회고도 하지 못했다. 일일 회고를 지키기 못한 점은 아쉽지만 앞으로 부스트캠프가 끝날 때 까지라도 회고를 매일 할 수 있도록 다시 노력해야겠다. 무엇을 했나요? 최종 프로젝트 시각...

2021년 11월 22일
·
0개의 댓글