profile
AI를 알아가는 중인 대학원생

[Terminal] tar 파일 압축 한번에 풀기

linux tar / tar.gz 형식의 여러개 파일 한번에 압축 풀기tar.gz 형식의 파일인 경우 :tar 형식의 파일인 경우 :

2021년 8월 9일
·
0개의 댓글
post-thumbnail

[NLP] Pre-trained Methods (ELMo, GPT, BERT)

2017년 transformer 논문이 게재된 후 다양한 pre-trained model들이 제시되었다. 그 중 이번 글에서는 대표적인 pre-training method인 ElMo, GPT, BERT를 짧게 소개하려고 한다. ELMo ELMo는

2021년 6월 1일
·
0개의 댓글

[Shell Script] nohup으로 실행한 프로세스 종료

이전 포스트에서 딥러닝 훈련 시 다양한 하이퍼파라미터에 대한 실험을 진행하기 위한 bash 파일을 만들고, 이를 실행하는 법을 다뤘다.bash 파일 작성 및 실험 링크일반적으로 터미널에서 ctrl+c를 누르면 종료할 수 있지만, 백그라운드로 돌리게되면 이 방법으로 실험

2021년 5월 24일
·
0개의 댓글
post-thumbnail

[GAN] Introduction

2014년 Ian Goodfellow는 새로운 네트워크를 발표하였고, 그 네트워크의 이름은 GAN이였다. 기존에 제시되었던 다양한 네트워크들의 변형이 아닌 완전히 새로운 네트워크를 제시한 것이다. 자세히 살펴보면, 고양이인지 아닌지를 구별하는 네트워크가 존재한다고 하자

2021년 5월 19일
·
0개의 댓글
post-thumbnail

[NLP] Transformer

Transformer은 Google이 발표한 [Attention is all you need]에서 제시된 모델이다. 이 논문은 기존의 attention을 활용하여 seq2seq를 구현하면서 성능과 속도의 개선을 보였다. 먼저 transformer의 구조는 아래와 같다

2021년 5월 17일
·
0개의 댓글
post-thumbnail

[NLP] Machine Translation

Translation(번역)의 궁극적 목표는 어떤 언어의 문장이 주어졌을 때, 가능한 언어의 번역 중에서 최대 확률을 갖는 언어의 번역을 찾아내는 것이다. Rule-Based Machine Translation(RBMT)는 주어진 문장의 구조를 분석하고, 규칙을 세우고

2021년 4월 30일
·
0개의 댓글
post-thumbnail

[NLP] Language Modeling

Language Modeling은 문장의 확률을 나타내는 모델이다. 즉, 언어 모델을 통해 문장의 출현 확률을 예측하거나, 이전 단어가 주어졌을 때 다음 단어를 예측할 수 있고, 결과적으로 주어진 문장이 얼마나 자연스럽고 유창한 표현인지 계산할 수 있다. 언어 모델을

2021년 4월 30일
·
0개의 댓글
post-thumbnail

[NLP] LSTM

RNN은 time-step이 커지게 되면 gradient vanishing 문제가 발생한다. 이러한 단점을 보완하여 제시된 모델이 LSTM이다. 먼저, LSTM의 구조는 아래와 같다.LSTM 구조LSTM은 기존 RNN의 hidden state외에도 별도의 cell st

2021년 4월 30일
·
0개의 댓글

[Anaconda] 가상환경 옮기기

Deep learning 실험 시 모델에 맞게 새로운 가상환경을 항상 만드는 편이다.사용 가능한 서버가 여러 개 있을 경우 매번 가상환경을 만드는 일은 상당히 번거로운 작업이다.이 때, 현재 가상환경에 설치된 파일과 환경 이름 등 anaconda 환경을 그대로 옮길 수

2021년 4월 30일
·
0개의 댓글

[Anaconda] 가상환경 삭제

아나콘다 가상환경 삭제:$ conda remove -n @가상환경 이름 --allproceed -> yes삭제 완료!!

2021년 4월 30일
·
0개의 댓글

[Anaconda] Anaconda 가상환경 이름 변경

Anaconda를 사용하면서 항상 가상환경을 활성화 시켜놓고 프로그래밍을 하는 편인데, 처음에 이름을 너무 복잡하게 해서 이름을 변경하기 위해 검색해보니, 가상환경의 이름을 변경하는 기능은 없다고 한다.그래서, 현재 사용하는 가상환경을 다른 이름으로 복사하고, 그 전에

2021년 4월 30일
·
0개의 댓글
post-thumbnail

[NLP] RNN

Vanilla neural network 참조 [1] 김기현의 자연어 처리 딥러닝 캠프(파이토치 편)

2021년 4월 28일
·
0개의 댓글
post-thumbnail

[NLP] Word Embedding

자연어처리에서는 각 단어가 갖는 의미가 서로 연관성이 있을 때도 있지만, 형태가 다른 경우 겉으로 보이는 형태만으로는 파악하기 어렵다. 따라서, 단어나 문장, 문서 전체를 벡터로 나타내는 것은 불가피하다. 이러한 이유로 자연어를 벡터로 mapping 해주는 함수를 만드

2021년 4월 27일
·
0개의 댓글

[NLP] NLP 소개

NLP(자연어 처리) : 인공지능의 한 분야로써 사람의 언어를 컴퓨터가 알아듣도록 처리하는 인터페이스 최종 목표 : 컴퓨터가 사람의 언어를 이해하고 여러가지 문제를 수행할 수 있도록 하는 것 대표적인 task : \-Sentimental Analysis (감성

2021년 4월 27일
·
0개의 댓글
post-thumbnail

[Paper-Review] Training with Quantization noise for Extreme Model Compression

Model Compression 관련 논문 중 첫 번째로 리뷰할 논문은 Training with Quantization noise for Extreme Model Compression이라는 논문이다.이 논문은 Facebook AI에서 Arxiv에 2020.04.17일에

2021년 4월 27일
·
0개의 댓글

[Ubuntu 18.04] 주피터 노트북 파일 .ipynb을 파이썬 파일 .py로 변환

jupyter notebook을 많이 사용하는 분들도 계시지만, 저는 PyChram이나 Visual Studio Code를 많이 이용해서 주로 local에서 돌리곤 합니다.그러다보니 jupyter notebook을 사용하여 짜여진 코드를 .py 형식의 파일로 바꾸는게

2021년 4월 27일
·
0개의 댓글

[Shell Script] 딥러닝 훈련 bash 파일 작성

terminal 오픈 후vi experiment.shbash 작성 ::wq -> bash file 저장 후 out 명령어빠져나온 후 sh train.sh 실행백그라운드로 실험 돌리고 싶은 경우, nohup sh train.sh & -> 결과가 nohup.out에 저장됨

2021년 4월 27일
·
2개의 댓글

[Ubuntu 18.04] Anaconda 가상환경 삭제

아나콘다 가상환경 삭제:proceed -> yes삭제 완료!!!

2021년 4월 27일
·
0개의 댓글
post-thumbnail

[Pytorch] '파이토치 첫걸음 (한빛미디어)'

파이토치에 대해서 코드 구현해보면서 공부해보기 위해 한빛미디어에서 출간한 '파이토치 첫걸음' 책을 첫 시작으로 잡았다.책에 딥러닝의 기초 수식부터 LSTM, GAN 등 많이 쓰이는 구조까지 설명되어 있어서 기본을 다지는 책으로써 상당히 마음에 들었다.책을 읽어가면서 챕

2021년 4월 27일
·
0개의 댓글
post-thumbnail

[Deep Learning] Neural Networks basics

Deep Learning / Machine Learning / AI

2021년 4월 27일
·
0개의 댓글