# paper_review

37개의 포스트
post-thumbnail

Part of XAI(1)

이 글의 References XAI관련 Velog는 XAI를 공부하기 위해서 위의 책을 참고하고자 했는데, 너무 제한적인 설명때문에 구글링을 찾아봤고 일부는 직접 논문을 읽었다. 시작하겠다. Introduction XAI는 Explanable AI로써 우리는 딥러닝 모델들의 결과가 왜 이렇게 나온건지에 대한 설명을 할 수 없었다. 이러한 문제를 해결하기 위해서 나온 기술이고 파이썬의 XAI 라이브러리인 LIME과 SHAP등을 안내할 것이다. 책을 통해 얻을 수 있는점 → AI의 책임성 → AI를 어떤 업무에 적용할 때 어떤 설명이 필요한지 → XAI의 전역 설명과 국소 설명을 구분해 사용 가능 → XAI의 목표

2023년 9월 6일
·
0개의 댓글
·
post-thumbnail

Are Transformers Effective for Time Series Forecasting?

여태까지 했던 주제(Informer TFT)와 매우 상반되는 주제이다. 사실 이전까지 했던 Transformer 기반의 TimeSeriesForecasting은 Attention에 기반을 두면서, LTSF에 강점이 있었다. 이번 포스팅에서는 이러한 기존의 Transformer 기반에 맞춰져 있던 TimeSeries Forecasting에 대한 관점을 어떻게 바꿨을지를 확인하면서 보면 좋을 것 같다. > 이 논문의 난이도는 직관적으로 이해가 가도록 구성해놔서 이해하기 좋았다. Abstract 최근에, LTSF task를 위한 많은 Transformer 기반에 모델들이 나왔다 과거 몇 년 동안에 Performance 향상에도 불구하고 우리는 이 work에 대한 연구들이 과연 진짜 효과가 있는지 질문을 던진다 구체적으로, Transformers는 틀림없이(arguably) long sequence에서 의미적인 상관관계를 추출하기 위해 가장 성공적인 solution이다 하지만, ti

2023년 9월 4일
·
0개의 댓글
·
post-thumbnail

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

Abstract Multi-Horizon Forecasting은 보통 정적인 변수, 알고 있는 미래의 input, 다양한 Covariates, 과거에 대해서만 관찰된 exogenous Time Series까지 이와 같이 다양한 Input들이 복잡하게 섞인 형태의 input을 포함해서 Forecasting한다. 하지만 이때 이러한 Input들이 Target과 어떤 상호작용을 할지에 대해서는 사전정보가 없이 진행한다. 몇몇 Black-Box인 deep learning 모델들이 제안됐지만 이들은 모델에서 이런 다양한 Input들이 어떻게 사용되는지를 밝히지 않았다. 이 Paper에서 우리는 Temporal Fusion Transformer(TFT)를 소개한다 우리의 TFT는 novel(새로운) attention을 base로 한 architecture인데 Multi-horizon forecasting에서 뛰어난 성능 과 함께 temporal dynamics에 대한 Interpretabl

2023년 9월 3일
·
0개의 댓글
·
post-thumbnail

[The Matrix Calculus You Need For Deep Learning] Review - 3 Introduction to vector calculus and partial derivatives

3. Introduction to vector calculus and partial derivatives Neural Network의 layers는 $f(x)$와 같이 하나의 파라미터를 가진 하나의 function이 아니다. 따라서, 여러 개의 파라미터를 가진 함수 $f(x,y)$를 보자. 예를 들어, $xy$의 미분은 무엇인가? (즉, $x$와 $y$의 곱의 미분은 무엇인가?) 다시 말하면, 변수가 달라지면, $x$와 $y$의 곱은 어떻게 달라지는가? 이것은 우리가 $x$와 $y$를 어떻게 바꾸는가에 달려있다. 이제까지 우리는 한번에 하나의 변수(parameter)만 미분하였다. 우리에게 2개의 파라미터를 가진 함수가 주어지면, 'partial derivatives'(편미분)를 사용하면된다. 한번에 변수 하나씩을 미분하는 것이다. $\frac{d}{dx}$를 사용하는 대신, 라운드 d를 사용하여 다음과 같이 나타낸다. 라운드 d: ∂ 라고 쓴다. $\delta$, $d$

2023년 7월 15일
·
0개의 댓글
·

[The Matrix Calculus You Need For Deep Learning] Review - 2 Review: Scalar derivative rules

2. Review: Scalar derivative rules 다음의 main scalar derivative rules 를 기억하기 바란다. 아래의 수식들이 너무 생소하거나 이해가 어렵다면 Khan Academy-scalar derivative course코스를 참고하기 바란다. 이외의 다른 rules는 Khan Academy differential-calculus를 참고하기 바란다. 어떤 함수가 하나의 파라미터만 가지고 있다고 하자. 그렇다면 그 함수를 다음과 같이 나타낼

2023년 7월 11일
·
0개의 댓글
·

[The Matrix Calculus You Need For Deep Learning] Review - 1 Introduction

Abstract 이 자료는 딥러닝을 위한 모든 행렬 미적분에 대해서 설명하고 있다. 미적분 1에서 배운 것 이상의 수학 지식이 없다고 가정하고 관련된 수학지식들을 같이 설명한다. 이 자료는 신경망에 대해 알고 있고, 기초 수학에 대한 이해를 심화시키고 싶은 사람들을 위한 것이다. 참고: appendix에 여기서 설명하는 모든 주요 행렬 미적분 규칙과 용어를 요약해 두었습니다. Introduction 딥러닝에 필요한 것은 scalar 미적분학이 아니라, Linear algebra와 multivariate calculus를 결합한 differential matrix calculus(미분행렬적분학?)이다. 음... 아마도 '필요'는 적합한 단어가 아닐 것이다. Jeremy's courses는 은 현대 딥 러닝 라이브러리에 내장된 자동 차별화 기능을 활용하여 최소한의 스칼라 미적분만으로 세계적인 딥 러닝 전문가가 되는 방법을 보여준다. 하지만 만약 여러분이 딥러닝이 어떻게 학

2023년 7월 5일
·
0개의 댓글
·

인공지능 수학 공부 - 논문으로 공부하자! [The matrix calculus you need for Deep Learning

인공지능을 이해하고, 활용하려면 수학 지식이 반드시 필요하다. 여러 수업들을 들어봤지만, 무료로 공개되어 있는 강의들은 기초-입문 수준의 강의들이 많았다. 그리고 커리큘럼이 인공지능에 꼭 맞춰져 있지 않기도 했다. 그래서 열심히 찾아보던 중, 수학 논문을 찾았다. 인터넷 서핑 중 발견한 논문이다. The Matrix Calculus You Need For Deep Learning https://arxiv.org/abs/1802.01528 논문의 저자들은 deep learning 이해를 위한 행렬 연산을 설명하기 위한 논문이고, 수학적 배경지식이 없어도 이해할 수 있도록 작성했다고 말한다. 앞으로 이 논문을 읽으면서 조금씩 정리해보려고 한다. 살짝 훑어봤을 때 유머러스하게 적혀져 있어서 너무 재밌었다.

2023년 7월 3일
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] Spectral images based sound classification using CNN with meaningful data augmentation (2020)

📌 Tag : Transfer Learning, Classification, CNN, Audio, ECG Abstract 많은 오디오 녹음에는 배경 소음, 매우 짧은 간격 및 클립의 급격한 변화가 있기 때문에, 짧은 audio clips을 통해 특징을 추출하고 다양한 소리를 분류하는 것은 쉽지 않다. possibility of overfitting의 위험을 피하기 위해 training samples 수는 많을 수록 좋다. 따라서, data aumentation이 필요 → 더 많은 training samples 제공 + 모델의 정확도와 성능 높일 수 있다. 본 연구에서 제안하는 방법론은 학습의 성과를 향상시키기 위한 의미 있는 data aumentation의 아이디어를 포함한다. 의미 있는 data augmentation과 함께 CNN을 사용하여 환경

2023년 6월 9일
·
0개의 댓글
·
post-thumbnail

Mo2Cap2 paper review

Xu, Weipeng, et al. "Mo 2 cap 2: Real-time mobile 3d motion capture with a cap-mounted fisheye camera." IEEE transactions on visualization and computer graphics 25.5 (2019): 2093-2101. 1.INTRO > In the past,many works for outside-in 3D human pose estimation have been pro-posed, which use a single or multiple cameras placed statically around the user [13, 32, 33, 37, 40, 50]. However, daily re

2023년 5월 12일
·
0개의 댓글
·

[논문] 딥러닝 논문 TIP

awesome-deep-learning-papers 2012년부터 2016년까지 발표된 논문 중 다양한 연구에 활용할 수 있는 획기적인 딥러닝 논문 100편을 정리한 깃허브 레포지토리입니다. 링크텍스트 Papers You Must Read (PYMR) 고려대학교 DSBA 연구실에서 선정한 데이터를 공부할 때 필독 해야하는 논문 리스트입니다. 딥러닝 뿐만 아니라 데이터마이닝, 앙상블 같은 머신러닝 논문도 포함하고 있습니다. 링크텍스트

2023년 4월 10일
·
0개의 댓글
·
post-thumbnail

Transformer Paper Review

오늘은 Transformer Paper Review와 덧붙여 관련 얘기를 해볼 것이다. 우선 Transformer는 자연어 처리에 더욱 적합하게 탄생한 모델인 것 같다는 내 생각을 밝히면서 시작하겠다 논문에 Introduction에서 언어모델과 관련된 얘기를 하는 것으로 보아서 저자들도 애초에 자연어 처리를 염두해두고 논문을 썼다고 생각한다. 그렇다면 왜 Forecasting을 공부하면서 Transformer를 공부하냐? 최근에 나오는 논문들은 Transformer기반의 Long Time Series Forecasting을 하는 Model들이 많이 나왔기 때문이다 기본적으로 자연어 처리도 Sequence Data를 사용하니까 견문을 넓히기 위해 Transformer는 꼭 공부하고 넘어가야한다. 오늘의 개요를 먼저 알리겠다. Seq2Seq Model(Encoder-Decoder 모델) Attention 2.1. Attention의 Idea 2.2. Attention Fun

2023년 3월 1일
·
0개의 댓글
·
post-thumbnail

DeepAR Paper Review + DeepLearning Foundation

이번 블로그는 원래 ARIMA SARIMA를 올려야 하는데 논문 작성에 필요한 내용들을 다시한번 정리할겸 해서 순서를 조정하기로 했습니다 혹시나 ARIMA나 SARIMA의 내용을 알고 싶은 분들은 dsd0919@naver.com 으로 메일 주신다면 궁금하신 내용 공유하길 바랍니다 ! 이번 블로그는 DeepAR에 관한 블로그로 처음 읽었었던 논문이기 때문에 논문을 읽기전에 쌓아야 했던 지식들을 하나 둘 찾아서 기록해 두었습니다 그것들과 함께 논문내용을 번역 및 제 생각을 담아 공유하고자 합니다! 한마디로 말해서 딥러닝에 관해서 잘 모르시는 분들이 읽으셔도 조금씩 내용을 찾아서 본다면 쉽게 이 블로그를 이해하실 것 이라고 기대합니다 ! P.S 중간에 설명을 위해 직접 그린 그림이 있음을 알립니다 또한 틀린 설명이나 내용의 공유를 하고 싶으신 분들은 메일 주시기 바랍니다! 개요 딥러닝 Basic 1.1. 딥러닝 학습과정 1.2. 활성화 함수 1.

2023년 1월 23일
·
0개의 댓글
·
post-thumbnail

[논문리뷰] 'DiffusionDet: Diffusion Model for Object Detection' 리뷰

안녕하세요, 밍기뉴와제제입니다. 드디어 논문 리뷰를 시도해봅니다. MLP-Mixer 리뷰 이후로 처음 리뷰하네요. 대충 계산해보니 반 년의 시간이 흘렀습니다. 그동안 많은 일이 있었죠. 반 년의 시간동안 제가 접한 논문의 개수는 꽤 많았습니다. 특히 논문을 써야하니까 관련 주제로 많이 읽을 수 밖에 없더라구요. 그런데 이걸 정리해서 리뷰를 할 시간이 없어서 포스팅을 할 수 없었습니다. 아쉽네요. 그래도 입시랑 논문 저술을 해결하면 다시 리뷰를 열심히 할거라 믿었습니다. 근데 그게 어렵더군요. 해야지...해야지...하다보니 합격 소식을 듣고 한 달의 시간이 흘렀으나 리뷰 목적으로 올린 글은 하나도 없었습니다. 아, 어떻게든 논문을 읽고 리뷰 해야겠구나 생각했습니다. 그래서 큰 마음 먹고 '월간 리뷰'라는 것을

2022년 11월 30일
·
0개의 댓글
·

Going Deeper with Convolutions(GoogLeNet)

Presenter : 황보겸 Date : 2022년 10월 8일 Paper : Going Deeper with Convolutions(GoogLeNet) 1. Abstract 이 모델의 주요 특징은 연산을 하는 데 소모되는 자원의 사용 효율이 개선되었다는 것이다. 모델의 정교한 설계 덕분에 네트워크의 depth 와 width 를 늘려도 연산량이 증가하지 않고 유지된다. 이 모델에서는 성능의 최적화를 위해서 Hebbian principle 과 multi-scale processing 을 적용하였다. GoogLeNet 은 22 개의 layer 를 가지며, 주로 classification 과 detection 에 사용된다. 1-1. Hebbian Principle? ![](https://vel

2022년 10월 17일
·
0개의 댓글
·
post-thumbnail

Paper Review #1 "Lifelong and Continual Learning Dialogue Systems: Learning during Conversation"

_Author: Bing Liu, Sahisnu Maxumder, Department of Computer Science, University of Illinois at Chicago, USA Publish: The Thirth-Fifth AAAI Conference on Artificial Intelligence(AAAI-21) Source Introduction 대화 시스템은 Chit-chat system과 Task-oriented chatbots 두가지로 나뉜다. Chit-chat systems(Shang, Lu, and Li 2015; Li et al.2016; Se

2022년 6월 29일
·
0개의 댓글
·
post-thumbnail

[초보가 초보에게 논문리뷰] - YOLO v1

오늘 읽어볼 논문은 2016년 발표된 "You Only Look Once"입니다. 객체 탐지 분야에서 새로운 지평을 열고, v5까지 발전하며 널리 이용되는 모습을 보여주었던 모델이죠. 논문 링크) Abstract image.png 부제인 "Unified, Real-Time Object Detection" 에서 모델의 특징을 집약적으로 표현했습니다. Abstract의 내용과 대응해보면 대충 이러한 내용을 말하는 듯 합니다 Unified 단일 신경망을 통해 단 한번의 계산(evaluation)으로 전체 이미지에서 bounding boxes(이하 bbox)의 좌표와, class probabilities을 도출할 수 있습니다. ![R-CNN의 two-stage-detector](https://www.researchgate.n

2022년 5월 2일
·
0개의 댓글
·
post-thumbnail

[논문리뷰] 'MLP-Mixer: An all-MLP Architecture for Vision' 리뷰 + 구현(PyTorch)

안녕하세요. 밍기뉴와제제입니다. 이번에 리뷰할 논문은 MLP-Mixer: An all-MLP Architecture for Vision입니다. MLP만 가지고 image classification을 수행한다는 것 때문에 화제가 되었던 논문이기도 합니다. > 물론 Batch Normalization같은 것들도 들어있습니다. MLP Mixer는 구조도 꽤 간단하고 필요한 parameter의 수가 적기 때문에 진입장벽(?)이 낮습니다. 그래서 PyTorch로 구현을 한 뒤 CIFAR-10 데이터셋으로 학습시켜봤습니다. 그리고 평범한 cnn과 residual block으로 제작한 cnn도 학습시킨 뒤 MLP-Mixer와 성능 비교를 해봤습니다. 자세한 설명은 나중에 해드리도록 하겠습니다. 그러면 논문 리뷰와 구현 코드 리뷰를 시작하겠습니다. 1. Introduction 2012

2022년 5월 1일
·
0개의 댓글
·
post-thumbnail

Facial Expression Retargeting From Human to Avatar Made Easy

Zhang, Juyong, Keyu Chen, and Jianmin Zheng. "Facial expression retargeting from human to avatar made easy." IEEE Transactions on Visualization and Computer Graphics 28.2 (2020): 1274-1287. 1.Research Background & Problem Definition > _Facial expression retargeting from humans to virtual characters is a useful technique in computer graphics and animation. Traditional methods use markers or blendshapes to construct a mapping between the human and avatar faces. However, these approaches r

2022년 3월 29일
·
0개의 댓글
·
post-thumbnail

OpenPose 개념 정리 및 tf poseEstimation 설명(작성중)

OpenPose > We present an approach to efficiently detect the 2D pose of multiple people in an image. The approach uses a nonparametric representation, which we refer to as Part Affinity Fields (PAFs), to learn to associate body parts with individuals in the image. The architecture encodes global context, allowing a greedy bottom-up parsing step that maintains high accuracy while achieving realtime performance, irrespective of the number of people in the image. The architecture is designed to j

2022년 3월 18일
·
0개의 댓글
·
post-thumbnail

[논문리뷰]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 리뷰

안녕하세요. 밍기뉴와제제입니다. 오랜만에 논문 리뷰를 합니다. 이번에 리뷰할 논문은 'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis', 줄여서 NeRF입니다. 이름을 많이 들어봤는데 드디어 리뷰하네요. 그러면 지금부터 리뷰를 시작하겠습니다. 1. Introduction 객체를 찍은 여러장의 사진을 입력받아 새로운 view에서 바라본 객체의 모습을 알아내는 view synthesis라는 task가 있습니다. 이게 성능이 썩 좋게 나오지는 않고 있었는데 저자가 새로운 방식을 제

2022년 3월 3일
·
7개의 댓글
·