profile
평범한 공대생의 일상 (글을 잘 못 쓰는 사람이라 열심히 쓰려고 노력 중입니다^^)
post-thumbnail

[그래프 기계학습] Graph Attention Networks & Graph Transformers

Graph Attention Network Graph attention network (GAT)를 이해하기 위해서 우리는 GCN의 message-passing update로부터 시작하고자 한다. 결론부터 이야기하자면 GCN에서의 aggregation step을 att

2024년 3월 9일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Strategies for Better GNN Architectures

Strateges for Better GNN Architectures 사람들이 여러 GNN을 만들기 위해서 어떠한 것들을 고려하는지 알아보고자 한다. 이를 설명하기 위해서 위와 같은 레퍼런스로부터 미로라는 metaphor를 이용해서 알아볼 것이다. 이미 존재하는 GN

2024년 3월 6일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] GNN Benchmarks

GNN Benchmarks 이번에는 GNN을 평가하는데 있어 사용되는 여러 benchmark들에 대해서 알아보고자 한다. 이번에 살펴볼 benchmark들은 여러 machine learning 학회에서 볼 수 있는 논문들에 기반한 것들이다. TUDataset 가장

2024년 3월 6일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Significant GNN Architectures

Significant GNN Architectuers 이번에는 2021년도까지 약 10년 동안 중요하다고 생각되는 몇몇 GNN들에 대해서 알아보고자 한다. Generalization of CNN to Graphs 가장 먼저 우리는 GNN의 역사에 대해서 알고싶기 때

2024년 3월 6일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Graph Manipulation for GNNs

Why Manipulate Graphs GNN을 다루기 앞서 왜 graph를 manipulation해야 하는지 알아야 한다. 지금까지 우리가 GNN에 넣을 graph를 처리한다고 했을 때, 예를들어 molecular graph나 community graph 등을 파악하기 위해서 GNN에 해당 graph를 넣는다고 가정했을 때, 우리는 raw input g...

2024년 3월 6일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Graph Convolutional Network

GNN Overview Graph neural network(GNN)은 결국 여러개의 permutation equivariant/invariant function들로 구성할 수 있다. 이번에는 둘 중에서 permutation equivariant function에 초

2024년 3월 4일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Graph Neural Networks

Graph Neural Networks 지금까지는 graph를 처리하는 전통적인 algorithm들에 대해서 알아보았다. 이제부터는 graph를 처리하기 위한 deep learning 기반의 방법들에 대해서 알아보고자 한다. 이번에 알아볼 graph neural network (GNN)은 graph를 파악하는 neural network로 아이디어는 굉장히...

2024년 3월 4일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] GNN, Attention, and Transformers

GNN and Attention 이번에는 GNN과 attention 사이에서 어떻게 개념이 연결될 수 있는지 알아보고자 한다. 지금까지 우리는 의도적으로 중요한 attention mechanism의 존재를 넘겨두고 있었다. 그만큼 중요한 개념이기에 이번에 자세하게 알

2024년 3월 4일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Design Space of Message-Passing Graph Neural Networks

Graph $G$가 있고, $V$는 vertex set, $A$는 adjacency matrix, $X$는 node feature를 표현하는 matrix라고 해보자. 그리고 node $V$에 대해서 이웃한 neighbor node들을 $N(v)$라고 해보자. 이제 우

2024년 3월 4일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Before Graph Neural Networks

Graph Neural Network (GNN)에 대해 본격적으로 알기 이전에, GNN 이전에 그래프 데이터에 사용되었던 접근 방식들에 대해서 먼저 알아보고자 한다. 그래프는 노드에 해당하는 entity와 엣지에 해당하는 relation과 interation을 설명하고

2024년 3월 3일
·
0개의 댓글
·
post-thumbnail

[그래프 기계학습] Introduction to Machine Learning for Graphs

그래프 기계학습 내용은 개인적인 공부를 위해서 정리하는 용도이다. 개인적으로 인터넷을 통해서 공부한 내용을 포함하여 POSTECH의 안성수 교수님의 그래프 기계학습 강의를 기반으로 정리할 것이다.Graph Neural Network (GNN)은 특정한 function

2023년 12월 9일
·
0개의 댓글
·
post-thumbnail

[시각지능] Data augmentation

Data augmentation 인공지능 모델을 학습시킬 때 쉽게 성능을 향상시킬 수 있는 data augmentation 기법에 대해서 알아볼 것이다. Learning representation from a dataset 기본적으로 machine learning

2022년 12월 28일
·
0개의 댓글
·
post-thumbnail

[시각지능] Transfer learning

어떻게하면 기존에 이미 학습이 된 정보를 활용할 수 있는지, 그리고 학습할 때 unlabeled data를 원하는 target task에 대해서 어떻게 하면 실용적으로 성능을 끌어올릴 수 있는 방향으로 사용할 수 있는지에 대해서 알아보고자 한다. Leveraging

2022년 12월 28일
·
0개의 댓글
·
post-thumbnail

[시각지능] Training neural network 2 - Training dynamics

이번에는 neural network를 학습할 때 주의해야하고 꼭 알아두면 좋은 tip들에 대해서 알아보고자 한다. 특히, training 과정에서 변화시켜야 하는 parameter들에 대해서 집중해서 보고자 한다. 기본적인 learning rate, regulariza

2022년 12월 24일
·
0개의 댓글
·
post-thumbnail

[시각지능] Training neural network 1 - One time setup

이번에는 neural network를 학습할 때 사용할 수 있는 유용한 기법들과 전략에 대해서 알아보고자 한다. 특히, 이번에 알아보는 것은 한번만 setup해주면 바꾸지 않아도 되는 것들에 대해서 알아보려고 한다. Activation functions 많은 act

2022년 12월 24일
·
0개의 댓글
·
post-thumbnail

[시각지능] Landmark localization

Landmark localization은 facial keypoint나 human pose에서의 skeleton을 구성하는 기본적인 요소인 anchor point들을 찾는 task이다. 이를 위해서 landmark라는 단어의 정의가 먼저 필요하다. Facial lan

2022년 12월 18일
·
0개의 댓글
·
post-thumbnail

[시각지능] Instance segmentation

Instance segmentation 기존의 semantic segmentation은 여러 자동차가 있더라도 해당 픽셀들은 모두 자동차에 소속된 픽셀들이기 때문에 모두 자동차라고 인식이 되었다. 하지만 instance segmentation은 자동차 개별마다 자동차

2022년 12월 17일
·
0개의 댓글
·
post-thumbnail

[시각지능] Semantic segmentation 2

U-Net U-Net은 FCN 이후에 나온 semantic segmentation의 대표적인 모델이다. U-Net은 fully convolutional network로 FCN과 동일한 성질을 공유한다. FCN과 많은 공통점을 가지면서도 큰 차이점이 존재하는데, 이러한

2022년 12월 17일
·
0개의 댓글
·
post-thumbnail

[시각지능] Semantic segmentation 1

Semantic segmentation은 image의 각 픽셀마다 어떠한 category에 속하는지를 분류하는 인식 문제의 일종이라고 볼 수 있다. Image classification의 경우 image가 있으면 어떠한 category에 속하는지 하나의 class로

2022년 12월 17일
·
0개의 댓글
·
post-thumbnail

[시각지능] Multi-modal: visual data & audio

이번에는 multi-modal 중에서 visual data와 audio data를 함께 활용하는 learning에 대해서 알아보고자 한다. 그래서 visual data를 중심으로 audio data를 활용하거나 visual data와 audio data를 합성해서 활용

2022년 12월 15일
·
0개의 댓글
·