# pose estimation

25개의 포스트
post-thumbnail

ViT의 Inductive Bias가 도대체 어떻다는 거야

ViTPose 정리하다가 ViTPose 살펴보고, 이미지 태스크에서 CNN 기반 모델과 ViT가 어떤 구조적 차이점이 있을까 살펴보다가 거슬러 여기까지 온 이야기 pose estimationd task에서 좋은 성능을 보이던 CNN 기반의 모델들을 Vision Transformer가 어떻게 뛰어넘었는지 궁금했다. > 거슬러 온 순서 ··· 1) ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation 2) AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE (여기서 inductive bias가 나온다.) [3) Relational inductive biases, deep learning, and gra

3일 전
·
0개의 댓글
·
post-thumbnail

ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation

ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation [NeurIPS'22] github link : https://github.com/ViTAE Intro 이 논문에서는 ViTPose라는 간단한 베이스라인 모델을 통해서 다양한 측면(모델 구조의 단순함, 모델 크기의 확장성, 훈련 패러다임의 유연성, 모델 간 지식 전달 가능성)에서 자세 추정을 위한 plain vision transformer의 놀랍도록 우수한 능력을 보여준다. 특히 ViTPose는 사람 인스턴스의 특성을 추출하기 위해 일반적이고 비계층적인 Vision Transformers를 backbone으로 사용하고, 자세추정을 위해 가벼운 디코더를 사용한다. 또한, ViTPose는 attention 유형, input의 해상도, 사전 학습과 finetuning 전략, 다양한 포즈 task들에 매우 유연하다. 간단한 지식 토

2023년 9월 11일
·
0개의 댓글
·
post-thumbnail

BlazePose 논문 리뷰

본 페이지에서는 BlazePose: On-device Real-time Body Pose tracking논문에 대해서 말하고자 합니다. 1. Intro BlazePose는 Mobile Device에서 실시간 추론이 가능하도록 하기 위해서 경량화된 Covolution Neural Network이다. BlazePose는 두가지 방식을 계층적으로 사용한다. Heatmap-Based 방식 : 최소한의 오버헤드로 여러 사람에게 적용이 가능하지만 모델의 크기가 커진다.( 이 부분은 Mobile Device에서 사용이 가능하도록 경량화 하기 위해 뺄 수 있다.) Regression-Based 방식 : Computational Cost가 상대적으로 적지만 좌표를 얻어내는데 실패한다. 2. 모델 구조와 파이프라인 디자인 2.1 추론 파이프라인 ![](htt

2023년 7월 16일
·
0개의 댓글
·
post-thumbnail

ViTPose 논문 리뷰

본 페이지에서는 ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation논문에 대해서 말하고자 합니다. 1. Intro Vision Transformer의 발전은 그동안 Computer Vision 분야에서 여러 작업에 대해서 SOTA를 달성할 수 있게 하였습니다. 이런 발전 경향성에서 자세 추정(Pose Estimation) 작업에도 Vision Transformer를 적용하는 여러 방법들이 있는데 다음과 같습니다.. CNN을 BackBone으로 사용하며 추출된 특징을 Transformer에 사용하는 방법 (TokenPose,TransPose) Keypoint들의 위치를 잘 찾아내기 위해서 Encoder와 Decoder를 통합하는 방법 (PRTR) Transformer를 직접적으로 특징들을 추출하도록 하고 복잡

2023년 7월 15일
·
0개의 댓글
·

Paired Data!

⚡ Paired Data 인공지능을 똑똑하게 만들기 위해 필요 숫자 손글씨 인식기 - supervised learing(지도학습, 정답이 주어진다, 문제풀이가 쉽다.) 056565 -> x??? -> 056565 문제풀이가 쉬운 이유는 정답을 알고있는 Paired Data이기 때문 🔥 1. Image classfier 이미지 분류 표범? 치타? 재규어 🔥 2. Object detection / tracking 특정 이미지 안에 물체의 위치를 추적하는 기술 보행자 수 점검, 마스크 착용 여부 확인, 얼굴 표정 분류 어디에 물체가 있는지를 찾아내는 바운딩 박스를 통해서 구현 🔥 3. Image segmentation 헬스케어에 적용 가능 비정형의 도형으로 만들어서 구현 Object detection / tracking 보다 정확하게 비정형의 도형으로 오브젝트를 찾아내서 학습 🔥

2023년 4월 22일
·
0개의 댓글
·

YOLOv8 pose 안드로이드 -2

이전 글에서 yolov8n pose 모델을 안드로이드에 적용하고 추론의 결과까지 받아왔다. 이제 그 배열 값에 대해 구조를 살펴보고 적절히 처리해서 화면에 표현하려 한다. ✔ 1. 출력에 대한 고찰 이 부분은 내가 고민한 부분에 대한 글이다. 코드를 짜는데 중요하지 않으니 궁금하지 않다면 ✔ 2. 번으로 넘어가도 무방하다. 우선 yolov8 pose 출력에 대한 글이 없다... 내가 알 수 있는 방법은 model의 출력을 보고 유추할 뿐이였다. 아래는 https://netron.app/ 에서 확인한 모델 출력 부분이다. [1 56 8400] 인걸 확인하고 8400개의 후보군이 있다는 건, pose model도 NMS처리가 필요하다는 것을 알 수 있었다. 다만, pose model이 가지고 있는

2023년 4월 8일
·
2개의 댓글
·

YOLOv8 Pose 안드로이드 -1

YOLOv8 pose estimation YOLOv8 pose estimation을 안드로이드에 적용해보자. pose estimation이 뭘까? 위 사진은 https://paperswithcode.com/task/pose-estimation 에서 따온 사진으로 Object Detection은 사람을 검출하면 사각형으로 사람의 테두리를 검출하지만, Pose Estimation은 사람의 각 관절을 검출하고 관절을 점으로, 관절 끼리를 선으로 그리는 것이다. ✔ 1. yolov8n-pose.pt -> yolov8-pose.onnx https://docs.ultralytics.com/tasks/pose/ 위의 사이트는 yolo v8을 만든 ultralytics 공식 사이트이다. 내리다 보면 아래

2023년 4월 8일
·
0개의 댓글
·
post-thumbnail

Pose-estimation + golfswing 검색 키워드로 관련 연구 탐색 (2)

🔴 논문제목 : 3D human pose estimation in video with temporal convolutions and semi-supervised training (CVPR, 2019, 인용수 617회 : 22.11.11 기준) 2D를 3D로 변환하는 관련 논문을 리뷰하고자 함 참고할 코드 및 사이트는 아래와 같음 ® [깃허브 소스코드] https://github.com/facebookresearch/VideoPose3D ® [논문읽기 링크] https://openaccess.thecvf.com/contentCVPR2019/papers/Pavllo3DHumanPoseEstimationinVideoWithTemporalConvolutionsandCVPR2019_paper.pdf ® [딥러닝 논문 리뷰 사이트] https://grow-up-by-coding.tistory.com/32 > 🟠 Abstract 레이블이 지정되지 않은

2022년 11월 11일
·
0개의 댓글
·
post-thumbnail

Pose-estimation + golfswing 검색 키워드로 관련 연구 탐색

🔴 나의 생각 Individual golf-swing은 timing에 맞는 스윙을 할 때 가장 이상적인 스윙이라고 생각함 Timing이 맞으려면, 자신에게 맞는 스윙속도, 스윙 스피드, 임팩트구간을 찾는 것이 가장 중요하다고 생각함 > 🟠 Pose-estimation + golfswing 검색 키워드로 관련 연구 탐색 (참고용) 논문제목 : Applying Pose Estimation to Predict Amateur Golf Swing Performance Using Edge Processing (IEEE, 2020) 논문제목 : GOLFPOSE: GOLF SWING ANALYSES WITH A MONOCULAR CAMERA BASED HUMAN POSE ESTIMATION (IEEE, 2022) 논문제목 : Automatic Moving Pose Grading for Golf Swing in Sports (IEEE, 2022/10) > 🟡 Titl

2022년 11월 9일
·
0개의 댓글
·
post-thumbnail

[ECCV 2022] DeciWatch: A Simple Baseline for 10× Efficient 2D and 3D Pose Estimation

https://arxiv.org/abs/2203.08713v1 1.Introduction efficiency를 높이기 위한 더 compact한 model을 design하는 것이다 (a) Compact Network Design for Pose Estimation (b) Keyframe-Based Efficient Pose Estimation keyframe 마다 feature extraction을 해야하기 때문에 computational complexity를 낮추기 어렵다 (c) Our Sample-Denoise-Recover Framework (DeciWatch) sample-denoise-recover(RecoverNet) framework: DeciWatch Objective

2022년 9월 17일
·
0개의 댓글
·
post-thumbnail

Whole Body, Hand 관련 논문 정리 - MAX PLANCK, 2022 Pose Estimation

안녕하세요. 넥스트도어 장우일입니다. 지난 시간에 이어, MAX PLANCK 연구소의 2022년 Pose Estimation 논문들 중 Whole Body, Hand 분야 논문들에 대해 알아보겠습니다. 2. Whole Body 2-1) Capturing and inferring dense full-body human-scene contact 코드 링크 논문 링크 ![BSTRO - Capturing and inferring dense full-body human-scene contact](https://velog.v

2022년 7월 14일
·
0개의 댓글
·
post-thumbnail

MAX PLANCK 연구소 2022 Pose Estimation 논문 요약

안녕하세요! 넥스트도어 장우일입니다. Pose Estimation 분야 논문들을 보다 보니, Max Planck(막스플랭크) 연구소 논문들이 유독 많고, 올해 나온 논문들만 벌써 24개는 되네요! 그래서 오늘은 Pose Estimation 분야에서 주도적인 연구를 이끌어가고 있는 연구소인 MAX PLANCK의 2022년 상반기 논문들 중 Pose Estimation관련 논문들을 정리해보겠습니다. (2022-07-06 기준) 오늘은 간략하게 살펴볼 거라 디테일이 궁금하신 분들은 해당 논문을 직접 확인하시는 게 좋을 것 같습니다. 이제 따라오시죠! 자료 출처는 아래의 두 군데인데, 저는 아래 부분 (google scholar) 기준으로 설명하겠습니다. https://ps.is.mpg.de/publications/ https://scholar.google.com/citations?hl=ko&user=6NjbexEAAAAJ&viewop=list

2022년 7월 8일
·
1개의 댓글
·
post-thumbnail

[Human Pose Estimation] Openpose 모델에 대하여

Pose Estimation : Top-down vs Bottom-up Human Pose Estimation은 자세를 추정하는 방식에 따라 크게 두가지 종류로 나눌 수 있습니다. Top-down, Bottom-up 방식으로 나뉘는데, 각자 장단점을 간략하게 적어보면 다음과 같습니다. Top-down 이미지에서 사람을 먼저 찾고, 찾은 사람의 Bounding Box에서 자세를 추정 사람을 먼저 찾고, 사람안에서 joint들을 찾기 때문에 정확도가 Bottom-up방식보다 높다 검출된 사람들을 순회하며 joint들을 찾기 때문에 속도가 Bottom-up방식보다 느리다 Bottom-up 이미지에서 joint들을 먼저 찾고, joint들의 상관관계를 분석하여 이들을 연결하여 자세를 추정 정확도는 Top-down 방식에 비해 떨어지지만, Object Detection 과정이 없기 때문에 속도가 빨라 실시간 처리에 사용 가능 Openpos

2022년 3월 16일
·
0개의 댓글
·
post-thumbnail

HigherHRNet 논문

HigherHRNet 논문 을 참고하여 작성하였다. Abstract 기존 Bottom Up 의 어려운 점은 scale variation을 해결하지 못하여 small person의 pose Acc가 낮다는 점이었다. 이를 해결할, 본 논문에서는 HigherHRNet, 새로운 bottom-up human pose estimation method을 제공한다. High-resolution feature pyramid를 이용하여 scale-aware representation들을 학습하고, training 동안 multi-resolution supervision을 사용하고, 추론을 위해 multi resolution aggregation을 한다. 이를 통해 scale variation 문제를 해결할 수 있게 되고 small person에 대해 keypoints들을 더 정확하게 위치 시킬 수 있다. Higher

2022년 3월 13일
·
0개의 댓글
·
post-thumbnail

DeepPose: Human Pose Estimation via Deep Neural Networks

Introduction Deep Pose는 DNN 기반의 Pose Estimation(사람의 관절 위치를 찾는 task) 방법을 제안하며, 해당 task 최초로 DNN을 적용하여 SOTA를 달성하였다. 그 뿐만 아니라, 당시에는 딥러닝을 주로 Classification task에만 사용하였는 데 Regression task에서도 훌륭히 적용할 수 있음을 증명하였다. > Pose Estimation task에서 CNN이 적합한 이유 관절 위치 예측 시 이미지의 맥락을 파악하여 예측 할 수 있다. 따라서, 관절들 사이의 상관 관계를 학습할 수 있다. 기존 방식은 관절 별 특징 검출(Feature Representation)과 검출기(Detector)를 만든 다음 조합하는 방식이었다면

2021년 12월 1일
·
3개의 댓글
·
post-thumbnail

[Pose Estimation] Human Pose Estimation via Deep Neural Networks : DeepPose 논문 리뷰

투빅스 14기 서아라 1. Introduction Pose estimtation: 사람의 관절 위치를 찾는 task 한계점 : 기존의 local detector은 local한 part를 추론, 하지만 보이지 않는 부분은 찾을 수 없었음 전체론적인 추론(holistic reason)을 시도해보았으나 성능이 좋지 않았음. 7 layer generic convolution DNN model 장점 1: 각 관절의 전체적인 맥락을 고려하여 예측할 수 있음 장점 2: 기존의 방식은 Representation(특징검출)과 검출기 (detector)로 만든 다음, 이를 조합하는 방식이었으나 CNN을 활용하면 단일 신경망으로 모든 관절 위치를 예측할 수 있으므로 훨씬

2021년 6월 22일
·
3개의 댓글
·
post-thumbnail

[Pose Estimation] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields : OpenPose 논문 리뷰

투빅스 14기 장혜림 Introduction Multi-person pose estimation Top-down approach 먼저 사람을 detection 하고, bounding box 내부에서 pose 예측하는 방식 장점: 정확도가 Bottom-up 방식에 비해 높음 단점: 각 사람마다 별도로 pose 예측 -> computational cost 큼. 속도 느림 Bottom-up approach 영상에 포함된 사람의 keypoint를 먼저 예측하고, keypoint 간의 관계를 분석해서 pose를 예측하는 방식 장점: 사람을 detection하는 과정이 없어서 계산 비용이 적음 -> real-time 적용 가능 단점: Top-down 방식에 비해 정확도는 떨어짐 ![](https://images.velog.io/images/joy5075/post/907a6ca2-fc9e-488a-8a82-1a01b3

2021년 6월 2일
·
3개의 댓글
·

[paper review]Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

Introduction Multi-person pose estimation Top-down approach 먼저 사람을 detection 하고, bounding box 내부에서 pose 예측하는 방식 장점: 정확도가 Bottom-up 방식에 비해 높음 단점: 각 사람마다 별도로 pose 예측 -> computational cost 큼. 속도 느림 Bottom-up approach 영상에 포함된 사람의 keypoint를 먼저 예측하고, keypoint 간의 관계를 분석해서 pose를 예측하는 방식 장점: 사람을 detection하는 과정이 없어서 계산 비용이 적음 -> real-time 적용 가능 단점: Top-down 방식에 비해 정확도는 떨어짐

2021년 6월 1일
·
0개의 댓글
·

Human Fall-down Event Detection Based on 2D Skeletons and Deep Learning Approach

Human Fall-down Event Detection 연구실에서 진행중인 Fall Detection을 구현하기 위해 관련 논문인 Human Fall-down Event Detection Based on 2D Skeletons and Deep Learning Approach를 읽고 간단하게 정리하였다. Human Fall-down Event Detection Based on 2D Skeletons and Deep Learning Approach 논문 링크 논문의 내용은 어렵지 않으며, 간단하게 Fall Detection을 구현하고 싶을 때 이 논문을 읽고 구현을 진행하면 금방 구현할 수 있을 것이라 생각이 들었다. 1. Introduction 비디오 기반의 Classification을 사용해 사람의 행동을 인식하는 것은 Action Recognition이라고 한다. A

2021년 4월 27일
·
0개의 댓글
·

RMPE : Regional Multi-Person Pose Estimation

AlphaPose Paper - RMPE 연구실에서 진행중인 Fall Detection을 구현하기 위해 Pose Estimation을 진행하는 AlphaPose의 논문, RMPE를 읽고 이해한 부분만 간단하게 정리하였다. RMPE 논문 링크 여러 논문을 읽어왔지만, 여태 읽은 논문 중에서 제일 이해하기 힘들었고 아직 이해하지 못한 부분이 많아 흐름만 이해하고 넘어간 부분들도 존재한다. 본 논문을 정독한 이유는 연구중인 Fall Detection을 구현하기 위해 Pose Estimation의 흐름만 이해하고자 간단하게 살펴보았다. 1. Introduction 본 논문에서는 Two-step Framework를 따르며, 이는 후에 자세하게 설명한다. 그리고 부정확한 Bounding Box를 주어도 정확한 인간의 Pose를 감지하는 것이 본 논문의 목표이며 SPPE 기반 인간 Pose Estimatio

2021년 4월 25일
·
0개의 댓글
·