# Robotics
Reinforcement Learning이란?
Reinforcement Learning Reinforcement Learning이란? Supervised Learning처럼 학습에 있어서 데이터와 라벨이 주어지지 않고, 각 state에 해당하는 action에 reward를 두어 reward를 가장 높게 갖는 방향으로 학습하는 방식이다. 예를 들어, 자전거를 배울 때를 생각해보면, 오른쪽으로 넘어지려 할 경우, 오른쪽으로 핸들을 돌린다면, 넘어지므로, reward가 낮을 것이고, 왼쪽으로 핸들을 돌린다면 넘어지지 않으므로, reward가 높을 것이다. 이러한 방식처럼, reward를 최대화하도록 모델을 학습시키는 방식을 말한다. Reinforcement Learning Terminology Stat
URDF MATLAB 3R
📌URDF Unified Robotics Description Format 스케치, 계산 시뮬레이션 등 로봇을 표현하기 위한 파일 multibody 시스템을 설계하기 위한 XML 형식을 사용하며, XML은 로봇 파라미터 정의에 유용하다. 확장자명 .urdf ROS 사용 로봇을 시뮬레이션하기 위해 충돌 정보, 시각적인 모양, 물성(관성, 연결 등) 정보를 포함하고 있다. 📌XML eXtensible Markup Language 데이터 교환, 저장이 용이해 다양한 데이터 표준화에 이용한다. 내용 표현을 위해 형식적인 마커가 있다. 사람이 읽기 쉽고, 문법적으로 분석/해석이 쉽다. Markup: , & a 📌MATLAB를 활용한 3R Kinematic Model >기록해두면 좋은 것만 작성한다. 
Introduction to Visual SLAM From Theory to Practice (2)
아래는 Xiang Gao와 Tao Zhang의 을 읽고 번역정리+추가적인 코멘트를 단 내용이다. 문장은 가능하면 간소화하고, 이론적으로 더 참고할만한 부분은 추가적인 코멘트를 넣었음. 저자에 의해 모든 자료가 무료 배포되었음. 아래 링크 참고 📘 영어판 도서 파일: https://github.com/gaoxiang12/slambook-en 📂 practice 코드: https://github.com/gaoxiang12/slambook2 2장. 3D rigid Body Motion > 🔎 학습 목표 3D 공간 상의 rigid body 기하학- 회전행렬, 변환행렬, 쿼터니언, 오일러각- 을 익힌다. Eigen 라이브러리의 행렬&기하 모듈 사용법을 익힌다. 지난 시간에 우리는 visual SLAM의 전반적인 프레임워크와 내용을 살펴보았다. 이번 강의에서는 visual SLAM의 가장 기초적인 이
PoseNet을 이용해 사진이 찍힌 위치와 방향 예측하기 - 7 Scenes Data
안녕하세요. 졸업프로젝트를 시작한지 3개월, 그리고 그 졸업프로젝트를 위해 PoseNet 관련 프로젝트를 진행한지는 2개월 정도 된 듯 합니다. 저희 프로젝트는 PoseNet을 경량화 함으로써 실내 자율주행 로봇의 배터리 효율을 높이는 것을 목표로 하고 있습니다. 나아가, 실내 자율주행 로봇이 저희가 경량화한 모델을 학습하여 특정 공간 내에서 로봇이 실제로 자율주행을 할 수 있도록 구현하는것이 이번 프로젝트의 최종 목표입니다. 이를 위해서는 다음과 같은 단계들이 필요합니다. —— PoseNet 논문 이해 PoseNet 논문 구현 (기존의 데이터셋 이용) PoseNet 모델 경량화 자율주행을 구현할 실제 공간 선정 및 데이터셋 생성 생성한 데이터셋을 이용한 학습 실제 자율주행 구현 —— ‘졸업프로젝트-eLENS’ 시리즈의 게시글 역시 위와 같은 흐름으로 흘러갈 예정이며, 첫 번째로 이번 글에서는 '1. PoseNet 논문 이해'를 위해 간단히
Introduction to Visual SLAM From Theory to Practice (1)
아래는 Xiang Gao와 Tao Zhang의 을 읽고 번역정리+추가적인 코멘트를 단 내용이다. 말은 가능하면 간소화하고, 이론적으로 더 참고할만한 부분은 추가적인 코멘트를 넣었음. 저자에 의해 모든 자료가 무료 배포되었음. 아래 링크 참고 📘 영어판 도서 파일: https://github.com/gaoxiang12/slambook-en 📂 practice 코드: https://github.com/gaoxiang12/slambook2 1장. Introduction to SLAM > 🔎 학습 목표 Visual SLAM 프레임워크가 어떤 모듈들로 이루어지고, 각 모듈이 어떤 역할을 하는지 이해한다. 프로그래밍 환경을 셋팅하고, 실험을 위한 준비를 완료한다. 리눅스에서 프로그램을 어떻게 컴파일하고 실행하는지 이해한다. 만일 컴파일 단계에서 문제가 생긴다면 어떻게 디버깅하는지 배운다. C
Introduction to Visual SLAM From Theory to Practice (0)
SLAM이라는 분야가 워낙 여러 연구분야를 다 갖다붙인 합성물같은 특성을 가지다보니 단일 연구분야로서는 꽤 광범위한 배경지식을 요구한다. 그래서 SPARK Lab에서 공개한 SLAM 라이브러리인 Kimera를 처음 보았을 때 SLAM 라이브러리가 가질 수 있는 가장 알맞은 이름이라며 감탄했던 기억이 있다. 가능한 모든 것을 조합해 어떻게든 작동하게 만드는 모습이 “안되면 되게 하라” 라는 공학정신을 그대로 보여주는 듯 한데, 이런 점이 SLAM이라는 분야의 매력이 아닌가 생각한다. 카메라 센서의 가격적인 면이나 접근성의 경쟁력 덕분에 여러 고기능 센서들의 등장과 유행에도 불구하고 Visual SLAM은 확고한 파이를 유지하고 있는데 (사실 정확히는 pure Visual SLAM보다는 Visual Inertial S
[ICLR '18] NerveNet: Learning Structured Policy with Graph Neural Networks
NerveNet: Learning Structured Policy with Graph Neural Networks 풀고자 하는 task: Continous control (Locomotion control 포함) $\rightarrow$ Infinite-horizon discounted MDP (Infinite-horizon: 각 episode에 대한 time step이 무한할 수 있음) Model-free RL: Agent가 직접 Environment와 상호작용을 하면서 Policy 혹은 Value funtion을 직접 learn함 ** Model-based Sample efficiency가 높음 최적의 Model 또한 함께 학습해야하는 과정이 추가로 생김 $\rightarrow$ 논문에서는 이러한 이유 때문에 loco
Graph Based SLAM
동영상 [link] SLAM의 문제를 확률상의 그래프 모델로 표현 할 수 있다는 것이 기존의 필터 방식의 SLAM과 가장 큰 차이점이다. node와 edge를 표현 하기 때문에 graph에서 모든 pose의 값에 접근이 가능하기 때문에, grobal optimization이 가능하다. 이는 필터 방식의 SLAM이 시간이 지날수록 점점 error가 커진다는 것을 보완할 수 있다. Modeling 그래프로 문제를 표현 할 수 있음 node : pose of robot edge : 두 포즈 사이의 관계 Front End & Back End Front End : 매칭 되는 센서 데이터로 pose graph 생성(backen
SLAM
SLAM > SLAM DUNK [link] Localization robot motion(noisy) landmarks estimate robot pose based on motion and landmark observations 랜드마크가 정확하다는 가정하에 motion을 보정 Mapping robot motion sensor readings(noisy) estimate landmarks(i.e. map points), based on motion and sensor readings 모션이 정확하다는 가정하에 landmarks 위치를 보정 SLAM noise robot motion noise sensor reading
간편한 camera calibration 툴 소개- MRPT
MRPT는 Mobile Robot Programming Toolkit의 약자로 2d/3d SLAM, localization, video feature tracking, camera calibration 등 로봇 공학에서 많이 쓰이는 여러 기능을 제공하는 툴킷이다. ROS 패키지로도 지원됨. 자세한 설명은 https://docs.mrpt.org/reference/latest/index.html 참고. 여러 툴들 중에서 camera calibration 툴이 사용하기 굉장히 쉽고 간편해서 소개함. 🔎설치 위 명령으로 설치 안될 시 아래와 같이 설치 🔎실행 🔎 사용법 실행하면 다음과 같은 창이 나오는데, 좌측 중앙부분 Checkerboard detection parameter를 사용자가 설정해주면 된다. 
Cubic Spline
Waypoints를 곡선화하기 위한 Cubic Spline Optimal frenet path plannig을 하기 위해서는 reference path가 필요하고 이 reference path는 우리가 미리 설정한 Waypoints로 부터 얻을 수 있습니다. 원래 저희 목적이였던 기존의 양이 많던 Waypoints의 개수를 줄이고 그 중간의 유실된 경로를 새로 추가해 주는 것이였고 이를 Cubic Spline으로 할 예정입니다. 떨어진 node들을 직선으로 잇는 것은 부드러운 주행을 하기에 적합하지 않을 것이라고 쉽게 예상할 수 있으며, 곡선으로 node를 이을 때 여러가지 후보가 있습니다. Bezier Curve, B-Spline, Cubic Spline, Quintic Spline 등등.. 그 중 parameter로 곡선의 형태가 정해지는 Bezier와 B-Spline은 저희가 원하는 점을 기준으로 가중치를 두고 곡선을 만들 뿐 Waypoint를 지나
Optimal Frenet Path Planning1
In this series, I'd like to cover Optimal Frenet Path Planning. Especially on this post, I'll write about how we decided to take this way, the history. Last year, We had a frequency issue when we operated our car with all nodes on including LiDAR, Camera, and YOLO v4. Its hz didn't go down until we turned on Yolo v4, and it led the car to an unstable path tracking. Especially the speed of Waypoint_loader (which is a publisher) plummeted sharply from 10 hz to around 4hz. So we first
Hello to everyone!
이상한 사람은 아닙니다 자율주행과 로보틱스에 관심 많은 대학생입니다! 아직 많이 부족하고 천천히 알아가는 단계이며 공부해온 것을 기록해서 성장의 기쁨을 느끼고 싶습니다 ! ^_^ 오개념 교정과 질문은 언제나 환영입니다! 같이 성장해서 맛있는 밥 맘껏 먹어요!! Hello guys, I'm an undergraduate student hugely interested in Autonomous vehicles and Robotics! Although I'm not yet experienced, I'd like to get the pleasure of getting onto next levels with keeping a log of what I've been studying! Always welcome these things written below! * Correction of misconcepts* ** Any Quest
Ensemble Bootstrapped Deep Deterministic Policy Gradient for vision-based Robotic Grasping -논문 리뷰
논문 링크: https://ieeexplore.ieee.org/document/9316755 Reference W. Liu et al., "Ensemble Bootstrapped Deep Deterministic Policy Gradient for Vision-Based Robotic Grasping," in IEEE Access, vol. 9, pp. 19916-19925, 2021, doi: 10.1109/ACCESS.2021.3049860. 이 논문은 이전에 소개한 https://velog.io/@everyman123/Automtic-Inside-Point-Localization-with-Deep-Reinforcement-Learning-for-Interactive-Object-Segmentation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 과 비슷한 문제를 해결하기 위해 고민한다. DDPG는 Exploration 전략이 Noisy에
Active Object Detection Using Double DQN and Prioritized Experience Replay - 논문 리뷰
논문 출처: https://ieeexplore.ieee.org/document/8489296 Abstract 이 논문은 Deep Reinforcement Learning을 이용해 효율적인 Active Object Detection을 할 수 있는 알고리즘을 제시한다. >What is Active Object Detection When an object of interest apeears in its view field, and it couldn't detect it surely, it can adjust its pose by translation or rotation to get a better observation 즉 현재 캡쳐한 사진에서 Interest Object의 Class
