TIL - 2026. 09.29
실외 로봇
다수의 RGB카메라, 복수개의 뎁스 카메라, 엣지 디바이스
배달로봇, 순찰로봇
실내 로봇
2D 라이다, 복수개의 뎁스 카메라, 저가형 SoC
서빙 로봇, AMR
AMR : 주로 반도체 공장, 물류창고에서 운영, 폼팩터는 다르지만 AtoB이동이라는 서빙 로봇과 유사한 기능을 수행한다.
산업별 로봇 활용 사례
실외 배달, 순찰로봇
산업 문제 : 배송, 순찰 인력 부족과 인건비 상승으로 자동화 수요 증가
로봇의 역할 : 동적으로 변하는 실외 환경에서 자신의 위치를 판단하고, 주변환경을 인지하여 목ㅈ적지까지 이동
기술적 문제점
가혹한 실외 환경 : 킥보드, 자전거처럼 예측이 어려운 동적 장애물
강한 햇빛, 어두움, 자동차 헤드라이트로 앞이 보이지 않는 순간, 이면도로, 울퉁불퉁한 노면, 연석 단차를 얼마나 잘 인지하느냐가 전복사고 빈도를 좌우
로봇 자기위치 인식의 어려움
제한된 센서로 정교한 맵을 만드는 데 근본적인 어려움
Visual information연구는 활발하지만 연산량이 커서 엣지 디바이스에서는 아직 실행이 어려움
GPS에 많이 의존하지만 센서 자체의 오차와 한계로 Localization이 쉽지 않음
실제 운용 환경
관제 플랫폼 : 비상 상황에 대비해 원격관제가 가능한 플랫폼이 존재합니다.
배포 테스트 : 로봇 필드 엔지니어가 현장 서비스전 수많은 테스트를 수행하고 위험요소를 먼저 식별한다.
코어 알고리즘 : 알고리즘 엔지니어는 특정 위험요소를 통해 fine-tuning
핵심 기술
Sensor pipeline
perception(객체)
perception(주행)
Localization
planning & control
원격관제
관련 직무
데이터(라벨링) : 야간 역광 단차 등 엣지 케이스 데이터 수집 라벨링
퍼셉션 엔지니어 : 객체 탐지, 주행 가능 영역 판별, 모델 파인튜닝
로컬라이제이션 엔지니어 : gps기반 위치추정, 신호 품질 판단, 맵 작성
planning & control : 경로 생성과 주행 제어
QA엔지니어 :
로봇 필드 엔지니어
원격관제 운영
PM
실내 서빙 로봇과 AMR
산업 문제 : 무거운 물품, 민감한 음식을 옮기는 단순 반복 업무의 자동화 니즈
로봇의 역할 : 실내에서 정해진 지점간 이동을 반복하며 음식, 물품을 운반
기술적 문제점
1000대 이상의 배포 로봇 대응 : 개발된 기술이 이슈없이 적용되려면 범용성과 수많은 QA가 필요
배송 물품의 민감성 : 급가감속 진동에 깨지기 쉬운 반도체 물품, 흘릴 수 있는 국, 맥주같은 액체류 운반
근접 장애물과 좁은 통로 : 튀어나오는 아이, 의자에 걸쳐진 지팡이, 수cm마진으로 지나가야 하는 통로
레드오션과 저가형 센서, 보드 : 경쟁업체가 많아 단가를 낮춰야 하므로 저가형 센서와 보드를 단순하게 만들어야함
물류 도메인에서 2D 맵의 확장성 : 구조물이 동적으로 변해 주기적 맵 업데이트 필요, 특징없는 비슷한 캐비닛 때문에 Mis-loc흔합, 넓은 공간의 수동 맵 작성에 시간 소요
핵심 기술
perception
machine learning : 자율주행 기능보다 서비스형으로 개발(진로 방해시 사람을 탐지해 비켜다라는 음성 출력)
Localization : 라이다로 맵을 만들고 주행 주 ㅇ지속적으로 위치를 업데이트, mislocate해결에 중요
planning : 서빙로봇은 원통형 가정으로 경로 설계가 단순하지만, 물류용 사각형 로봇은 회전시 모서리 충돌을 고려해야 해 그대로 적용하기 어려움
control 급정거 가감속시 이동 물품이 손상되지 않도록 하는것이 서비스 도메인 특성상 매우중요
관련직무
ML엔지니어
센서엔지니어
slam, Localizationplanning
robot integration
qa engineer
field engineer
PM
실내와 실외 로봇 회사의 차이
실내
주요 센서 ; 2ㅇ 라이다, 맵 작성과 Localization
ai 컴퓨팅 : 경쟁이 많고 정적 환경을 가정, 카메라/ai비중과 computing power가 작음
안정적인 알고리즘, 소프트웨어 역량이 매우 중요
실외
주요 과제 : 넓은 영역 커버, 맵 작성 어려움
dynbamic 하고 challengine한 환경 , computing파워가 훨씬 좋음
과학적 사고와 수학적 역량이 중요 : 석박사 비중 높음
현업 로봇 AI엔지니어가 해결하는 묹제 : 문제 정의부터 배포, 기억에 남는 이슈까지
ai들어가는 로봇 시스템?
센서 파이프라인
다수의 카메라와 센서에서 엣지 컴퓨터로 데이터가 전달되어 메인 알고리즘에 들어가기 직전까지를 담당합닏. 이 과정의 전처리 등에서 레이턴시 문제가 생기지 않도록 합니다.
퍼셉션
전처리된 영상 데이터를 인공지능 모델로 detection segmentation합니다. 작은 객체를 잘 탐지해야 하고, 어두운 밤에도 추론 결과가 잘 나와야 합니다.
객체 Detection -> Depth point Clustering -> obstacle -> dtection결과의 align
주행 영역 Semantic segmentation-> Depth에서 ground plane 추출 -> Drivable Area 판별 -> 자율주행 데이터
문제 정의와 전체 흐름
전체 흐름
ai 모델 아키텍처 선정(보드, 가속기, fps, 라이선스) -> 데이터 확보(publilc, 직접 수집, Synthetic) -> 모델 학습(셋 분리, 짧은 실험 주기) -> 모델 배포(보드별 최적화, Runtime SDK)
^ |
|-----------------------------------------------------------------------------------------------------------------------------------------------------
요구FPS를 크게 미달하면 아키텍쳐 선정으로 회귀 학습 완료-배포-로봇 실험을 짧은 ㅈ주기로 반복하며
AI모델 아키텍쳐 선정
aiㅁ가 구동될 로봇 보드를 파악해 가속기 종류를 알아야 합니다.
아키텍쳐마다 가속되는 정도가 다릅니다. cpu : depthwise Separable conv(mobileNet계역)
요구 fps를 충족하면서 라이선스 이슈가 없는 퍼블릭 모델을 선정합니다.
라이선스 예 : yolov5/v8은 agpl-3.0이라 상용 제품에 쓰려몀ㄴ 소스 공개나 별도 라이선스가 필요합니다.
모델 학습
데이터셋을 학습 검ㅈ증 테스트 셋으로 구분
주행데이터는 반복 프레임 많음, 성능 부풀릴 위험, redundant한 프레임을 feature기반으로 필터링
테스트셋은 실제 배포 환경과 가장 유사하게, 검증셋은 테스트셋과 분포가 너무 멀지않게
학습주기가 길기 때문에 학습완료, 모델 배포, 로봇실험을 짧게 반복하여 부족한 부분을 빠르게 파악하고, 데이터를 더 모으거나 학습 configuration을 수정
모델 배포
성능이 검증되면 실제 로봇에 배포합니다. 타겟 보드마다 특성이 달라 그에 맞는 최적화 전략을 설계 적용합니다.
가속기별 runtime sdk를 알아두면 좋다. nvidia gpu - tensorRT cpu-openvino, hailop-hailoRT, rockchip-rknn toolkit등
기억에 남는 이슈 대응
작은 객체 ; 신호등처럼 작은 객체를 인지해야 하는데 기존 해상도로는 충족되지 않음 -> 이미지를 crop하여 추론 (이미지를 crop한다는게 무슨의미지?)
어두운 골목 : 어두운 골목에 대응해야 하는데 어두운 데이터가 소량 -> style transfer 로 다량의 밝은 주행 데이터를 어두운 스타일로 증강
추론 속도 : 전방 카메라만으로 연산량이 부족 -> 양자화와 activation변경으로 모델 쵲적화
보드 과열 : 미국 남부 실외 배포에 필드 엔지니어 대체로 지원, 로봇이 덜컹거리며 멈춤 -> 뜨거운 실외 온도로 인한 ai보드 과열 -> 가속기 사용량 제한 설정
이것저것 자신의 분야 말고도 시키는 일이 많이있기 때문에 다 할수있다는 마인드를 가지고 일을하는게 더 중요하다.
로봇회사 팀구성
실외주행(100대 이상)
주행데이터 라벨링
퍼셉션 : Sensor Pipeline, 딥러닝, 트래킹
로컬라이제이션 : calibration, gps, slam
플래닝, 컨트롤
QA : SW, Perception
field engineer
실내주행(1000대 이상)
센서 : 캘리브레이션
ML엔지니어
slam
Robot integration
QA
field engineer
로봇 분야로 들어가는 6가지 커리어
1. pm, 기획
2. 로봇 sw, 통합
3. 직접조작, 운영(QA, 관제)
4. 현장 구축, 운영(필드 엔지니어)
5. 인지, AI모델
6. 제어, 하드웨어 캘리브레이션, slam, p&c
나는 어떤길이 맞을까
데이터 : 손이 빠르고 꼼꼼한 사람, 규칙적 반복적 업무에 강한 사람, 라벨리 시간을 줄이려는 장인정신이 있는 사람
학위가 반드시 필요하지 않음. 이과가 아닌 문과 예체능 등 다양한 배경
알고리즘 코어 : 논리적 사고와 과학적 실험을 즐기고 논문의 수식을 읽는 데 거부감이 없는 분
코드 개발은 기본이지만, 소프트웨어 역량보다 자신의 알고리즘이 타당한지 말로 설명하고 글로 정리하는 능력이 더 중요
실내 로봇 회사는 학사도 많았고, 실외 로봇 회사는 석박사가 주로
로봇 소프트웨어 통합 : ROS작동방식에 관심이 있고, SW아키텍쳐 설계처럼 큰 그림을 보는 걸 좋아하는 분
소프트웨어 역량이 기본, 학사, 석박사 다양하게 분포
로봇 QA : 로봇을 직접 조작하여 비교 테스트를 하고 객관적으로 평가 및 보고할 수 있는 분
소프트웨어 프론트엔드와 백엔드 기초, GUI 쁜만 아니라 ubuntu-CLi, 초기 회사는 평가 툴과 체계를 직접 만들어야 해 팀간 소통이 중요, 소프트웨어 역량보다 분석 능력
운영, 관제 : 기민하고 게임, 조이스틱에 익숙하며, 로봇의 상태 정보를 이해하는 분
여러대의 로봇을 원격으로 지켜보다 위험 상황에서 직접 좆작해 ㅈ전복사고 등을 막음
지금 로봇을 직접 조작해 보는 경험이 가장 직접적으로 이어지는 직무
필드 엔지니어 : 전자기기에 관심이 있어 덕업일치가 되는 분, 로봇을 소중히 다루는 분
로봇 로스트웨어와 하드웨어 기초 이해, 기존 신규 기능 파악, 매뉴얼 준수와 작성
장거리 운전과 출장이 잦고 해외 출장도 많아 영어 소통이 되면 매우 큰 이점
PM, 기획 : 기술과 사업 목표 사이에서 우선순위를 판단하고 싶은 분
엔지니어가 말하는 기술적 제약(요구 fps, 맵 작성의 한계)을 이해하고 여러팀의 일정을 조율, 문제를 정의해 문서로 정리
기술 기반으로 개발 범위 일정을 관리하는 TPm과 제품 사업 괁점의 Pm으로 나뉘기도 함
HW 전장 ; 실제 장비를 ㅈ좆립하고 측정하며 문제를 찾는 게 즐거운 분
회로 전기 기구 이해, 오실로스코프 멀티미터 등 계측 장비, 센서, 보드 선정을 소프트웨어 팀과 협의하여 선정할 수 있는 분
그래서 무엇을 준비해야 할까?
1. 최신 기술이 나오면 누구보다 빠르게 적용해 봅니다.
2. 거기서 좋은점과 안좋은점을 분별합니다.
3. 현재 회사 상황에 맞게 커스텀합니다.
포트폴리오의 한줄이 되려면
최신기술을 적용해봤다만으로는 이력서, 포트폴리오에 넣는 의미가 더 이상 없습니다.
실제 실외/실내 로봇에 붙여 보고
무엇이 한계인지 찾고
어떻게 극복했는지, 연산량은 어떻게 충족했는지까지
앞에서 언급된 문제점과 로봇 회사들이 미래를 준비하는것 사이에서, 프로젝트를 많이 수행하는게 도움이 될것같습니다.
취업 팁
취업 이직전
전문성을 입증하는 기술 블로그
회사에서 다룬 문제를 다른 모델에 적용하거나, 관심분야를 공부해 실제 AI모델에 적용
적용에 그치지 않고 왜 되었는지 / 되지 않았는지 깊게 파고듦
이력서
두괄식 + 회사별 커스터마이징
핵심을 앞에 두는 두괄식으로 작성
Introduction파트는 회사마다 다루는 문제가 다르기 때문에 회사별로 맞춰 작성
포트폴리오
최대한 시각적으로
결과를 최대한 시각적으로 보여줄 수 있게 구성
수치적인 개선이라면 표로라도 정리
회사에서 주로 사용하는 색을 따와서 포트폴리오 만들거나 이력서 꾸미기
코딩테스트 면접
온라인 제출 : ai사용여부 체크, 화면 전환율, 복사 붙여넣기
대면 면접 : 면접관과의 interactive communication이 중요합니다.
막혔을때 어떻게 풀어나가는지를 봅니다.
풀이 ㅗ가정을 소리내어 말하면서 풀어도 좋습니다.
힌트를 주면 왜 줬는지 되물으며 적극적으로 대응하세요.
과제 면접
결국 발표자료나 보고서 형태로 작성 -> 이해할 수 있는 글이 핵심
주절주절 써놓은 자료는 절대 읽지 않습니다. 결과 중심으로 작성하세요.
가장 이해하기 쉬웠던 흐름
배경 -> 목표 -> 주요내용 -> 결과 -> 결론
ai개발자의 ai툴 사용 팁
처음에는 ai를 단순 에이전트로 써준 내용이 맞겠지 하고, 수치가 이렇게 나왔다고 하고 끝냈습니다. 배포 후 문제가 생겼을때, 설명할 수 있는 유일한 사람인 내가 팀원에게 설명하지 못했습니다.
이후부터는 ai를 augumented tool로 사용합니다. 나의 사고렬을 증강시켜 주는 도구로써 내 사고가 먼저이고 그 사고를 더 깊게 이해하도록 돕는 역할을 ai가 수행합니다.
조금 느릴 수 있지만 자기가 개발한 것을 설명할 수 있어야 그것이 나중에 쌓이는 지식과 노하우가 됩니다.
