1.single-processing with batch calcuation VS multi-processing
- 결론:
- 어떤 방법을 써도 똑같다. 구현이 쉬운
multi-processing으로 가면 된다. - 각 프로세스당, 사용 가능한 CPU 코어 수의 제한을 둘 수 있다.
- 어떤 방법을 써도 똑같다. 구현이 쉬운
1.1. single-processing with batch calcuation
1.1.1. 개념
- realsense n대
- 하나의 human detector 프로세스
- batch calculation
1.1.2. 구현
- 새로 들어온 realsense image만, batch processing 한다.
1.1.3. 장점
- 하나의 프로세스지만, numpy 모듈을 사용하므로, 여러 CPU core을 사용하여, 진정한 의미의 병렬성을 구현 가능함 (https://velog.io/@jk01019/python-1-process는-1-cpu-core만-사용하나요)
1.1.4. 단점 = 없음.
- 하나의 프로세스는, 제한이 있는 독립된 메모리 공간을 사용하지만, 독립된 메모리 공간에 사실상 제한이 없다.
1.2. multi-processing
1.2.1. 개념
- realsense n대
- n개의 human detector 프로세스
1.1.3. 장점
- 병렬 처리가 가능하여, 처리 속도가 빠릅니다.
1.1.4. 단점
- 없음
2. 언제 프로세스를 tick 할 것인가?
2.1. Depth post processor와 Human detector의 tick 시점
- RGBD streamer의 새 데이터가 왔을 때
TODO: 새 데이터가 왔으면 돌리는 로직 추가pub time을 비교해서, 다를 때만 돌리면 됨
2.2. Human Pointcloud Classifier의 tick 시점
- Depth post processor와 Human detector의 새 데이터가 왔을 때
- 두개의 sync가 맞도록 설계해야함.
TODO: 새 데이터가 왔으면 돌리는 로직 추가pub time을 비교해서, 다를 때만 돌리면 됨gen time의 차이가 threshold 이상 나면, 돌리지 않는다?
3. Human pointcloud classifier 구현 방법
3.1. Segmentation mask를 input으로 사용하기
- input 인 segmentation mask: List[(k,2)]
- TODO: 사람 각각을 구분한다는 뜻인데, 어떻게 구분하는지, 나중에 알아보기
4. 업무진행 순서
- human detector 돌아가는거 확인하기
- human pcl classifier 돌아가는거 확인하기
- IPC 방식: shared memory 로 구현하였는데, ros2 node화 진행.
human detector/human pcl classifier정량적 평가 진행
4.1. human detector 돌아가는거 확인하기
- output:
- bounding_box: (k, 4)
- k:
max_human_number - (0, 0)인 부분은 사람 검출된 부분이 아님.
- k:
- segmentationmask: (k, MAX, 2)
MAX_:(resolution[0] // jump) * (resolution[1] // jump)- 사람마다, point_cloud 수가 다르므로, k에 대해 for문을 돌면서, 그림을 그려보자.
- bounding_box: (k, 4)
- 그림그리기
- rgb_array: (h, w, 3)
- TODO: segmentation mask가 테두리만 그려지는 것 같던데 확인 필요
- rgb_array: (h, w, 3)
4.2. human pcl classifier 돌아가는거 확인하기
새로운 것이 들어오면 이미 있는 것과 충돌을 시도하라.