딥러닝만으로 번호판 디섹션을 할 수 있다면 글자 읽는 건 쉬움
번호판의 위치를 찾기 어려우니 숫자가 잘 잡기 어려워져 정확도가 떨어지는 것
<번호판 Detection 원리>
딥러닝 학습 - 번호판 찾기 (번호판 5000장도 모아야함)
숫자 인식 - 알고리즘 돌리기
카메라
- 영상을 기록할 수 있는 장치
- 카메라가 메인이 아닌 부속품으로 바뀜
컴퓨터 입장에서 카메라
- 영상을 입력받기 위한 센서 (입력장치)
- 산업용 카메라 : 옛날에는 영상을 컴퓨터로 처리하려면 프레임그레버를 사용해야하는데 방송 송출할 때 사용하는 송출용 카메라로 전달 받음,카메라에서 촬영된 영상을 컴퓨터로 받아옴
요즘은 컴퓨터로 다 연결될 것을 염두해두고 usb연결 지원
산업용 카메라
-바디와 렌즈로 구성
- 대부분 USB 입력
- 대부분 CMOS 센서(전원을 한줄씩 읽어오는 것)
- Area 방식 혹은 Line 방식
- 렌즈에 빛을 모아 Sencing을 하는 것
- Area방식 : 640 x 480 -> 120fps, 가로세로 지원
- Line방식 : 2048 x 1, 고해상도가 필요할 때 사용, 제조업 컨베이어 벨트
새로운 이미지가 쌓이면 과거 이미지를 버리는 방식
한 줄씩 새로 들어오고 버림
카메라 구조
오목렌즈가 왔다갔다하며 줌을 잡음(화각조절가능)
포커싱렌즈로 포커스를 돌려 포커스를 잡음(초점 맞춤)
실제로는 볼록-오목-볼록 + 포커스렌즈 + 센서로 구성
화각 : 카메라가 빛을 받아들이는 범위
초점 거리 : 렌즈와 센서의 거리
화각
화각이 좁을 수록
- 피사체의 크기가 커진다, 좁은 범위 밖에 찍지 못한다.
- 초점 거리가 길다, 혹은 렌즈 굴절률이 낮다
- 왜곡이 적다
화각이 넓을 수록 왜곡이 커질 수 밖에 없음, 옆쪽의 빛까지 흡수를 해야하니까
실제 나라 크기 보다 작아보임
- 빛이 렌즈에서 모일때의 각도 : 굴절률
- 화각이 좁다 = 멀리있는 피사체를 좁은 범위로 잡음
초점거리 - focal length
- 렌즈와 센서 사이의 거리
- 화각, 심도 등을 결정한다.
- 렌즈마다 다르다.
극단적으로 멀리 있으면 화각이 좁아짐
망원렌즈는 크고 길다
긴 이유는 초점 거리를 길게 해야 멀리 있는 걸 볼 수 있기 때문
좋은 화질을 확보하기 위해 (빛의 양을 확보하기 위해) 큰 구경을 씀
조리개
- 받아들이는 빛의 양을 결정한다.
- 단위 : 초점거리/조리개의 직경 -> 심도 계산에 좋다.
작은 렌즈에서 받아들이는 양이나 큰 렌즈에서 받아들이는 거랑 조리개의 단위를 비교할 때 조리개의 크기의 정도를 절대적인 단위로 결정했다면 작은 조리개는 직경이 작고
큰 조리개는 직경이 크다.
포커스
- 렌즈의 빛이 모이는 지점에 센서가 위치해야 한다.
- focal length에 따라 렌즈를 통과하는 빛의 굴절률이 다르다.
- 렌즈를 앞뒤로 움직여 초점을 맞춘다.
렌즈가 있을 때 출발 지점에 따라 모이는 위치가 달라진다.
한 지점에서 시작한 빛이 퍼져보임
포커스렌즈를 좌우로 움직이면서 센서에 도달하게 됨
심도
조리개가 닫힐 수록, 초점 거리가 짧을 수록, 피사체와 거리가 멀 수록 심도는 깊어진다.
심도가 깊으면 어느 지점에서 출발한 빛이든지 한 곳으로 잘 모인다.
심도와 조리개(조리개를 조절해 심도를 조절)
조리개가 닫힐 수록 빛이 들어오는 각도가 제한된다.
바늘구멍 사진기 : 상자에 바늘구멍 하나만 뚫어놔도 상이 맺히는 이유는 바늘 구멍을 뚫어놓았기 때문
구멍을 크게 뚫어놓으면 초점이 안 맞아 흐리게 상이 맺힘
받아들이는 빛의 양은 적지만 정확하게 엇갈려서 상이 맺힐 수 있음
심도와 초점 거리
초점거리가 길어지면 빛이 퍼질 수 있는 공간이 넓어진다.
화각이 좁을 수록 심도가 얕고 초점을 맞추기가 어려움
웹캠 : 사람이 초점을 맞출 일이 없도록 나옴(초점 맞추기 불편하니까) - 조리개를 미리 닫아놓아 어두운 곳에는 잘 안 찍히고 밝은 곳에서만 잘 찍힘
스마트폰/웹캠 포커스
과거 : 심도를 매우 깊게 하여 단일 포커스 형성
현재 : 안 보이지만 내부에서 렌즈가 자동으로 움직임
선택을 하면(누르면) 그 부분에 대해 초점이 맞음
렌즈가 앞뒤로 움직이는 게 보임
요즘 핸드폰 카메라가 튀어나와 있는 이유는 그만큼 초점을 조절해 망원렌즈 기능을 사용하기 위해서이다.
스마트용 카메라가 단일 카메라가 아니라 포커싱을 맞추게 해줌(아웃포커싱도 사용가능)
자동포커스
- Phase Detection
빛이 안 맞으면 포커싱이 안 맞는 거고
아니면 맞는 것
- 레이저 방식
직접 피사체와의 거리를 잰다.
영상의 중앙에 있는 물체에 초점을 맞춤
삼성 갤럭시의 심도/포커스
- 이미지의 모든 영역에 대한 거리 추정
- 소프트웨어 보정으로 심도를 생성(라이브 포커스)
심도형성 : 포커싱이 안 맞는다고 생각되는 멀리 있거나 가까운 물체에 블러효과를 주는 것
이를 하려면 거리를 재야하는데 거리 인식은 양안으로 할 수 있는데 각 눈이 빛이 들어오는 게 달라서 거리감을 느낄 수 있음
카메라가 이쪽에 있을 때 이미지랑 다른 쪽에 있을 때 이미지를 분석하여 거리감을 파악하는 것
실제로는 수식을 푸는 라이브러리가 있다.
이는 SLAM 기술의 기본
가까이에 있는 물체를 찍었다 멀리 있는 물체를 찍었다 반복하면 렌즈를 보면 렌즈의 움직임이 보인다.
다이나믹 레인지
- 센서가 받아들일 수 있는 레벨의 범위
- 음성신호를 받아들이는 거랑 비슷
예) 작은 소리로 속삭였을 때 인식하기 어렵기 때문에 어느 정도 소리 수준이 되야 받아들이기 시작할 것이고 이와 같이 너무 큰 소리도 어느 수준을 넘어가면 받아들이기 어려움
=> 카메라도 마찬가지
원인
1. 디지털 처리
0~255 만큼 받아들이는데 255보다 큰 빛을 받아오면 범위에 벗어나기 때문에 받아들일 수 없다. ex) 엄청 작은 빛 0~3이 들어오면 0,1,2,3 엄청 작은 빛으로 들어오면 잘 구분이 안 됨(= 디지털 분해능의 한계)
- 아날로그 센서에서부터 오는 원인
마이크에서 소리를 받아들이는 원리 : 마이크의 진동판이 소리를 받아들여 전기적 신호로 변환해 전송하는 것, 진동판이 움직이는 한계가 있음 영상도 센서의 한계가 있어 너무 큰 빛이나 작은 빛은 못 받아들임
모든 빛을 한꺼번에 받아들이기 어려움
다이내믹 레인지
- 광학 센서의 다이내믹 레인지는 매우 좁기 때문에 다양한 범위의 빛을 받아들일 수 없다.
카메라의 다이내믹 레인지는 좁기 때문에 선택을 할 수 밖에 없음 그래서 다양한 레인지의 영상을 합쳐서 하나의 영상으로 만듬(HDR 영상)
색감
색감이 차이나는 이유
- RGB 색깔마다 다이내믹레인지, 감마 등 특성이 다르기 때문
- 광량이 증가할 수록 커진다.
- 색감이 달라지는 건 카메라 회사들만의 고유한 비밀
노출시간
- 촬영에 걸리는 시간
- 노출이 길수록
- 다이내맥 레인지가 커진다.(장점)-> 화질이 좋아짐- 적은 게인(빛의 영향이 적을 때)으로 촬영이 가능하다.
- 움직임에 따라 모션 블러가 발생한다.
- 동영상의 경우 fps에 제약이 있다.(노출시간에 제약있음)
게인
- 신호를 증폭시키는 크기
처음에 빛 신호가 미약하기 때문에 증폭을 시켜줘야함 - 게인이 높으면
- 어두운 빛을 증폭시켜 밝게 만든다.- 노이즈도 같이 증폭된다.(단점)
입력신호가 작으면(조명이 적을 때) 노이즈가 아래쪽에 형성
노이즈는 변함이 없음(일정한 수준에서 이루어짐)
조명이 커지면 노이즈도 커짐
어두운 곳에서 촬영할 때
- 게인을 높이면
- 노이즈 신호가 같이 커져서 화질이 나빠진다.
- 디지털 게인을 사용하면 화질이 더 나빠진다.
- 노출시간을 늘리면
- 화질은 획기적으로 좋아진다.- 모션 블러가 심해진다.
- 촬영하는 데 오래 걸려 불편하다.
노출시간이 1~2초로 설정하여 어두운 곳에서 찍을 수 있음, 화질은 획기적으로 좋아지지만 위처럼 여러가지 불편함이 생김
PPT 까지 수업 내용
