03 Computer Vision 서비스를 사용하여 이미지 분석

'컴퓨터 비전'은 AI의 핵심 영역 중 하나이며, AI 애플리케이션이 세상을 "보고" 이해할 수 있는 솔루션을 만드는 데 중점을 둔다.

컴퓨터에는 당연히 인간과 같은 생물학적 눈이 없지만 라이브 카메라 피드나 디지털 사진 또는 비디오로 이미지를 처리할 수 있다. 이미지를 처리하는 이 기능은 인간의 시각적 인식을 모방할 수 있는 소프트웨어를 만드는 핵심입니다.

컴퓨터 비전의 몇 가지 잠재적 용도는 다음과 같다.

• 콘텐츠 조직: 사진의 사람 또는 개체를 식별하고 해당 ID에 따라 구성합니다. 이와 같은 사진 인식 애플리케이션은 일반적으로 사진 스토리와 소셜 미디어 애플리케이션에서 사용됩니다.
• 텍스트 추출: 텍스트가 포함된 이미지와 PDF 문서를 분석하고 텍스트를 구조적 형식으로 추출합니다.
• 공간 분석: 공간에서 자동차와 같은 사람 또는 개체를 식별하고 해당 공간 내에서 이동을 매핑합니다.

AI 애플리케이션에서 이미지는 픽셀 값의 배열일 뿐입니다. 이러한 숫자 값은 이미지와 그 콘텐츠를 예측하는 기계 학습 모델을 학습시키는 특징으로 사용할 수 있습니다.

기계 학습 모델을 처음부터 학습시키는 것은 시간이 오래 걸리고 많은 양의 데이터가 필요할 수 있습니다. Microsoft의 Computer Vision 서비스는 미리 학습된 컴퓨터 비전 기능 액세스를 제공합니다.

Azure에서 이미지 분석 시작

Computer Vision 서비스는 미리 빌드된 Computer Vision 기능을 제공하는 Microsoft Azure의 인지 서비스입니다.
서비스는 이미지를 분석하고 이미지 및 이미지에서 묘사되는 개체에 대한 세부 정보를 반환할 수 있습니다.

Computer Vision용 Azure 리소스

Computer Vision 서비스를 사용하려면 Azure 구독에서 리소스를 만들어야 합니다.
다음 리소스 유형 중 하나를 사용할 수 있습니다.

• Computer Vision: Computer Vision 서비스에 대한 특정 리소스입니다. 다른 인지 서비스를 사용하지 않으려는 경우 또는 Computer Vision 리소스의 사용률과 비용을 별도로 추적하려는 경우 이 리소스 유형을 사용하세요.
• Cognitive Services: Text Analytics 및 Translator Text 등의 다른 많은 인지 서비스와 함께 Computer Vision을 포함하는 일반적인 인지 서비스 리소스입니다. 여러 인지 서비스를 사용할 계획이며 관리 및 개발을 단순화하려는 경우 이 리소스 유형을 사용하세요.

만들려는 리소스 유형과 관계없이 사용을 위해 필요한 두 가지 정보가 제공됩니다.

• 클라이언트 애플리케이션을 인증하는 데 사용되는 키입니다.
• 리소스에 액세스할 수 있는 HTTP 주소를 제공하는 엔드포인트입니다.

Computer Vision Service를 사용하여 이미지 분석

구독에서 적합한 리소스를 만든 후에는 다양한 분석 작업을 수행할 수 있도록 이미지를 Computer Vision 서비스에 제출할 수 있습니다.

1. 이미지에 대한 설명

Computer Vision은 이미지를 분석하고, 감지된 개체를 평가하고, 사용자가 읽을 수 있는 구문이나 문장을 생성하여 이미지에서 감지된 내용을 설명할 수 있습니다.
이미지 콘텐츠에 따라 서비스는 여러 개의 결과 또는 구문을 반환할 수 있습니다.
반환된 각 구문에는 해당하는 신뢰도 점수가 있어 제공된 설명에서 알고리즘의 신뢰도를 확인할 수 있습니다. 신뢰도가 가장 높은 구문부터 먼저 나열됩니다.

이 개념을 이해하는 데 도움이 되도록 예를 들어 보겠습니다. 다음 뉴욕 엠파이어 스테이트 빌딩의 이미지를 살펴보세요. 반환된 구문은 신뢰도 순으로 이미지 아래에 나열됩니다.

• 흑백 도시 사진
• 흑백 대도시 사진
• 도시의 커다란 하얀 건물

2. 시각적 특징 태그 지정

Computer Vision에서 생성되는 이미지 설명은 수천 개의 인식 가능한 개체 집합을 기반으로 하며, 이를 사용하여 이미지에 대한 태그를 제안하는 데 사용할 수 있습니다. 이 태그는 이미지의 특성을 요약하는 메타데이터로서 이미지와 연결될 수 있습니다. 특히 특정 특성 또는 콘텐츠를 포함한 이미지를 검색하는 데 사용할 수 있는 주요 용어 집합과 함께 이미지를 인덱싱하고자 하는 경우 유용합니다.

예를 들어 엠파이어 스테이트 빌딩 이미지에 대해 반환되는 태그는 다음을 포함합니다.

• 고층 건물
• 타워
• 건물

3. 개체 감지

개체 감지 기능은 서비스에서 공통 개체를 식별할 수 있다는 점에서 태그 지정과 비슷합니다. 하지만 태그를 지정하거나 인식된 개체에 대해서만 태그를 제공하는 대신, 이 서비스는 경계 상자 좌표를 반환할 수도 있습니다. 개체 감지는 개체의 형식을 가져올 뿐만 아니라 감지된 개체의 상단, 왼쪽, 너비 및 높이를 나타내는 좌표 집합도 제공하며, 이는 다음과 같이 이미지에서 개체의 위치를 식별하는 데 사용할 수 있습니다.

를 입력합니다.

4. 브랜드 감지

이 기능은 상용 브랜드를 식별하는 기능을 제공합니다. 서비스에는 전 세계적으로 인식된 수천 개의 상용 제품 브랜드 로고가 포함된 데이터베이스가 있습니다.

서비스를 호출하고 이미지를 전달하면 이 기능은 감지 작업을 수행하고 이미지의 식별된 개체가 인식된 브랜드인지 확인합니다. 서비스는 의류, 전자 제품 등 다양한 범주에 속하는 인기 브랜드 데이터베이스와 브랜드를 비교합니다. 알려진 브랜드가 감지되면 서비스는 브랜드 이름, 신뢰도 점수(0~1, 식별 결과의 긍정도를 나타냄), 이미지에서 감지된 브랜드가 있는 위치의 경계 상자(좌표)를 반환합니다.

예를 들어 다음 이미지의 노트북 덮개에는 Microsoft 로고가 있으며, Computer Vision 서비스에서 이를 식별했습니다.

5. 얼굴 감지

Computer Vision 서비스는 이미지에서 사람의 얼굴을 감지 및 분석할 수 있습니다 여기에는 나이와 얼굴의 위치를 나타내는 사각형 경계 상자의 위치를 결정하는 기능 또한 포함되어 있습니다. Computer Vision 서비스의 얼굴 분석 기능은 전용 Face 서비스에서 제공하는 하위 기능입니다. 일반 이미지 분석 기능과 결합된 기본적인 얼굴 감지 및 분석이 필요한 경우 Computer Vision 서비스를 사용할 수 있습니다. 하지만 더욱 포괄적인 얼굴 분석 및 얼굴 인식 기능을 사용하려면 Face 서비스를 사용해야 합니다.

다음 예제에서는 사람의 이미지에서 얼굴을 감지하고 대략적인 나이를 추정하는 것을 보여줍니다.

6. 이미지 분류

Computer Vision은 콘텐츠를 기준으로 이미지를 분류할 수 있습니다.
서비스는 "현재" 제한되어 있는 범주 집합을 포함한 부모/자식 계층 구조를 사용합니다.
이미지를 분석할 때 감지된 개체가 기존 범주와 비교되어 분류를 제공하는 최적의 방법이 결정됩니다.
부모 범주 중 하나로는 people_이 있습니다. 지붕 위에 있는 사람의 이미지에는 people_ 범주가 할당됩니다.
다음 이미지에 대해서는 약간 다른 분류가 반환되는데, 이미지 안에 여러 명의 사람이 있으므로 people_group 범주가 할당됩니다.
여기에서 86개의 범주 목록을 검토하세요.

7. 도메인별 콘텐츠 감지

이미지를 분류할 때 Computer Vision 서비스는 다음과 같은 두 가지 특수 도메인 모델을 지원합니다.

• 유명인 - 이 서비스에는 스포츠, 엔터테인먼트 및 비즈니스 분야에서 잘 알려진 수천 명의 유명인을 식별하도록 학습된 모델이 포함되어 있습니다.
• 랜드마크 - 이 서비스는 타지마할 및 자유의 여신상 같은 유명 랜드마크를 식별할 수 있습니다.

예를 들어 다음 이미지에서 랜드마크를 분석할 때 Computer Vision 서비스는 에펠탑을 99.41%의 신뢰도로 식별합니다.

8. 광학 인식

Computer Vision 서비스는 OCR(광학 인식) 기능을 사용하여 이미지에서 인쇄 및 필기 텍스트를 감지할 수 있습니다. 이 기능에 대해 살펴보려면 Microsoft Learn의 Computer Vision 서비스로 텍스트 읽기 모듈을 참조하세요.

9. 추가 기능

이러한 기능 외에도 Computer Vision 서비스는 다음을 수행할 수 있습니다.

• 이미지 유형 감지 - 클립 아트 이미지 또는 선 그리기를 식별합니다.
• 이미지 색 구성표 감지 - 특히 이미지의 주요 전경, 배경 및 전체 색을 식별합니다.
• 썸네일 생성 - 이미지의 작은 버전을 생성합니다.
• 일반 콘텐츠 - 성인용 콘텐츠를 포함하거나 잔인한 장면을 묘사하는 이미지를 감지합니다.

---

연습 - Computer Vision 서비스를 사용하여 이미지 분석

Computer Vision 인지 서비스는 미리 학습된 기계 학습 모델을 사용하여 이미지를 분석하고 이미지에 대한 정보를 추출합니다.

예를 들어 가상의 소매점인 Northwind Traders가 AI 서비스에서 매장을 모니터링하여 도움이 필요한 고객을 식별하고 직원에게 도움을 주도록 지시하는 "스마트 스토어"를 구현하기로 결정했다고 가정해 보겠습니다. Computer Vision 서비스를 사용하면 매장 전체의 카메라에서 촬영한 이미지를 분석하여 해당 이미지가 나타내는 내용에 대해 의미 있는 설명을 제공할 수 있습니다.

이 랩에서는 간단한 명령줄 애플리케이션을 사용하여 Computer Vision 서비스가 작동하는 모습을 확인합니다. 웹 사이트 또는 휴대폰 앱과 같은 실제 솔루션에는 동일한 원칙과 기능이 적용됩니다.

Cognitive Services 리소스 만들기

Computer Vision 리소스 또는 Cognitive Services 리소스를 생성하여 Computer Vision 서비스를 사용할 수 있습니다.

아직 만들지 않았다면 Azure 구독에서 Cognitive Services 리소스를 만듭니다.

1. 다른 브라우저 탭의 https://portal.azure.com에서 Azure Portal을 열고 Microsoft 계정을 사용하여 로그인합니다.

2. ＋리소스 만들기 단추를 클릭하고, Cognitive Services를 검색하고, 다음 설정을 통해 Cognitive Services 리소스를 만듭니다.

• 구독: 자신의 Azure 구독.
• 리소스 그룹: 고유한 이름이 있는 리소스 그룹을 선택하거나 생성합니다.
• 지역: 사용 가능한 지역을 선택합니다.
• 이름: 고유한 이름을 입력합니다.
• 가격 책정 계층: S0
• 공지를 읽고 이해했음을 확인함: 선택되었습니다.

3. 리소스를 검토 및 만들고 배포가 완료될 때까지 기다립니다. 그런 다음, 배포된 리소스로 이동합니다.

4. Cognitive Services 리소스에 대한 키 및 엔드포인트 페이지를 봅니다. 클라이언트 애플리케이션에서 연결하려면 엔드포인트와 키가 필요합니다.

Cloud Shell 실행

Computer Vision 서비스의 기능을 테스트하기 위해 Azure의 Cloud Shell에서 실행되는 간단한 명령줄 애플리케이션을 사용합니다.

1. Azure Portal에서 검색 상자 오른쪽 페이지 맨 위에 있는 [>_](Cloud Shell) 단추를 선택합니다. 그러면 포털 아래쪽에 Cloud Shell 창이 열립니다.
2. Cloud Shell을 처음 열면 사용할 셸 유형(Bash 또는 PowerShell)을 선택하라는 메시지가 표시될 수 있습니다. PowerShell을 선택합니다. 이 옵션이 표시되지 않으면 단계를 건너뜁니다.
3. Cloud Shell에 대한 스토리지를 만들라는 메시지가 표시되면 구독이 지정되었는지 확인하고 스토리지 만들기를 선택합니다. 그런 다음, 스토리지가 만들어질 때까지 1분 정도 기다립니다.
4. Cloud Shell 창의 왼쪽 위에 표시된 셸 형식이 PowerShell로 전환되었는지 확인합니다. Bash인 경우 드롭다운 메뉴를 사용하여 PowerShell로 전환합니다.
5. PowerShell이 시작될 때까지 기다립니다. Azure Portal에 다음 화면이 표시되어야 합니다.

클라이언트 애플리케이션 구성 및 실행

이제 Cloud Shell 환경이 생겼으므로 Computer Vision 서비스를 사용하여 이미지를 분석하는 간단한 애플리케이션을 실행할 수 있습니다.

1. 명령 셸에서 다음 명령을 입력하여 샘플 애플리케이션을 다운로드하고 ai-900이라는 폴더에 저장합니다.

git clone https://github.com/MicrosoftLearning/AI-900-AIFundamentals ai-900

2. 파일은 ai-900이라는 폴더에 다운로드됩니다. 이제 Cloud Shell 스토리지에 있는 모든 파일을 보고 작업하려고 합니다. 셸에 다음 명령을 입력합니다.

code .

그러면 아래 이미지와 같은 편집기가 열립니다.

3. 왼쪽의 Files 창에서 ai-900을 확장하고 analyze-image.ps1을 선택합니다. 이 파일에는 다음과 같이 Computer Vision 서비스를 사용하여 이미지를 분석하는 일부 코드가 포함되어 있습니다.

4. 코드에 대해 너무 걱정하지 마세요. 중요한 점은 엔드포인트 URL과 Cognitive Services 리소스의 키 중 하나가 필요하다는 것입니다. Azure Portal의 리소스에 대한 키 및 엔드포인트 페이지에서 이러한 값을 복사하여 코드 편집기에 붙여넣고 각각 YOUR_KEY 및 YOUR_ENDPOINT 자리 표시자 값을 대체합니다.
   키 및 엔드포인트 값을 붙여넣은 후 코드의 처음 두 줄은 다음과 유사하게 표시됩니다.

# PowerShell
$key="1a2b3c4d5e6f7g8h9i0j...."    
$endpoint="https..."

5. 편집기 창의 오른쪽 위에서 ... 단추를 사용하여 메뉴를 열고 저장을 선택하여 변경 내용을 저장합니다.
   샘플 클라이언트 애플리케이션은 Computer Vision 서비스를 사용하여 Northwind Traders 스토어의 카메라로 촬영한 다음 이미지를 분석합니다.

6. PowerShell 창에서 다음 명령을 입력하여 코드를 실행합니다.

cd ai-900
./analyze-image.ps1 store-camera-1.jpg

7. 다음을 포함하는 이미지 분석 결과를 검토합니다.

• 이미지를 설명하는 제안된 캡션입니다.
• 이미지에서 식별된 개체 목록입니다.
• 이미지와 관련된 "태그" 목록입니다.

8. 이제 다른 이미지를 사용해 보겠습니다.
   
   두 번째 이미지를 분석하려면 ./analyze-image.ps1 store-camera-2.jpg 명령을 입력합니다.

9. 두 번째 이미지에 대한 이미지 분석 결과를 검토합니다.

10. 한 번 더 시도해 보겠습니다.
    세 번째 이미지를 분석하려면 ./analyze-image.ps1 store-camera-3.jpg 명령을 입력합니다.

11. 세 번째 이미지에 대한 이미지 분석 결과를 검토합니다.