Course

Analyze Images with the Cloud Vision API

Lab

목록

• APIs Explorer: Qwik Start
• Extract, Analyze, and Translate Text from Images with the Cloud ML APIs
• Detect Labels, Faces, and Landmarks in images with the Cloud Vision API ⬅️ 오늘 학습할 Lab!
• Analyze Images with the Cloud Vision API: Challenge Lab
• Claim credential (모든 강의를 수료해야 Skill badge 취득 가능!✨)

---

🌠Detect Labels, Faces, and Landmarks in images with the Cloud Vision APIs

개요

Cloud Vision API를 사용하여 이미지에서 객체, 얼굴, 랜드마크를 감지해보기

실습자료

• 라벨 인식 이미지:

• 얼굴 인식 이미지:

• 랜드마크 이미지:

실습과정

(1) 로그인 후 Cloud Shell 열기

---

(2) API 키 생성

➡️ 네비게이션 메뉴 > APIs & Services > Credentials > API Key

Select API restrictions 중 선택할 API 항목들

• Cloud Vision API
• Cloud Translation API
• Cloud Natural Language API

➡️ 생성 후 API Key 값 복사해두기

(3) 환경변수에 API 키 등록

#등록
export API_KEY={API_KEY}
#확인
echo $API_KEY

---

(4) Cloud Storage Bucket에 이미지 등록

이미지 등록 및 이미지 접근 권한은 이전 포스트 참고!

---

(5) Request 생성

➡️ Cloud Shell > Open Editor 버튼 클릭

➡️ request.json 파일 생성 후 안에 내용을 다음과 같이 작성
➡️ Editor 내에서 본인의 폴더에 마우스를 올리면 파일 추가 아이콘이 나타난다.

{
  "requests": [
      {
        "image": {
          "source": {
              "gcsImageUri": "gs://PROJECT_ID-bucket/donuts.png" #본인의 Bucket에 업로드된 파일 주소
          }
        },
        "features": [
          {
            "type": "LABEL_DETECTION",
            "maxResults": 10
          }
        ]
      }
  ]
}

---

(6) Gemini for Google Cloud API 사용 설정

# Request
gcloud services enable cloudaicompanion.googleapis.com
# Response
Operation "operations/acat.p2-xxxx-xxx" finished successfully.

➡️ 화면 좌측 하단의 Cloud Code - 프로젝트 없음 > Select a Google Cloud project > Project ID 선택하여 플러그인을 승인
➡️ 상태 표시줄의 Cloud Code 상태 메시지에 Google Cloud 프로젝트(Project ID)가 표시되면 완료!

---

(7) [Cloud Vision API] - 라벨 인식

curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY} -o label_detection.json && cat label_detection.json

➡️ 터미널에서 curl을 사용하여 Cloud Vision API를 호출하고 label_detection.json 파일에 응답을 저장

{
  "responses": [
    {
      "labelAnnotations": [
        {
          "mid": "/m/01dk8s",
          "description": "Powdered sugar",
          "score": 0.9861496,
          "topicality": 0.9861496
        },
        {
          "mid": "/m/01wydv",
          "description": "Beignet",
          "score": 0.9565117,
          "topicality": 0.9565117
        },
        {
          "mid": "/m/02wbm",
          "description": "Food",
          "score": 0.9424965,
          "topicality": 0.9424965
        },
        {
          "mid": "/m/0hnyx",
          "description": "Pastry",
          "score": 0.8173416,
          "topicality": 0.8173416
        },
        {
          "mid": "/m/02q08p0",
          "description": "Dish",
          "score": 0.8076026,
          "topicality": 0.8076026
        },
        {
          "mid": "/m/01ykh",
          "description": "Cuisine",
          "score": 0.79036003,
          "topicality": 0.79036003
        },
        {
          "mid": "/m/03nsjgy",
          "description": "Kourabiedes",
          "score": 0.77726763,
          "topicality": 0.77726763
        },
        {
          "mid": "/m/06gd3r",
          "description": "Angel wings",
          "score": 0.73792106,
          "topicality": 0.73792106
        },
        {
          "mid": "/m/06x4c",
          "description": "Sugar",
          "score": 0.71921736,
          "topicality": 0.71921736
        },
        {
          "mid": "/m/01zl9v",
          "description": "Zeppole",
          "score": 0.7111677,
          "topicality": 0.7111677
        }
      ]
    }
  ]
}

응답 결과 분석

• description: 항목의 이름
• score: 설명과 이미지 내용의 일치에 대한 신뢰 수준을 0~1 사이의 숫자로 나타냄
• mid: Google 지식 그래프에서 해당 항목의 mid 값에 매핑된 값

💡 종합적으로 응답 결과를 해석했을 때, API가 이 도넛이 슈가 파우더 도넛이라는 구체적인 유형을 식별!

---

(8) 라벨 인식 > Gemini Code Assist 사용하여 응답 설명 요청

➡️ Gemini Code Assist: 스마트 작업 아이콘 클릭 > 프롬프트 내용 작성

You are a Machine Learning Engineer at Cymbal AI. A new team member needs help understanding this Cloud Vision API response. Explain the label_detection.json file in detail. Break down its key components and their function within the JSON code.

For the suggested improvements, don't make any changes to the file's content.

➡️ Gemini Code Assist: 스마트 작업 아이콘 클릭 > 프롬프트 내용 작성

➡️ label_detection.json 코드의 Cloud Vision API 응답에 대한 자세한 설명이 Gemini Code Assist 채팅에 표시된다!

---

(9) [Cloud Vision API] - 웹 감지 수행을 위한 요청 파일 내용 수정

➡️ request.json 파일 선택 > Gemini Code Assist:스마트 작업 > 프롬프트 입력 후 Enter > Gemini Diff 뷰에 메시지가 표시되면 모든 변경사항 적용을 클릭

In the request.json file, update the features list, change type from LABEL_DETECTION to WEB_DETECTION.

{
  "requests": [
      {
        "image": {
          "source": {
              "gcsImageUri": "gs://PROJECT_ID-bucket/donuts.png"
          }
        },
        "features": [
          {
            "type": "WEB_DETECTION",
            "maxResults": 10
          }
        ]
      }
  ]
}

➡️ request.json 파일 내용이 프롬프트에 입력한 내용 바탕으로 수정된다.

---

(10) [Cloud Vision API] - 웹 감지 수행

curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY}

➡️ 터미널에서 명령어를 입력하여 Cloud Vision API 호출하고, 이 이미지가 반환한 항목 살펴보기

{
  "responses": [
    {
      "webDetection": {
        "webEntities": [
          {
            "entityId": "/m/06_dn",
            "score": 1.1010823,
            "description": "Snow"
          },
          {
            "entityId": "/m/0csby",
            "score": 0.4279,
            "description": "Cloud"
          },
      	...
     "fullMatchingImages": [
          {
            "url": "https://cdn.qwiklabs.com/V4PmEUI7yXdKpytLNRqwV%2ByGHqym%2BfhdktVi8nj4pPs%3D"
          },
          {
            "url": "https://miro.medium.com/v2/resize:fit:1400/1*JSX2yNORAAOxdGoU17c4_A.png"
          }
        ],
        "pagesWithMatchingImages": [
          {
            "url": "https://www.youtube.com/watch?v=KzEFdedw-9o",
            "pageTitle": "Snow, and stuff about it you might not know - YouTube"
          },
          {
            "url": "https://www.youtube.com/watch?v=ubUlXd0VcTk",
            "pageTitle": "Backyard Science: What Is So Cool About Snow? - YouTube"
          },
     ...
    "visuallySimilarImages": [
          {
            "url": "https://images.nationalgeographic.org/image/upload/v1638889943/EducationHub/photos/beignets.jpg"
          },
          {
            "url": "https://i0.wp.com/www.middleeastmonitor.com/wp-content/uploads/2023/09/thumbnail_website-31.jpg?fit=1200%2C800&ssl=1"
          },
     ...

응답 결과 분석

• webEntities: 이 이미지는 Cloud ML API에 대한 여러 프레젠테이션에서 사용되었기 때문에 API에서 "머신 러닝"과 "Google Cloud Platform" 엔티티를 찾았다.
• fullMatchingImages, partialMatchingImages, pagesWithMatchingImages 부분의 URL을 살펴보면 많은 URL이 이 랩 사이트를 가리키는 것을 알 수 있다.
• visuallySimilarImages: 완전히 똑같은 이미지가 아닌 다른 이미지를 찾고 싶을 때 참고하면 된다.

---

(11) [Cloud Vision API] - 얼굴 인식 수행을 위한 준비 단계

1) Cloud Storage > Bucket > 이미지 업로드 및 접근 권한 설정

2) 요청 파일 업데이트

Update the JSON file request.json to achieve three specific changes:

* Update the gcsImageUri value from donuts.png to selfie.png.
* Replace the existing features array with two new feature types: FACE_DETECTION and LANDMARK_DETECTION.
* Don't want maxResults result.

➡️ request.json > 프롬프트 메시지 입력 > Gemini Diff 뷰에 메시지가 표시되면 모든 변경사항 적용을 클릭

---

(12) [Cloud Vision API] - 얼굴 인식 수행

curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY}

➡️ 터미널에서 명령어를 입력하여 Cloud Vision API 호출하고, 이 이미지가 반환한 항목 살펴보기

{
      "faceAnnotations": [
        {
          "boundingPoly": {
            "vertices": [
              {
                "x": 669,
                "y": 324
              },
              ...
            ]
          },
          "fdBoundingPoly": {
            ...
          },
          "landmarks": [
            {
              "type": "LEFT_EYE",
              "position": {
                "x": 692.05646,
                "y": 372.95868,
                "z": -0.00025268539
              }
            },
            ...
          ],
          "rollAngle": 0.21619819,
          "panAngle": -23.027969,
          "tiltAngle": -1.5531756,
          "detectionConfidence": 0.72354823,
          "landmarkingConfidence": 0.20047489,
          "joyLikelihood": "LIKELY",
          "sorrowLikelihood": "VERY_UNLIKELY",
          "angerLikelihood": "VERY_UNLIKELY",
          "surpriseLikelihood": "VERY_UNLIKELY",
          "underExposedLikelihood": "VERY_UNLIKELY",
          "blurredLikelihood": "VERY_UNLIKELY",
          "headwearLikelihood": "VERY_LIKELY"
        }
        ...
     }
}

응답 결과 분석

• boundingPoly:얼굴 이미지의 주변 x, y 좌표 제공
• fdBoundingPoly: boundingPoly보다 작은 상자로, 얼굴의 피부 부분에 집중
• landmarks: 얼굴의 각 특징에 대한 객체의 배열

---

(13) [Cloud Vision API] - 랜드마크 주석 수행을 위한 준비 단계

1) Cloud Storage > Bucket > 이미지 업로드 및 접근 권한 설정

2) request.json > 요청 파일 내용 업데이트

{
  "requests": [
      {
        "image": {
          "source": {
              "gcsImageUri": "gs://PROJECT_ID-bucket/city.png"
          }
        },
        "features": [
          {
            "type": "LANDMARK_DETECTION",
            "maxResults": 10
          }
        ]
      }
  ]
}

---

(14) [Cloud Vision API] - 랜드마크 주석 수행

curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY}

➡️ 터미널에서 명령어를 입력하여 Cloud Vision API 호출하고, 이 이미지가 반환한 항목 살펴보기

응답 결과 분석

• mid: 랜드마크의 mid 값
• description: 랜드마크 이름
• score: 신뢰도 점수
• boundingPoly: 이미지에서 랜드마크가 식별된 영역
• locations : 사진의 위도 및 경도 좌표를 알려주는 키

💡API 응답 결과를 분석한 결과, 사진이 촬영된 장소를 식별하고 해당 위치의 지도 좌표(러시아 모스크바 붉은 광장의 성 바실리 성당)를 제공함을 알 수 있다.

---

(15) [Cloud Vision API] - 객체 현지화 수행을 위한 준비 단계

➡️ request.json > 요청 파일 내용 업데이트

{
  "requests": [
    {
      "image": {
        "source": {
          "imageUri": "https://cloud.google.com/vision/docs/images/bicycle_example.png"
        }
      },
      "features": [
        {
          "maxResults": 10,
          "type": "OBJECT_LOCALIZATION"
        }
      ]
    }
  ]
}

---

(16) [Cloud Vision API] - 객체 현지화 수행

curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY}

➡️ 터미널에서 명령어를 입력하여 Cloud Vision API 호출하고, 이 이미지가 반환한 항목 살펴보기

{
  "responses": [
    {
      "localizedObjectAnnotations": [
        {
          "mid": "/m/01bqk0",
          "name": "Bicycle wheel",
          "score": 0.89648587,
          "boundingPoly": {
            "normalizedVertices": [
              {
                "x": 0.32076266,
                "y": 0.78941387
              },
              {
                "x": 0.43812272,
                "y": 0.78941387
              },
              {
                "x": 0.43812272,
                "y": 0.97331065
              },
              {
                "x": 0.32076266,
                "y": 0.97331065
              }
            ]
          }
        },
        {
          "mid": "/m/0199g",
          "name": "Bicycle",
          "score": 0.886761,
          "boundingPoly": {
            "normalizedVertices": [
              {
                "x": 0.312,
                "y": 0.6616471
              },
              {
                "x": 0.638353,
                "y": 0.6616471
              },
              {
                "x": 0.638353,
                "y": 0.9705882
              },
              {
                "x": 0.312,
                "y": 0.9705882
              }
            ]
          }
        },
...

응답 결과 분석💡

Vision API가 이 사진에서 자전거와 자전거 바퀴를 식별했다는 것을 알 수 있다!