Course

Analyze Images with the Cloud Vision API

Lab

목록

• APIs Explorer: Qwik Start
• Extract, Analyze, and Translate Text from Images with the Cloud ML APIs ⬅️ 오늘 학습할 Lab!
• Detect Labels, Faces, and Landmarks in images with the Cloud Vision API
• Analyze Images with the Cloud Vision API: Challenge Lab
• Claim credential (모든 강의를 수료해야 Skill badge 취득 가능!✨)

---

🌠Extract, Analyze, and Translate Text from Images with the Cloud ML APIs

개요

Cloud Vision API의 텍스트 감지 메서드로 광학 문자 인식(OCR)을 활용해 이미지에서 텍스트를 추출하는 것에서 출발하여 이 텍스트를 Translation API로 번역하고 Natural Language API로 분석하기

실습과정

(1) Cloud Shell 활성화: 우측 상단에 Shell 버튼 클릭 후 활성화 진행

Your Cloud Platform project in the session is set to "PROJECT_ID" 라는 문구가 보이면 성공!
➡️ PROJECT_ID: 자동으로 설정되기 때문에 사용자마다 상이

(2) 활성 계정 이름 목록과 프로젝트 ID 목록 확인 (선택사항)

---

(3) API 키 만들기

(3-1) 네비게이션 메뉴 > APIs & Servies > Credentials > + Create credenntials > API key

(3-2) API (Cloud Translation API, Cloud Vision API, Natural Language API) 선택 후 API key 복사

(3-3) 환경변수에 API key 값 저장

export API_KEY=<YOUR_API_KEY>

➡️ echo API_KEY 를 통해서 제대로 세팅 되었는지 확인 가능

---

(4) Cloud Storage Bucket에 이미지 업로드

➡️ 네비게이션 바 > Cloud Storage > Create Bucket > Bucket 생성 후 이미지 업로드 (상세 방법은 이전 포스트 참고)

참고 이미지

(5) 이미지 접근 권한 설정

➡️ 이미지 설정 > Add Entry > Public / allUsers / Reader 권한 부여
(상세 방법은 이전 포스트 참고)

---

(6) Cloud Vision API Reqest 생성

➡️ ocr-request.json 파일 생성

{
  "requests": [
      {
        "image": {
          "source": {
              "gcsImageUri": "gs://my-bucket-name/sign.jpg"
          }
        },
        "features": [
          {
            "type": "TEXT_DETECTION",
            "maxResults": 10
          }
        ]
      }
  ]
}

참고

파일 생성 방법은 nano, vim, emacs 등 선호하는 Command line editor를 사용해도 무방하다.

---

(7) 텍스트 감지 메서드 호출

1) Cloud Shell 에서 curl을 사용하여 Cloud Vision API를 호출한다.

curl -s -X POST -H "Content-Type: application/json" --data-binary @ocr-request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY}

Response 값 분석

textAnnotations에서 반환되는 첫 번째 데이터는 API가 이미지에서 찾은 전체 텍스트 블록이며, 다음과 같은 값들이 포함된다.

• 언어코드(the language code)
• 텍스트 문자열(a string of the text)
• 이미지에서 텍스트가 발견된 위치를 나타내는 경계 상자(a bounding box indicating where the text was found in the image)

2) 추후에 참조하기 위해 별도의 파일에 응답 결과 저장한다.

➡️ ocr-request.json 파일에 저장된다.

curl -s -X POST -H "Content-Type: application/json" --data-binary @ocr-request.json  https://vision.googleapis.com/v1/images:annotate?key=${API_KEY} -o ocr-response.json

---

(8) 이미지의 텍스트를 Translation API로 전송하기

1) 텍스트와 대상 언어의 내용을 담은 translation-request.json 파일 생성

{
  "q": "your_text_here",	//추후 번역할 문자열이 저장됨
  "target": "en"			//번역할 언어 코드
}

참고

언어 지원을 통해 Translation API로 번역 가능한 언어들과 해당하는 코드를 알 수 있다.

2) (7-2)에서 만든 ocr-response.json 파일에서 텍스트를 추출해 가공한 뒤, 그 내용을 translation-request.json 파일의 특정 위치(=q의 value)에 자동으로 삽입한다.

STR=$(jq .responses[0].textAnnotations[0].description ocr-response.json) && STR="${STR//\"}" && sed -i "s|your_text_here|$STR|g" translation-request.json

주의💥

위처럼 error가 발생한다면, 처음에 생성한 API가 Cloud Vision API나 Cloud Translation API, Natural Language API에 대한 권한이 없는 것이므로 네비게이션 메뉴 > APIs & Servies 에서 내가 처음에 생성한 API Key를 선택 후, API 권한을 추가해야 한다.

3) Translation API를 호출하여 그 응답을 translation-response.json 파일에 저장한다.

curl -s -X POST -H "Content-Type: application/json" --data-binary @translation-request.json https://translation.googleapis.com/language/translate/v2?key=${API_KEY} -o translation-response.json

---

(9) Natural Language API를 사용하여 이미지의 텍스트 분석하기

참고

Google Cloud Natural Language API는 컴퓨터가 인간의 언어(자연어)를 이해하고 분석할 수 있게 해주는 도구이다. 단순히 텍스트를 읽는 것을 넘어, 그 안에 담긴 의도, 감정, 구조를 파악하는 데 특화되어 있다.

1) API 요청을 위해 nl-request.json 파일 생성

{
  "document":{
    "type":"PLAIN_TEXT",
    "content":"your_text_here"
  },
  "encodingType":"UTF8"
}

항목 분석

• type: 지원되는 유형(PLAIN_TEXT, HTML)
• content: Natural Language API에 전송하여 분석하려는 텍스트를 전달
  • Cloud Storage에서 파일을 전송하려면, content를 gcsContentUri로 대체하고 Cloud Storage의 텍스트 파일의 URI 값을 사용해야 함
• encodingType: API에 텍스트를 처리할 때 사용할 텍스트 인코딩 유형

2) 번역된 텍스트를 nl-request.json의 content 부분에 복사해 넣기

STR=$(jq .data.translations[0].translatedText  translation-response.json) && STR="${STR//\"}" && sed -i "s|your_text_here|$STR|g" nl-request.json

3) Natural Language API의 analyzeEntities 엔드포인트를 호출

➡️ 이제 nl-request.json 파일에 원본 이미지에서 추출하여 영어로 번역된 텍스트가 포함되어 있기 때문에 분석 가능!

curl "https://language.googleapis.com/v1/documents:analyzeEntities?key=${API_KEY}" \
  -s -X POST -H "Content-Type: application/json" --data-binary @nl-request.json

Response 분석

student_02_bd8583cb7b9e@cloudshell:~ (qwiklabs-gcp-02-6bd633451e8b)$ curl "https://language.googleapis.com/v1/documents:analyzeEntities?key=${API_KEY}" \
  -s -X POST -H "Content-Type: application/json" --data-binary @nl-request.json
{
  "entities": [
    {
      "name": "news reports",
      "type": "WORK_OF_ART",
      "metadata": {},
      "salience": 0.34937522,
      "mentions": [
        {
          "text": {
            "content": "news reports",
            "beginOffset": 16
          },
          "type": "COMMON"
        }
      ]
    },
    {
      "name": "PUBLIC GOOD",
      "type": "ORGANIZATION",
      "metadata": {
        "wikipedia_url": "https://en.wikipedia.org/wiki/Public_good",
        "mid": "/m/017bkk"
      },
      "salience": 0.26161328,
      "mentions": [
        {
          "text": {
            "content": "PUBLIC GOOD",
            "beginOffset": 4
          },
          "type": "PROPER"
        }
      ]
    },
    {
      "name": "Obama",
      "type": "PERSON",
      "metadata": {
        "wikipedia_url": "https://en.wikipedia.org/wiki/Barack_Obama",
        "mid": "/m/02mjmr"
      },
      "salience": 0.18295486,
      "mentions": [
        {
          "text": {
            "content": "Obama",
            "beginOffset": 33
          },
          "type": "PROPER"
        }
      ]
    },
    {
      "name": "mustard",
      "type": "OTHER",
      "metadata": {},
      "salience": 0.115125984,
      "mentions": [
        {
          "text": {
            "content": "mustard",
            "beginOffset": 44
          },
          "type": "COMMON"
        }
      ]
    },
    {
      "name": "Dijon",
      "type": "LOCATION",
      "metadata": {
        "wikipedia_url": "https://en.wikipedia.org/wiki/Dijon",
        "mid": "/m/0pbhz"
      },
      "salience": 0.09093063,
      "mentions": [
        {
          "text": {
            "content": "Dijon",
            "beginOffset": 60
          },
          "type": "PROPER"
        }
      ]
    }
  ],
  "language": "en"
}

엔티티(이름)	유형	중요도	설명
new reports	WORK_OF_ART	0.349	이 문장에서 가장 핵심적인 소재(예술/저작물)로 인식
PUBLIC GOOD	ORGANIZATION	0.261	공공재를 '단체/조직'으로 분류
Obama	PERSON	0.182	'버락 오바마'라는 인물로 정확히 인식
mustard	OTHER	0.115	일반적인 사물(머스터드 소스 등)로 분류
Dijon	LOCATION	0.091	프랑스의 도시 '디종'이라는 장소로 인식

• type: 해당 단어가 인물(PERSON), 장소(LOCATION), 조직(ORGANIZATION) 중 어디에 속하는지를 나타냄
• metadata: 지식 그래프와 연결된 정보 -> 특히 wikipedia_url이 있다는 것은 API가 이 단어가 구체적으로 무엇인지(예: 수많은 오바마 중 전 미국 대통령 오바마) 확실히 알고 있다는 뜻!
• salience (중요도): 0에서 1 사이의 숫자로, 문장에서 이 단어가 얼마나 중심적인 역할을 하는지 보여줌
• mentions: 문장 내에서 이 단어가 나타난 위치와 고유 명사인지 일반 명사인지 등을 나타냄

---

번외⁉️

실습 강의에는 영어로 번역을 하도록 되어 있지만, 나는 한국어로 번역을 시도해보았다. -> translation-request.json 파일의 target을 ko로 변경 후 나머지는 동일한 순서와 curl을 사용하여 진행하였다.