[강의] Visual Prompting with Andrew Ng

ofohj·2023년 4월 30일

👥사담~

미국 시간으로 4월 26일 10시 반에 한 강의.
갓 나온 빵처럼 뜨끈하게 라이브로 듣고싶었으나 장렬히 실패!
들어야지들어야지 하다가 5일이 지난! 오늘! 5월 1일에! 참여!
빵 다 식음!

스포

오늘 강의는 visual prompt에 대한 강의이다. 그게 뭐냐 하면~

위와 같은 사진에서 구분하고 싶은 것을 색으로 칠해준다.
나는 강아지를 보라색으로, 그 외 배경을 노란색으로 표시했다.

Run▶▶▶

깰꼼하게 강아지와 배경을 분리!
visual prompt란 이런것이다!

자 이제 본격적 시작~,~

강의 주제

Visual Prompting
프롬프팅을 통해 단시간에 컴퓨터 비전 시스템 구축하는 법

👉 프롬프팅이 컴퓨터 비전 분야에 미치는 긍정적 영향!

1. 컴퓨터 비전을 위한 NLP

text prompting의 변화

📍 기존 ML : 데이터 라벨링 → 모델 학습 → 예측 👉 오래 걸림

📍 프롬프트 기반 ML : 프롬프트 입력 → 예측 👉 몇 초/분 만에 예측!

💡 시각적 프롬프트는 text to vision으로 프롬프트를 표시한다
(라고 교수님의 ppt에 나와있었지만 이후 보여주신 예시를 보면 text to vision이 아니라 그냥 vision to vision이라 당혹스러웟다.)

예시

기존에 이미지를 처리하던 방식은 다음과 같다.

이미지 불러오기
이미지 라벨링
이미지 캡셔닝

⚡참고

이미지 라벨링: 이미지 속 물체에 이름(라벨)을 붙이는 작업
ex. 고양이, 강아지, 병아리
이미지 캡셔닝: 이미지에 대한 자연어 문장(캡션)을 생성하는 작업.
ex. 고양이가 병아리를 업은 강아지를 바라보고 있습니다.

하지만 visual prompt를 사용하면 이 작업을 간소화시킬 수 있다.
특히 반복적인 라벨링 작업에서 효과적이다!

아래와 같은 세포 검출을 목적으로 하는 사진(1)이 있다.
기존 방식으로 물체 탐지를 하기 위해서는 하나 하나 박스로 총 47번의 라벨링을 해주어야 했다.
하지만 visual prompting을 통해 한 개의 세포와 이에 해당하지 않는 부분을 표시해주면 작업이 끝난다! 무려! 단 2번의 손길로 끝!

2. Visual Prompting

개념

간단하고 명시적으로 비전 업무를 수행할 수 있게 해주는 도구

필요성

많은 비전 애플리케이션은 고도로 전문화된 이미지를 사용한다.
의료 분야에서 현미경으로 찍은 조직이나 세포 이미지를 예로 들 수 있다.
이러한 이미지는 라벨링을 하기에 번거롭고, 캡셔닝을 하기엔 텍스트로는 설명이 부족할 것이다.

그래서! 비주얼 프롬프트로 당장 이미지를 넣어버리는 도구가 필요한 것이다!

한계

하지만 이는 아직 베타버전이라 한계가 존재한다.

1) 모양보다 질감/색상에 따라 클래스 구분
👉 고양이와 강아지를 그들의 생김새(모양)으로 구분하기보단 색상으로 우선 구분된다. 예를 들어 검정 고양강아지가 있으면 둘을 같은 것이라 인식하는 것이다.

2) 소수의 정확한 레이블에 최적화된 시스템
👉 레이블된 물체가 뚜렷한 구분선을 가지지 못해 흐릿하거나 배경색과 유사하다면 물체와 배경이 제대로 라벨링되지 않을 수 있다.

하지만 이는 점차 보완해나가면 될것이고~

3. 미래의 ML 워크플로우

응교수님은 컴퓨터 비전 분야에서 이 visual prompt를 통해 머신러닝 워크플로우가 간단해질 것이라고 말씀하셨다.

📍 전통적 ML

Get labeled data ▷ 1달 가량 소요
Develop model ▷ 3달 가량 소요
Deploy in production ▷ 3달 가량 소요
🤷‍♂️ 이게 뭐지? 생산에 배치?

우리의 지피티가 또💗
아무튼 이 오래걸리는 전통적 방법이 아래와 같이 소요 시간과 절차 모두 간단해질 수 있다는 것이다!

📍 프롬프트 기반 ML

Prompt model ▷ 분, 시간 단위로 소요
Deploy in production ▷ 시간, 일 단위로 소요

💡 특징

빠른 속도
: 프롬프팅의 결과가 수 초 안에 나오면 수정이 빠를 뿐만 아니라 대화하는 듯한 느낌을 받을 수 있어 시스템에 대한 이해가 수월해질 것이다.
부분 라벨링
: 위에서 소개한 예시와 같이 전부가 아닌 일부만 라벨링해도 된다.

4. 데모 체험

landing ai에서 이 visual prompt를 사용해볼 수 있다.
로그인 후 무료로 사용할 수 있다고 했는데 그게 30일 무료였다.
온통 영어라 30일 무료라는 말을 못봤나보다 ಥ_ಥ

과정

1. 로그인

2. try now 버튼으로 실행
아래와 같은 창이 뜨며, 다양한 기능 중 visual prompt를 선택하였다. 아직 베타버전이다!

3. 이미지 업로드

업로드 후 사진을 클릭해 라벨링을 진행한다.
~~사진은 내가 베트남가서 찍은 펭귄쓰레기통 사진이다. 저작권문제 노~~~

4. 라벨링

클래스
- Penguin
- Dolphin
- Background

5. Run
실행 결과는 다음과 같다.

완벽한 결과를 얻지 못해 재라벨링을 진행하였다.

6. 결과

아직 잘못 예측된 부분이 좀 있지만 나름 만족스러운 결과이다!
하지만 이를 실제 프로젝트에 집어넣기에는~ 아직 좀 더 발전이 필요할 것 같다.

감히 피드백을 해보자면~

👍 긍정적인 부분
간단하다. 정말정말 간단하다.
라벨링은 정확히 선을 맞추느라 눈이 빠질 것 같지만 이 프롬프트는 대충 선만 그어줘도 뚝딱이다.

🙌 부정적인 부분
정확도가 부족하다.
아무래도 사진에 여러 요소가 있어 구분이 어려웠을 것이다. 그래서 아직은 손으로 직접 라벨링하는 것이 시간은 오래걸려도 정확도 면에선 더 좋을 것이라 생각했다.

💡

새로운 기술을 접할때마다 공통적으로 발견한 특징은 이전 기술과 비교하여 효율성이 강조된다는 것이다. 효율성은 "들인 노력 대비 창출되는 결과가 큰 정도"라고 했다. 일에 많은 땀과~ 자본~ 등등을 투자하는 것이 최고가 아니라 조금의 시간과 노력, 돈을 들였는데도 좋은 결과를 내는 것이 최고인 것이다!

어제 커리어리 게시글을 보다가 파이썬 개발 이야기를 보게됐는데, 파이썬 개발자분이 퇴직도 번복하고 진행한 프로젝트가 속도가 빠른 파이썬인 fast python을 만드는 일이였다.

오늘 배운 visual prompt도 마찬가지이다. 응 교수님께서 대량의 데이터를 라벨링할때 몇달이 걸릴 수 있지만 이를 사용하면 같은 양의 데이터를 몇 분, 몇 시간만에 완료할 수 있다!며 본 기술을 소개하셨다.

결국 더 효율적인 도구를 만들어내기 위해 연구가 진행되고 그렇게 세상이 발전해가는 것 같다!

[강의]
https://www.youtube.com/watch?v=FE88OOUBonQ&t=507s

[출처]

(1) https://landing.ai/what-is-visual-prompting/