구글 딥마인드의 새로운 영상 생성 모델: Veo 2

jihyelee·2024년 12월 24일
0

up-to-date-ai

목록 보기
10/13

OpenAI의 영상 생성 모델 Sora보다 뛰어나다고 평가받는 구글의 Veo2 정리

핵심 기능

  • 최대 4K 해상도, 몇 분 분량의 영상 생성 가능
  • 간단하거나 복잡한 지시사항을 따라 영상 생성 가능
    • 동영상 촬영 시 사용하는 다양한 용어 이해 가능
    • e.g. 로우 앵글 샷, 클로즈업 샷, 18mm 렌즈(=와이드 앵글) 등의 표현을 사용해 프롬프팅 가능
  • 실제 세상과 유사한 물리법칙 구현 가능 (=사실적인 영상 생성 가능)
    • 손가락 개수가 이상하다거나, 기대하지 않은 물체가 생성되는 등 영상 생성 모델에게 자주 발생하는 문제들이 덜 발생
  • 다양한 시각적 스타일 구현 가능 (영상 각도, 움직임, 촬영 양식 등)
  • AI를 활용해 생성된 영상임을 확인할 수 있는 SynthID 워터마크 포함

프롬프트 예시

  • Beehive (영상 링크)
    • 프롬프트 (원본)
      • The camera floats gently through rows of pastel-painted wooden beehives, buzzing honeybees gliding in and out of frame. The motion settles on the refined farmer standing at the center, his pristine white beekeeping suit gleaming in the golden afternoon light. He lifts a jar of honey, tilting it slightly to catch the light. Behind him, tall sunflowers sway rhythmically in the breeze, their petals glowing in the warm sunlight. The camera tilts upward to reveal a retro farmhouse with mint-green shutters, its walls dappled with shadows from swaying trees. Shot with a 35mm lens on Kodak Portra 400 film, the golden light creates rich textures on the farmer’s gloves, marmalade jar, and weathered wood of the beehives.
    • 프롬프트 (번역)
      • 카메라가 파스텔 톤으로 칠해진 나무 벌통들 사이를 부드럽게 떠다니며, 꿀벌들이 화면을 드나들며 날아다닙니다. 화면은 중앙에 서 있는 세련된 농부에게 멈추고, 그의 깨끗한 흰색 양봉복이 황금빛 오후 햇살에 빛납니다. 그가 꿀이 담긴 병을 들어 올려 빛에 비춰보며 살짝 기울입니다. 그의 뒤로는 키 큰 해바라기들이 바람에 리듬감 있게 흔들리고, 꽃잎들은 따뜻한 햇살 속에서 빛납니다. 카메라가 위로 기울어지며 민트 초록색 셔터가 달린 레트로한 농가를 보여주는데, 그 벽면에는 흔들리는 나무들의 그림자가 얼룩져 있습니다. 코닥 포트라 400 필름으로 35mm 렌즈를 사용해 촬영되었으며, 황금빛 조명이 농부의 장갑, 마멀레이드 병, 그리고 오래된 벌통의 나무 질감을 풍부하게 표현합니다.
  • Swimming dog (영상 링크)
    • 프롬프트 (원본)
      • A cinematic, high-action tracking shot follows an incredibly cute dachshund wearing swimming goggles as it leaps into a crystal-clear pool. The camera plunges underwater with the dog, capturing the joyful moment of submersion and the ensuing flurry of paddling with adorable little paws. Sunlight filters through the water, illuminating the dachshund's sleek, wet fur and highlighting the determined expression on its face. The shot is filled with the vibrant blues and greens of the pool water, creating a dynamic and visually stunning sequence that captures the pure joy and energy of the swimming dachshund.
    • 프롬프트 (번역)
      • 시네마틱하고 역동적인 트래킹 숏으로, 수영 고글을 착용한 귀여운 닥스훈트가 투명한 수영장으로 뛰어드는 모습을 따라갑니다. 카메라는 강아지와 함께 물속으로 잠수하며, 물에 잠기는 즐거운 순간과 귀여운 작은 발로 헤엄치는 분주한 모습을 포착합니다. 햇빛이 물을 통과하며 닥스훈트의 매끈하고 젖은 털을 비추고, 그의 단호한 표정을 강조합니다. 수영장 물의 생생한 파란색과 초록색으로 가득한 이 장면은, 수영하는 닥스훈트의 순수한 기쁨과 에너지를 담아낸 역동적이고 시각적으로 멋진 시퀀스를 만들어냅니다.
  • Dreamworld (영상 링크)
    • 프롬프트 (원본)
      • The camera spirals down through an infinite network of glowing threads, pulsating with multicolored light. The setting feels alive, each thread thrumming with faint whispers and bursts of imagery—fractals, mythological beasts, and celestial maps. The courier darts through the maze, their silhouette painted with the kaleidoscopic glow of the fibers. As they weave between strands, their every touch triggers animations—one a glowing phoenix, another a blooming lotus—until they stumble upon a massive, golden thread. It flares, and a holographic figure emerges: a younger version of themselves, surrounded by fiery glyphs. The scene shifts between soft, glowing pastels and brilliant, fiery tones, blending hand-drawn 2D animation with dynamic light effects, captured in fluid, sweeping motion.
    • 프롬프트 (번역)
      • 카메라가 다채로운 빛으로 맥동하는 무한한 빛나는 실들의 네트워크를 통해 나선형으로 내려갑니다. 배경은 생동감이 넘치며, 각각의 실은 희미한 속삭임과 프랙탈, 신화 속 생물, 천체 지도 등의 이미지들로 진동합니다. 전령이 미로를 가로질러 달리며, 그들의 실루엣은 섬유들의 만화경 같은 빛으로 물들어 있습니다. 그들이 실들 사이를 헤엄치며 지나갈 때마다 빛나는 불사조, 피어나는 연꽃과 같은 애니메이션들이 촉발됩니다. 그러다 거대한 황금빛 실을 우연히 발견하게 됩니다. 그것이 타오르면서 홀로그램 형상이 나타납니다: 불타는 상형문자들에 둘러싸인 자신의 젊은 모습입니다. 장면은 부드럽게 빛나는 파스텔 톤과 찬란한 불꽃 색조 사이를 오가며, 유동적이고 휘몰아치는 움직임 속에서 손으로 그린 2D 애니메이션과 역동적인 빛 효과를 혼합합니다.

벤치마크

  • Meta에서 만든 MovieGenBench 활용
  • 1003개의 프롬프트와 그에 대응되어 생성된 영상을 사람이 평가
  • 다른 영상 생성 모델 대비 우수한 성능
    • 특히 프롬프트 지시사항을 잘 준수

참고 링크

  • Deepmind 유튜브 (링크)
  • Google Labs 기술 블로그 (링크)
  • Deepmind Veo2 소개 (링크)
profile
Graduate student at Seoul National University, majoring in Artificial Intelligence (NLP). Currently AI Researcher at LG CNS AI Lab

0개의 댓글