Stable Diffusion

Stable Diffusion Online - AI Image Generator

Stable Diffusion은 오픈소스 text-to-imge AI 모델이다. 이 모델은 LAIN-5B 데이터셋에서 이미지를 훈련시킨 모델로, ComVis, Stablility AI 및 RunwayML에서 개발하였다

stable diffusion

Stable Diffusion 인공지능 이미지 생초보 가이드
스테이블 디퓨전은 인공지능 이미지를 생성하는 잠재 확산 모델(latent diffusion model) 모델입니다. 카메라로 직접 촬영한 듯한 정말 사실적인 사진도, 예술가들이 직접 그린 예술 작품 같은 이미지도 생성할 수 있습니다.

[장점]

• 오픈소스(Open-Source) : 소스가 공개되어 있어 무료로 사용할 수 있으며, 많은 개발자들이 참여하여 새로운 기능이 추가되고 있습니다.
• 저사양 컴퓨터 작동 가능 : 대부분의 상용 이미지 생성형 인공지능은 컴퓨터 자원 (및 전기)을 무지막지하게 사용하는 걸로 알려져 있습니다. 하지만, Stable Diffusion은 저가 컴퓨터에서도 작동합니다(아주 느리긴 해도 GPU없이 CPU만으로 돌릴 수도 있습니다)
• 무료: 자신의 컴퓨터에서 스테이블 디퓨전을 돌리면 무료로 AI 이미지를 생성할 수 있습니다. 스테이블 디퓨전을 사용한 온라인 서비스도 있는데, 이런 서비스를 사용하려면 약간의 비용이 필요할 수 있습니다.

[기능]
1. 텍스트로부터 이미지를 생성하기
2. 이미지로부터 이미지를 생성하기
3. 이미지 편집
4. 비디오 변환하기 (text prompt만 사용해서 비디오를 만드는 방법 / 다른 비디오를 기준으로 인물이나 배경등을 바꾸는 방법)

스테이블 디퓨전 프롬프트 작성법

스테이블 디퓨전 프롬프트 작성법

• 좋은 프롬프트의 구성
  1. 피사체(또는 주제. 반드시 있어야 함)
  2. 이미지의 종류: 사진, 그림 등
  3. 스타일
  4. 예술가
  5. 웹사이트
  6. 해상도
  7. 색상
  8. 조명
  9. 추가적인 세부사항

• 프롬프트 관련 기술적 사항: 키워드의 중요도를 강제로 바꿀 수도 있습니다. 이 절에서는 AUTOMATIC1111에 적용되는 문법에 대해 설명합니다.
  • 키워드 가중치
  • 괄호와 대괄호 () / []
  • 키워드 블렌딩
  • 얼굴 섞기
  • 프롬프트 길이 제한

• OpenArt의 프롬프트 북(Prompt Book)
  OpenArt의 프롬프트 북(Prompt Book)

• ChatGPT로 스테이블 디퓨전 프롬프트 만들기
  ChatGPT로 스테이블 디퓨전 프롬프트 만들기

Stable Diffusion 쓸 수 있는 UI

• AUTOMATIC1111 web ui
  Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
  Automatic1111 GUI: 초보자 가이드(메뉴 해설)

• Easy Diffusion 메뉴 설명
  Easy Diffusion 메뉴

• comfy ui
  ComfyUI 로 스테이블 디퓨전 사용하기

인페인트 가이드

스테이블 디퓨전 - 인페인트 가이드
모델이 정말 좋고, 프롬프트도 잘 만들었다고 해도, 한번에 완벽한 이미지를 얻기는 쉽지 않습니다. 이럴때 인페인트(Inpainting)기법을 사용하면 작은 결점은 쉽게 고칠 수 있습니다.

모델

Stable Diffusion - 모델에 관한 모든 것

비디오 생성

Stable Diffusion으로 비디오 생성하기(Deforum)

• 360 stable diffusion
  

• ProGamerGov/360-Diffusion-LoRA-sd-v1-5 · Hugging Face
• GitHub - GeorgLegato/sd-webui-panorama-viewer: Sends rendered SD_auto1111 images quickly to this panorama (hdri, equirectangular) viewer
• 360° VR environnement create with stable diffusion, satchi_3D
• ScottieFox on Twitter / X

프롬프트를 잘 만들려면?

• 프롬프트를 잘 만드는 것은 자신이 원하는 이미지를 얻기 위한 가장 기본입니다. 가장 기본은 원하는 주제를 가능한 한 상세하게 입력하면 됩니다. 아울러 중요한, 그리고 스타일을 결정하는 강력한 키워드를 반드시 기억해 활용해야 합니다.

• 가장 쉬운 방법은 기존 프롬프트를 재활용하는 것입니다. civitai.com, openart.ai, playgroundai.com 와 같은 인공지능 이미지 공유사이트에 접속해 자신이 원하는 것과 비슷한 이미지를 찾고, 그 이미지를 만든 프롬프트를 복붙해서 사용하는 방법입니다. (구글에서 "인공지능 이미지 공유" 혹은 "AI image share"정도만 입력하면 이런 사이트이 엄청 많이 나옵니다.)
  프롬프트를 잘 들여다 보고, 자신이 원하는 결과물을 얻을 때 까지 적당하게 더하고 빼면서 조절하시면 됩니다. 다만, 공유사이트에서 본 이미지와 동일하게 나올 것이라는 기대는 안하는 게 좋습니다. 다양한 환경변수 중에 약간만 달라져도 완전히 다른 이미지가 나온다는 것을 기억해야합니다.

• 특히 영어가 익숙하지 못한 분들이라면 chatGPT 를 사용해서 프롬프트를 만드는 방법을 추천드립니다. openart.ai에서 만든 프롬프트 북을 읽어보면 많이 도움이 될 것 같습니다. 특히, 질문 목록을 만들어서 프롬프트를 만들어 가는 과정은 참고하면 좋습니다. 프롬프트 작성을 도와주는 사이트도 있는데, 기본적으로는 아래와 같은 여러가지 측면을 나누어 해당되는 단어를 선택할 수 있도록 만들어 둔 것입니다.
  1. 사진인가 그림인가? (photo, painting, sketch, 3D drawing 등)
  2. 주제는 사람? 동물? 풍경?(person or animal or landscape)
  3. 추가하고 싶은 요소
  4. 특별한 아트 스타일? 3D 렌더링, 지브리 스튜디오, 영화 포스터(3D render, studio ghibli, movie poster)
  5. 사진 종류? 마크로 렌즈, 망원렌즈(macro, telephoto)

⇒ 좋은 프롬프트를 작성하는 방법

가장 중요한 법칙 1) 자세하게, 구체적으로, 2) 강력한 키워드를 쓸 것. 이 두가지 입니다.

새로운 모델을 학습시키는 방법

• 스테이블 디퓨전의 가장 좋은 점 중 하나가 모델을 마음대로 제어할 수 있다는 것입니다. 다른 온라인 서비스는 편리하지만, 해당 서비스에서 제공하는 모델만 사용할 수 있죠. 하지만 스테이블 디퓨전의 경우, 원한다면 자신만의 독자적인 모델을 생성할 수도 있습니다. 새로운 모델을 학습시키는 방법은 많지만, 가장 많이 사용하는 방법은 (1)Dreambooth 와 (2)임베딩입니다.
• 이 두가지 중에서 드림부스(Dreambooth)가 훨씬 강력합니다. 모델에 포함된 모든 가중치를 미세 조정할 수 있기 때문입니다. 반면 임베딩의 경우 모델은 그대로 둔 상태에서 새로운 주제 혹은 스타일을 설명하는 새로운 키워드를 만드는 방식입니다.