안녕하세요 오늘은 6/15일 마이크로소프트 광화문에서 진행한
수도콘 후기를 전달 드리려고 합니다 :)
요즘 너무 바쁜 하루하루여서 블로그를 못 쓰고 있었는데,
바빠도 이런 시간을 가지게 되면서 열정적인 사람들을 만나는 것을 좋아하는 편입니다. 
-> 바빠도 안지치는 법 ? 없다!
하지만 남들도 열심히 산다는걸 알면? 지치지 않는다
세션은 ai에 대한 내용들이 주로 이루어져 있었습니다.
제가 관심을 가졌던 부분은 게임회사에서 이미지 생성에 대한 동욱님의 발표와
gen ai에 대한 내용 이었습니다.
Google I/O 2024 Keynotes Summary
내용 정리 : 구글에서 제공하는 주요 AI I/O기능에 대한 요약
1) 구글 모델의 변화기
palm / lamda → bard → genmini → gemini evloves
2) Gemini for GWS 기능
이미지에 대한 (google cloud) 에 대한 시나리오 생성, 앨범 생성
해외 사람들과 대화를 할때 번역을 해서 보여지는 형태
-> 회의 요약과 같은 내용을 전달
상황별 메일에 대한 요약, 메일 쓰레드에 대한 내용 정리와 같은 기능 제공
AI Team mate : 어시스트 느낌으로 대응하는 느낌
Goolgle Notebook LM : 회의록에 대한 과거 이력을 잘 정리해서 말해줌
3) Project ASTRA
유저와 인터렉션을 자유롭게 하는 기능
카메라로 현재 환경이나 영상 정보로 들어오는 물체에 대한 질의 응답이 가능
ex) 분실물과 같은 것들까지 찾아주는..
4) VEO, Imagen3 & VEO
PROJECT ASTRA, VEO , NOTEBOOKLM 쪽이 사람들이 가장 관심을 가지고 있음
AWS - 쇄빙선의 선장처럼- 클라우드/AI 교육의 개척자 되기
**
1) Training Goal - AI/Cloud based education**
APP-> DEVOPS -> DATAOPS -> SECOPS -> MLOPS
2) Generative AI Stack
Amazon bedrock : LLM 모델을 선택적으로 활용할 수 있게 되는 기능
시프트업 Stable diffusion
내용정리 : 게임회사에서 이미지 생성을 통한 이미지 활용 한계에 대한 내용 공유
1) Stable diffusion & 이미지 생성 서비스들의 한계
디테일한 표현력에서 한계를 가지게 됨.
LORA CONTORL NET을 통한 생성 퀄리티를 높일 수 있음
-> 특정 스타일로 이미지 생성 .. 같은 것에 조금 한계가 있음
2) 이미지 생성 모델의 활용성을 높이기 위한 노력
공개된 모델은 아직 새선할 점이 많다.
youtube , pinterest, vogue, twitter..
-> crawler -> image filtering ( image size, aspect ration ,nsfw, aesthetic scoring을 진행 )
Image aesthetic scoring을 준다가 특징 (저퀄리티, 유행이 오래된 등.. 애들에 대해 동일한 학습을 주면 안됨)
모델사용
VILA-R , LAION -Aesthetics
high quality image 기반 supervised fine tuning 을 진행하게 되면 좀더 개선된 성능을 보여줌
게임 에셋으로 이미 있는 이미지들과 유사한 유사성을 비교함
GPT -4o를 기반으로 이미지 내 디테일한 요소 까지 커버 가능
B-LoRA 모델에 대한 결과 내용
우당탕탕 멀티모달 기술로 AI 서비스 만들기
요약 : 대화에 있어 포토챗 기능에 대한 모델 개발후기
리트리벌 모델의 한계
학습에 보지 못했던 사진들의 경우 일반적인 표현을 선호하는 경향
답변 후보 문장이 유한하여 표현력이 부족함
현재 대화 모델 구조의 한계
이미지에 대한 정보가 들어가지 않은 언어 모델을 이용
이전 대화 문맥을 고려하지 못해 대화가 부자연스러움
문제 정의
멀티턴 이미지 대화 태스크 데이터셋 이미지 구축
다양한 네트워킹 세션
invited talk 이외로도 다양한 네트워킹을 할 수 있는 빙고 게임과 같은 시간이 있어서 재밌게 들을 수 있었습니다.
사람들과 빙고도 하고 ㅎㅎ 이야기를 했는데 좋은 시간이었숩니당.
(네트워킹이 어려운 i같은 e)
나머지 이후 연사 토크 정도만 가볍게 듣고 집으로 튀튀했습니다!
이런 세션을 듣다보면 뿌듯함도 있고, 열정을 배울 수 있어서 좋은 것 같습니다.
