시작하며,
우연한 계기로 초대권을 얻게 되어 KWDC24를 다녀올 수 있었다
(정말,,, 정말 감사합니다,,,🙇🏻)
내가 들었던 세션들 중에서 3개의 세션이 기억에 남는데, 그 세션들에 대해서 한 번 이야기해보겠다
(내용이 좀 길어져서 3편으로 나눠야겠다,,,)
세션 01 : 애플의 생성형 AI, Apple Intelligence로 차세대 AI 경험 설계하기
세션 앞 부분에서는 Fine Tuning과 RAG, 그리고 LoRA 기법, Catastrophic Forgetting 등에 대해서 설명해주었다
AI(Apple Intelligence)에 대해 이해하는 데에 도움이 되기에, 간략히 적어보겠다
Fine Tuning vs RAG
Fine Tuning은 LLM 모델이 있을 때 여기에 추가적으로 계속 학습시키는 기법이고, RAG는 LLM에 추가하진 않지만, 어떤 문서를 참고하는 기법이라고 한다
쉽게 말해 Fine Tuning은 열심히 공부하는 학생이고, RAG는 오픈북으로 시험보는 학생인 것이다
둘다 LLM 성능 향상을 위해 만들어진 기법인데, 답변에 참고할 수 있는 context를 더 주는 게 RAG라고 한다
모델(파운데이션 모델)의 조정 방식과 데이터를 활용하는 방식이 서로 다르다
학습과정
Fine Tuning은 모델을 재학습하는 과정에서 시간과 리소스가 어마어마하게 들어가는 반면,
RAG는 추가 학습에 대한 부담 없이 프롬프트 엔지니어링으로 context를 던지기만 하면 되기에 시간과 리소스가 적게 들어간다
학습모델
Fine Tuning은 사전에 컴파일된 모델이고,
RAG는 질문이 더해졌을 때마다 검색해서 답변하는 일종의 동적 과정을 가진다
확장성
Fine Tuning은 특정 도메인에 대한 적합한 모델이 나오지만 그만큼 확장성은 제로에 가깝다
RAG는 파운데이션 모델에 기반하여 context만 잘 주면 되기에 확장성이 좋다
응답성능
Fine Tuning은 모델 자체를 학습시키는 기법이기에 응답할 때는 빠르고 전문적이고,
RAG는 주어진 context로 검색하는데에 시간이 걸린다
요약
특정한 도메인에서 빠르게 검색을 해야한다면 Fine Tuning 기법을,
확장성을 가져야한다면 RAG를 선택한다고 한다
LoRA?
모델의 성능을 유지하면서 파라미터 수를 줄이는 효율적인 딥러닝 모델 최적화 기법이다
LLM 또는 딥러닝 모델의 파라미터 수를 줄이고 메모리 및 계산 비용을 줄이면서 효율적으로 성능을 향상시키는 Fine Tuning 기법이라고 한다
모델의 특정 가중치 행렬에 저차원 행렬을 삽입해 파라미터를 경량화하면서도 원래 가중치를 고정해 핵심 성능을 유지합니다. 모델 내부의 파라미터를 공유함으로서 메모리 효율성을 높이며, 학습 시 치명적 망각 문제를 방지하여 안정적인 성능을 보장한다
치명적 망각 (Catastrophic Forgetting)
인공지능 모델이 순차적으로 여러 작업을 학습할 때 이전에 배운 정보를 잃어버리는 현상
예를 들어, 모델이 한 작업(예: 고양이와 개를 구별하기)을 학습한 후, 다른 작업(예: 차와 자전거를 구별하기)을 학습하게 되면, 새로운 작업을 학습하는 과정에서 이전 작업에 대한 지식이 심각하게 손상될 수 있음
이 현상은 특히 딥러닝 모델이 새로운 데이터를 학습할 때 기존의 가중치가 덮어써지기 때문에 발생
Apple Intelligence Architecture
그렇다면, AI(Apple Intelligence)에 대해 알아보자
Overall Architecture
Foundation Model + Adaptors(전문지식을 담당)
그렇다는 건, Adaptor만 갈아끼우면 확장성이 어마어마하다는 것!
Adaptor 부분만 메모리에 추가되어 메모리 절감 효과가 있다고 한다
On-device Model
기기 자체에서 돌아가는 온디바이스 모델이고, 애플 실리콘에서 돌아간다고 한다
On-device vs PCC
온디바이스는 인터넷을 거치지 않아 연산 성능이 딸릴 수 있다
그래서 내부적으로 애플 실리콘 서버에서 돌아가는 PCC(Private Cloud Computing)에 연동될 수 있다고 한다
What can we do with Apple Intelligence?
우리는 AI로 뭘 해야할까?
AI가 우리에게 어떤 가치를 가져다줄 수 있을까?
응답 성능은 chatGPT 등을 따라갈 순 없다고 한다
또한 온디바이스 형태이기에 복잡한 연산은 어렵다
그러나, chatGPT와 같은 LLM은 맥락 없는 것에 대해서는 답변해줄 수 없다
무슨 말이냐 하면, chatGPT에게 "내가 내일 타는 비행기 좌석 알려줘"를 물어본다면?
당연히 형식적인 안내문구만 출력할 것이다
그러나 Apple Intelligence는 디바이스의 정보를 탐색해서 답을 해줄 수 있다는 것이다!
즉, 개인 비서가 된다는 것. 정말 초개인화 AI인 것이다
심지어 온디바이스 형태이기에 보안 측면에서도 뛰어날 것이다
이쯤에서 우리는 고려할 점이 있다
바로, PCC를 결합한 하이브리드 아키텍처이다
온디바이스와 PCC를 결합하면, 복잡한 연산도 되고 개인화된 답변도 할 수 있다
Personal Context
우리는 Apple Intelligence를 어떻게 활용해야 할까?
chatGPT와 같은 LLM이 하지 못하는 Apple Intelligence만의 특징을 살려야 한다
Personal Context, 즉 개인적인 맥락을 극대화하는 방향으로 앱이 설계되어야 한다
세션을 듣고,
사실 데이터, AI쪽에도 관심이 있는데 워낙 광범위하고 어렵게 느껴지는 분야라 잘 아는 편은 아니다
그럼에도 이번 Apple Intelligence 세션은 매우 흥미로웠다
Fine Tuning과 RAG에 대한 설명부터가 너무 재밌었고, Apple Intelligence의 동작 원리와 강점을 들으면서 어떤 앱을 만들 수 있을지 설레기 시작했다
가장 와닿았던 건, "온디바이스"와 "초개인화"이다
아이폰, 어쩌면 icloud의 데이터까지 탐색해서 개인 비서를 만들 수 있는 것 아닌가?
그렇다면 간단하게는 특정앱 내 검색부터, 카톡, 슬랙, 메일 등 여러 군데로 분산되어 소통하는 대화의 늪 사이에서 원하는 내용을 빠르게 찾을수도 있을 것이다
가끔 사진 찾는 데에 어려움을 겪은 적도 있다
언젠가 스크린샷해둔 이미지를 다른 스크린샷 이미지들 사이에서 찾기가 쉽지 않다
그리고 인스타그램에 맛집 저장, 꿀팁 저장 많이 하는데, 이걸 AI가 찾아준다면?
유튜브 좋아요 목록에서 내가 원하는 영상을 찾아준다면?!
와,,, 진짜 이거 되면 좋겠다,,,
데이터쪽을 공부할 때가 왔다
적어도 기초 지식 정도는 알아둬야 Apple Intelligence를 덕질할 수 있을 것 같다
정말 탐스럽다 이게 애플인가🍏
(아담과 이브 드립을 칠때가 되었나)
다음편 예고
KWDC24 | #2 모두를 위한 디자인
