최근 구글에서 사이즈 대비 높은 퍼포먼스를 지향하는 새로운 제마 모델을 선보였습니다.
특히 이번 업데이트에서 주목할 부분은 모바일이나 로컬 환경에서 무료로 구동할 수 있는 온디바이스 엣지 모델인 2B와 4B 모델의 비약적인 발전입니다.
과거 로컬에서 구동했던 모델들이 느린 속도, 과도한 메모리 점유, 아쉬운 한국어 성능 등의 한계를 보였던 반면, 이번 신규 모델은 실제 서비스에 도입을 고려해 볼 수 있을 정도로 성능이 개선되었습니다.
1. 제마 신규 엣지 모델의 주요 특징
이번 신규 모델은 고성능 클라우드 컴퓨팅에 의존하지 않고 엣지 환경에서 구동되는 것을 목표로 설계되었습니다.
-
다양한 파라미터 옵션: 고성능 워크플로우를 위한 31B, 26B 모델 외에도, 엣지 환경에 최적화된 E2B 2 Billion , E4B 4 Billion 모델을 제공합니다.
-
강력한 기능 지원: 고급 추론, 에이전트 워크플로우, 펑션 콜링, 코드 생성을 모두 지원합니다.
-
멀티모달 성능: 텍스트뿐만 아니라 비전및 오디오 인식까지 가능합니다.
-
확장된 컨텍스트 및 언어: 엣지 모델임에도 128K 컨텍스트 윈도우를 지원하며, 140개 이상의 언어를 처리할 수 있습니다.
2. 로컬 에뮬레이터 테스트 결과
안드로이드 에뮬레이터 환경에서 2B와 4B 모델을 직접 탑재하여 텍스트, 이미지, 오디오 인식을 테스트한 결과입니다.
예: 원활한 구동을 위해 에뮬레이터 메모리는 16GB를 할당했습니다.
텍스트 생성 및 추론 능력
여자친구 컨셉의 프롬프트를 부여하고 한국어로 대화를 진행했습니다.
-
2B 모델: 문맥을 파악하고 대답을 생성하지만, 톤이 다소 사무적이고 인위적인 느낌이 남아있습니다.
-
4B 모델: 2B 모델에 비해 훨씬 자연스럽고 사람과 대화하는 듯한 부드러운 톤을 구사합니다.
이전 세대 모델과 비교했을 때 한국어 문법의 정확도와 답변 생성 속도가 압도적으로 향상되었습니다.
비전 능력
위스키 캔 음료 4개가 놓인 이미지를 분석하도록 요청했습니다.
-
2B 모델: 사진 내의 색상과 액체류라는 점은 인식하지만, 사물의 정확한 개수나 디테일한 파악에는 한계를 보였습니다.
-
4B 모델: "네 개의 캔 음료가 나란히 배열되어 있다"는 사실을 정확히 인지하고, 각 캔의 색상과 디자인 특징을 디테일하게 분석해냈습니다.
-
한계점: 두 모델 모두 영문 알파벳 등 특정 이미지 내 텍스트를 완벽하게 읽어내는 데는 아직 오류 예를들어 V를 K로 오인가 발생했습니다.
오디오 인식 능력
영어 음성 및 한국어 애국가 낭독 음성을 트랜스크립션하는 테스트를 진행했습니다.
- 영문 및 국문 모두 약 80% 수준의 준수한 정확도로 텍스트를 변환해 냈습니다.
- 다만, 특정 발음이나 단어 예를들어 대한 사람 -> 한 사람 에서 약간의 오인식은 발생하여 완벽한 수준까지는 도달하지 못한 것을 확인했습니다.
3. 로컬 테스트를 위한 권장 사양
- 2B 모델: 6GB ~ 8GB 수준의 메모리 할당으로 구동이 가능할 것으로 예상됩니다.
- 4B 모델: 초기 로딩 시간이 길며, 안정적인 구동을 위해 에뮬레이터 기준 16GB 이상의 메모리 할당이 권장됩니다.
4. 총평 및 개발자 시사점
현재 멀티모달 기능은 약간의 오차가 존재하여 상용 서비스의 메인 기능으로 쓰기에는 아직 보완이 필요해 보입니다.
하지만 텍스트 기반의 작업 처리 능력은 이미 충분히 실무에 투입할 수 있는 수준까지 올라왔습니다.
앱 또는 웹 서비스를 개발할 때, 클라우드 AI API 비용이 부담된다면 이러한 온디바이스 모델을 적극 검토해 볼 만합니다.
기본 기능이나 백업 시스템으로 엣지 모델을 우선 연동하고, 복잡한 추론에만 외부 API를 호출하는 방식으로 아키텍처를 구성한다면 운영 비용을 크게 절감할 수 있는 훌륭한 선택지가 될 것입니다.
