컴퓨팅 환경의 발전
시대의 흐름에 따라 하드웨어와 소프트웨어는 함께 발전한다. 컴퓨팅 환경 또한 기술의 발전과 함께하며 다양한 양상을 보여왔다.
그 중에서도 중앙 집중형과 분산형이라는 두 트렌드를 중심으로 발전하는 걸 확인할 수 있었다.
1960~1970: 중앙 집중형
60~70년대, 컴퓨팅 환경의 초기 형태는 중앙 집중형이었다.
크고 무거운 중앙 메인 프레임이 연산의 전부를 감당해내고, 사용자들은 단말기를 이용해 접속하는 형태를 보였다.
서버-클라이언트 구조라고도 말하며, 이 시기에 이후에 나온 다양한 창작물에서 미래도시를 묘사할 때 도시 중앙의 거대한 컴퓨터가 모든 걸 통제하는 모습을 자주 보여준 걸 어렵지 않게 떠올릴 수 있다.
1980~2000: 분산형
기술의 발전으로 한 조직이 컴퓨터를 공유하던 시대가 끝나고, 모든 컴퓨터가 사용자의 테이블 위에 놓이는 PC의 시대가 도래한다.
중앙 메인 프레임이 전부 부담하던 연산 작업이 개개인의 디바이스로 분산되었지만, 아직까지는 클라이언트-서버 구조를 사용하는 기업들도 존재했다.
분산형 환경의 발전과 함께 등장한 인터넷의 보급 이후로는 웹 서버에서 대부분의 연산을 담당하고 클라이언트에서는 UI를 담당하는 새로운 형태의 서버-클라이언트구조가 등장하기도 했다.
2010~
강력한 개인 디바이스 스마트폰의 등장은 개개인에게 무선 통신의 자유를 선물했지만 PC에 비해 떨어지는 성능으로 복잡한 연산을 진행하기 힘들다는 단점 또한 존재했다.
클라우드 컴퓨팅은 개인 디바이스의 연산 부담을 가져오며 급속도로 성장하는 모습을 보여주기도 했으며, 최근에는 클라우드의 연산 일부를 다시 단말로 가져오는 엣지 컴퓨팅의 발전도 주목할만하다.
클라우드 컴퓨팅과 엣지 컴퓨팅
이처럼 현대 컴퓨팅 환경은 클라우드 컴퓨팅으로 대표되는 중앙 집중형과 엣지 컴퓨팅으로 대표되는 분산형 환경이 트렌드로 떠오르고 있다. 두 환경 모두 장단점을 보유하고 있으며, 다양한 요인을 고려하여 선택하는 것이 바람직하다.
그렇다면 현재 가장 빠른 발전을 보여주는 인공지능 분야는 어느 환경에서 가장 유리할지 알아보자.
파운데이션 모델 (FM, Foundation Model)
광범위한 사용 사레에 적용할 수 있도록 광범위한 데이터에 대해 훈련된 기계 학습 또는 딥 러닝 모델
파운데이션 모델 (FM, Foundation Model) 이란 대량의 원시 데이터에서 대개 비지도 학습을 통해 훈련된 AI 신경망을 의미한다.
그야말로 다재다능하며, 모든 분야에 전문적인것처럼 보이는 모델이라면 파운데이션 모델이라고 볼 수 있다.
우리에게 가장 익숙한 Chat GPT가 떠올랐다면 정답이다. Chat GPT는 가장 대표적인 파운데이션 모델로 학습된 언어 모델이다.
거대한 크기와 수천억개 이상의 파라미터를 가지므로, 대량의 컴퓨팅 파워를 보유한 클라우드 환경에서의 학습이 필수적이다.
파운데이션 모델의 장단점은 아래와 같다. 추후 이야기할 온디바이스 AI와 정확히 반대되는 장단점을 가지고 있다.
성능
온디바이스 환경에서는 꿈도 꾸지 못할 엄청난 컴퓨팅 리소스를 이용해 학습되는 모델이다.
파라미터의 수와 용량 등 다양한 지표에서 온디바이스 AI를 압도하며, 그만큼의성능이 보장된다.확장성
클라우드 환경의 특성에서 비롯되는 높은 확장성이다.
능동적인스케일 아웃으로 부하 관리가 비교적 쉽다.배포
중앙 집중 관리의 장점으로, 배포와 모델 업데이트가 쉽다.
단순히 서버에서 새로운 버전으로 업데이트하는 것만으로 사용자들에게 새로운 서비스를 제공할 수 있다.
GPT의 새로운 모델이 출시되었더라도 노트북에서는 아무 업데이트를 필요로 하지 않는다는 것을 떠올려보자.
레이턴시
강력한 성능과는 별개로, 네트워크 환경에서 동작하는 파운데이션 모델에는
네트워크 지연 시간이 필수적으로 발생한다.비용
거대한 모델은 그만큼의 유지 비용이 발생한다.
GPU등 하드웨어, 전력 등 천문학적인 비용이 발생한다.
일례로Chat GPT의 하루 유지 비용은 약70만$, 한화로 약10억원에 달한다는 추측이 있다.보안 문제
언어 모델의 학습과 추론 과정에서 사용자의 정보가 클라우드 내에서 유출될 가능성이 있다.
특히 보안에 민감한 의료, 금융, 군사 등의 분야에서는 활용이 제한적일 수 있다.네트워크 의존
파운데이션 모델은 어디까지나클라우드 환경을 전제로 한 서비스다. 즉, 네트워크 연결이 없다면 서비스를 사용할 수 없다.빅테크 의존
천문학적인 학습 비용과 운영 비용을 감당할 수 있는 회사는 많지 않다.
따라서 극히 일부의 빅테크들의 시장 지배력이 매우 높다.
sLM
1천억개 이상의 파라미터를 가지는 언어 모델을
LLM, 수십억개 정도의 매개변수만으로 연산 작업을 단축시킨 것을 소형 언어 모델,sLM으로 분류합니다.
LLM에 비해 매우 적은 파라미터로 학습이 가능하며, 그만큼 더 적은 컴퓨팅 자원과 전력으로 최대한의 효율을 낼 수 있다.
또한 인터넷 연결 없이 사용할 수 있다는 장점은 스마트폰 등에서 사용되는 온디바이스 AI 시장에서 각광받고 있다.
또한 최근 스마트폰에 신경망 연산에 특화된 NPU (Neural Processing Unit)이 내장되는 등 디바이스 내에서의 추론 성능이 더욱 높아질 것으로 예상된다.
빠른 응답
클라우드 내의 언어 모델에 질의하는
파운데이션 모델과 다르게 디바이스 내에서 모든 연산을 진행해 네트워크 레이턴시가 존재하지 않는다.우수한 보안
네트워크를 사용하지 않는다는 특징에서 파생되는 장점이다.
사용자의 개인정보가 디바이스 외부로 공유되지 않으므로 보안적으로 우수하며, 이로 인해 다양한 분야로의 진출 가능성이 높다.오프라인 서비스
마찬가지로 네트워크 연결 없이 오프라인 환경에서도 정상적으로 작동한다.
비용 절감
클라우드를 이용한 인공지능 서비스는 대부분이 구독 시스템을 운용하고 있다.
Chat GPT가 대표적인 예시다.
하지만온디바이스 AI들은 별도의 추가 비용 없이 최초 구입 비용을 지불하다면 반영구적 사용이 가능하다.
갤럭시 s25를 구매한 사람은갤럭시 AI또한 사용 가능한 것을 떠올릴 수 있다.
낮은 성능
디바이스 환경은
클라우드 환경에 비해 성능적으로 많이 떨어진다. 파라미터, 용량 등을 경량화한 버전이므로파운데이션 모델에 비해 추론 능력이 현저히 떨어지는 것은 어쩔 수 없는 한계이다.
따라서sLM은 키보드 자동완성, 사진 인식 등 비교적 간단한 기능들을 주로 제공한다.하드웨어 제약
필요에 따라 자유로운
스케일 아웃이 가능한 클라우드 환경에 비해 컴퓨팅 리소스, 전력 사용량 등 제약되는 요소가 많다.모델 업데이트
단말에 직접 설치하는 모델이므로 새로운 업데이트가 발생했을 때 사용자 개개인이 모델을 직접 업데이트해줘야 하는 필요성이 있다.
편향 학습
디바이스 내에서 잘못된 정보 제공으로 모델이 편향된 학습을 진행할 가능성이 있다.
위의 단점들 또한 기술의 발전으로 계속 개선되는 추세다. 대표적으로 양자화, 모델 구조 최적화등이 있겠다.
또한, 정밀도를 희생해 더 작은 모델을 보급하거나 큰 모델 모델을 보급하거나 큰 모델의 학습 데이터를 작은 모델로 옮기는 지식 증류등 다양한 방법을 사용할 수 있다.
인공지능의 컴퓨팅 환경 선택 전략
만약 업데이트가 잦은 모델이라면, 클라우드 환경이 유리하다고 말할 수 있다.
버그 수정, 신기능 업데이트 등을 클라우드 내에서 처리한다면 모든 사용자에게 일괄적으로 적용시킬 수 있는 등 서비스 운영 측면에서 클라우드 환경이 추천된다.
또한 사용자 맞춤형 또는 보안이 중요한 서비스라면 온디바이스 AI가 추천된다.
추가로 온디바이스 AI 서비스의 경우 잘못된 정보 학습으로 인한 편향된 학습을 알아채기 힘든 경우가 많아, 주기적으로 서버에 진단 정보를 전송하며 품질을 모니터링해야 한다.
또한, 에너지 문제도 주목해야할 부분이다.
대규모 언어 모델이 학습되는 데이터센터에는 수만대의 서버가 존재하며, 이 서버들의 소비 전력을 최적화하여 탄소 배출을 감소시키는 노력이 필요하다.
이런 관점에서는 저전력으로 효율적인 서비스를 제공하는 온디바이스환경이 유리하다.
하이브리드 AI
클라우드 서비스, 온디바이스 환경의 두 장점을 취하는 하이브리드전략도 주목할 만 하다.
중앙 데이터 센터는 대용량의 추론 능력으로 성능을 높히고,엣지 디바이스에서는 효율 높은 작업을 처리하며 전력 사용량과 성능을 최적화할 수 있다.
예를 들어 갤럭시 스마트폰의 경우 디바이스에 탑재된 경량화 모델을 이용해 사진 추천, 음성 텍스트 변환 등을 진행하며, 클라우드 환경에서 번역, 이미지 편집 등의 연산을 제공한다.
또한, 엣지 디바이스들이 로컬 모델을 학습하고 변화된 부분만을 중앙 서버에 전송하는 연합 학습으로 사용자들의 정보 보호와 성능 향상을 기대해볼만 하다.
