스타트업 연구원의 지극히 주관적인 비전과 LLM의 미래

류창훈·2025년 9월 7일

이모저모

목록 보기
9/11

바로 전 포스팅에서 이미지 학습 연산량 끄적이다가
예전에 친한 형과 술먹으면서 한 얘기가 떠올라서 적어보는
비전과 LLM의 미래에 관한 내용입니다.

지극히 제 개인적인 주관이 들어간 내용입니다.



비전과 LLM의 역사


여기서 뭐 누가 뭘 먼저 만들었다,
어떻게 누가 뭘 어떻게 발전시켜왔다 이런걸 떠들지는 않을겁니다.


아주 예전에 입력이 여러개로 구성이 되는데, 여기서 어떤 함수(활성화 함수)를 거쳐서
이 입력값이 뭔지 0 혹은 1로 출력하는 그런 신경망이 있었습니다.

제 개인적으로는 이건 알고리즘에 가깝다 라고 생각을 하는데,
빠르게 눈치 채신 분이 있으시겠지만 퍼셉트론 입니다.

이거 전에도 인공지능을 정의내리려는 시도는 굉장히 많았고, 연구도 많이 이루어졌지만,

여러 학자들이 인정하듯이, 저도 인공지능 혹은 딥러닝의 시초는 퍼셉트론 개념이 등장했을 때 부터라고 생각을 합니다.


그렇게 무수히 많은 연구가 다 그렇듯이,
허점도 많고, 이걸로 풀지 못하는 문제가 많아서,
쭉 더 연구되다가 나온 것이

CNN
입니다.


CNN은 말그대로 이미지를 밀어넣었을 때, 이게 어떤 것인지 분류(개, 고양이 등) 하는 것 입니다.


근데 이것도 시간이 지남에 따라 정복이 됐고,

그렇게 이미지에서 위치 정보값이 들어갔다던가(Detection),
픽셀 어디가 뭐라더라(Segmentation),
이건 무슨 관절이라더라(Pose 추정) 등,

더 많은 모델(아키텍처)이 등장하게 되었고,

이제는 예술가처럼 그림 하나 만들 수 있지 않을까? 해서 나온게
GAN(그림 생성)분야 입니다.



하지만 이전 포스팅에서도 말씀 드렸듯이,

이미지(혹은 동영상)는 하나의 모델 학습하는데 어마무시한 자원이 요구되고,
뭐 물론 이제는 하드웨어도 발전하게 되어서 어느정도의 학습은 커버가 가능하지만,

그래도 아직까지는 연구진 혹은 개발진들이 원하는 만큼의 이미지 데이터 학습은 어렵기 때문에

생성된 이미지의 사람 손가락이 20개라던지, 이미지 내 한글이 요상한 상형문자가 되어 있다던지 그렇게 되는 것입니다.



하지만 연구진들이 생성형 AI 아키텍처 만들어놓기는 했고,
근데 시중에 내놓기 위해서는 학습을 그만큼 해야 하는데,
하드웨어가 그만큼은 또 안 따라주고,

그렇게 연구 성과를 위해 나온 것이 LLM, 글 분야 입니다.

이 분야도 무수히 많은 시행착오를 겪으며 발전해왔고 쭉 더 발전 중이지만, 제 분야가 아니라서 자세히는 모릅니다.

그래서 LLM이 이미지 분야의 실패를 뜻하는 것인가?

어쨋든 이것도 이미지 AI 분야 연구되다가 나온 것 이라서
그렇게 판단할 수 있겠구나 라고 이해를 하기는 합니다.


하지만,
LLM분야도 그만큼 사용자들한테 인정받고, 또 그만큼 좋은 퍼포먼스를 보여줄 수 있었기 때문에
하나의 큰 분야로 자리잡게 된 것입니다.

그래서 위의 견해는 잘못된 것이 아닌가 싶습니다.




비전과 LLM의 미래


현재는 국내 AI 일자리를 보면, 비전 엔지니어, 비전 리서처, LLM엔지니어, LLM 리서처 등
일자리는 굉장히 많습니다.

(공고는 많습니다 ㅎㅎ)

하지만 제가 느끼기에 현재 서비스들에 있어서
LLM쪽이 주를 이루고, 비전 분야는 부수적인 형태로 가져간다고 느낍니다.


그도 그럴 것이,
비전 분야는 아직까지 완전하지 않기 때문입니다.

특히나 안전 분야로 빠지게 된다면,
잘못되었을 때 책임을 져야 하는 경우가 생깁니다.


물론 이런 책임에서 완전히 통달하게 만드는 것은 이론상 가능합니다.

뭐,, 모든 경우의 수에 놓인 데이터를 학습하면 되죠.
모든 상황에 완벽하게 대응하게끔 만들면 된다는 것 입니다.

하지만 아까도 말씀 드렸지만, 아직까지는 하드웨어가... ㅎㅎ



그래도 하드웨어는 계속 해서 발전하고 있고,
소규모 민간 기업 차원에서도 부담 없이 구입할 수 있게끔 점점 가격도 하향되고 있고,

멀지 않은 시기에 비전 분야가 주를 이루는 시대가 오지 않을까 싶습니다.




인공지능의 미래


비전이든 LLM이든 아직 가야 할 길이 멉니다.

건너 듣기로는 LLM 분야도 가짜를 진짜같이 출력하는 환각 현상이 있고,

비전 분야도, 마찬가지죠 뭐 ㅎㅎ


그래서 이렇게
'잘못된 정보를 출력하는 이유가 무엇인지 명확하게 정리할 수 있는가?'
라고 물어보면,

결국 데이터 문제라고 봅니다.



현 상황에서 하드웨어 성능은 정해져있고,
이걸로 어떤 모델을 만들어야 한다라고 하면,


결국 양보다는 질에 초점을 두어야 합니다.


만약 안전 분야에 엮여있는 자율주행 모델을 만든다라고 하면,

수많은 클래스의 데이터를 확보 해야 합니다.


예를 들면,
실제 우리나라 도로 환경에서의
수많은 클래스 데이터 확보가 우선시 되어야 하는데,

사실 카메라 라고 하면,
개인정보 문제도 있고 해서 이 데이터 확보가 좀 조심스러운 경향이 있습니다.


그래서 자율주행을 주력으로 하는 자동차 회사들을 보면,
현재는 이런 질 좋은 데이터를 학습시키지 못했기 때문에,
일단은 손을 핸들에 얹어놓고, 그렇게 현재는 차량들을 막 굴리는거라 조심스레 판단을 해봅니다.

근데 이것도 대기업이기 때문에 실험을 하고, 데이터 수집을 하고 하는 것이지,
스타트업 같은 경우는 여기까지 가기도 힘들지 않나 싶습니다.



나아가며


인공지능은 지금까지 빠른 속도로 발전을 해왔고,
앞으로도 계속해서 발전하는 것은 사실입니다.

현 국내 AI도 여러 기업체들이 주축이 되어 빠른 속도로 발전을 해 왔는데,
아직은 해외와 비교하면 좀 뒤쳐질 수밖에 없다고 생각을 합니다.


중국같은 경우에는,
국가가 주축이 되어서 이렇게 빠른 속도로 AI가 발전 할 수 있었습니다.


그럼 중국에 더 좋은 인력 확보가 되어 있어서 그럴 수 있었던 것인가?


저는 그렇게 보지 않습니다.

현재 한국도 충분히 좋은 연구진, 개발자 분들이 계십니다.


제가 생각하는 AI 발전 속도의 차이는 결국 데이터적용 실험에 있다고 봅니다.

중국 같은 경우에는 위와 같은 특수한 상황이라서 개인정보가 엮여있는 데이터를 활용하기 어렵지 않고,
실제 실험에 있어서도 굉장히 오픈되어 있다고 느껴집니다.

그렇기 때문에 단기간에 폭발적인 발전을 할 수 있었던 것이라 봅니다.


그럼 개인정보가 엮인 데이터를 막 뿌려도 되는가?

이건 절대 안되죠.


그럼 대책이 무엇인가?

애초에 데이터 자체를 국가차원에서 관리를 하되,
연구, 개발 목적성이 분명히 보인다면,
특수 조항을 엮어서 오픈을 하는 겁니다.

뭐 예를 들면,
이름이나 주민번호, 실제 그 사람의 신상정보 파악이 되는 것은 빼고 주는 것 입니다.

이렇게 하려면 이 데이터를 전문적으로 관리하는 국가 공무원이 따로 필요할 것입니다.


나머지 뭐 실험에 있어서는~
차차 나아질 것이라 믿습니다.




끝으로,

저는 한국이 좋고,
또 그만큼 더 발전을 할 수 있다고 봅니다.

하지만 곡선 그래프 형태를 띄며 발전하는 인공지능 분야에서,
현재로서는 좀 뒤떨어져 보이는 것이 사실입니다.


1. 국가 차원에서 책임지고 직접적으로 관리하는 데이터
2. 현실에 안주하지 않고, 더 좋은 방향을 끊임없이 추구하는 연구, 개발, 경영진들의 자세
3. 곳곳에 보이는 인공지능과 로봇에 있어서 오픈되어 있는 우리의 자세

이 삼박자가 잘 맞아간다면,
우리도 해외를 뛰어넘는 인공지능 기술력을 충분히 갖출 수 있을 것이라 믿습니다.


긴글 읽어주셔서




감사합니당 ~ 🦾

profile
Vision AI Researcher

0개의 댓글