AI 엔지니어 되는 방법

데이터베이스, 운영체제, 커널과 시스템·2025년 2월 2일

AI 엔지니어 되는 방법

저는 인공지능 분야의 전문가가 아니더라도, 오픈소스 파운데이션 모델들의 가능성과 파인튜닝을 통해 자신만의 AI를 만들 수 있다는 점에 큰 매력을 느끼고 있습니다. 하루라도 빨리 좋은 기능들을 얼리어답팅하고자 AI 엔지니어의 커리어를 탐색해 보게 되었는데요, 오늘은 최근 유튜브 영상 "Become An AI Engineer in 2025 | The 6 Step Roadmap"에서 제시한 핵심 포인트들을 정리해 보고, 그 과정에서 느낀 점도 적어보려고 합니다.

AI 스킬의 중요성

영상 초반부에서는 AI와 대규모 언어 모델(LLM)에 대한 수요가 폭발적으로 증가하고 있음을 강조합니다. AI 엔지니어는 높은 연봉과 함께 미래의 핵심 인재로 부상하고 있으며, AI 기술은 기업과 개인 모두에게 중요한 경쟁력이 되고 있습니다.
이러한 시장의 변화 속에서 AI 기술을 배우고 적용하는 것은 장기적인 투자라고 생각합니다.

배워야 할 기술 스택:

Python: AI 및 데이터 사이언스의 기본 언어
TensorFlow / PyTorch: 딥러닝 프레임워크
Scikit-learn: 머신러닝 모델 구현 및 평가 도구

AI 엔지니어의 역할: 단순 사용자를 넘어선 창의적 솔루션 개발

AI 엔지니어의 역할은 단순히 모델을 사용하는 것을 넘어, 다양한 AI 모델을 다루며 프롬프트 엔지니어링(prompt engineering)과 오케스트레이션(여러 API와 시스템을 조합해 복잡한 작업을 수행하는 기술) 등 여러 스킬을 갖추는 것입니다.
즉, AI 엔지니어는 모델의 작동 원리를 이해하고, 이를 기반으로 창의적인 솔루션을 개발하는 역할을 맡습니다.

공부할 모델들:

Hugging Face Transformers: 다양한 사전학습 모델 활용 및 파인튜닝

다양한 모델에 대한 이해

OpenAI, Anthropic, Meta, Google 등 주요 AI 모델 제공자들의 특징에 대해 다룹니다.

OpenAI: 데이터 분석 및 다양한 API 호출에 강점을 보입니다.
Anthropic: 창의적인 글쓰기와 자연어 생성에 특화되어 있습니다.
그 외 Meta와 Google...

배워야 할 기술 스택:

OpenAI API: GPT 시리즈 및 다양한 AI 기능 활용
Anthropic API: 자연어 생성 및 대화형 모델
Google Cloud AI Platform / Meta AI: 클라우드 기반 AI 서비스 및 연구 모델

아직 Foundation Model이 많지 않은데, 그 어마무시한 비용 때문에 과거에는 빅테크 이외에 개발할 시도조차 하지 못했다고 합니다. 판도를 바꾼 deepseek 덕분에 앞으로는 어떨지 많이 기대됩니다.

프롬프트 엔지니어링의 중요성

프롬프트 엔지니어링은 단순한 질문 작성이 아니라, Chain of Thought 같은 기법을 활용하여 모델이 보다 구조화된 사고를 하도록 유도하는 기술입니다.

예전에는 프롬프트 엔지니어링을 과대평가하거나 단순한 말장난 혹은 사기라고 여기는 의견도 있었지만, 파운데이션 모델에 넣을 수 있는 입력값의 한계가 커지면서 보충 자료를 수집해 첨부하고, 이를 자동화·최적화하는 과정이 점점 중요해지고 있습니다.

배워야 할 기술 스택:

최신 LLM 및 프롬프트 설계 연구
다양한 프롬프트 엔지니어링 전략 테스트
LangChain: 프롬프트 체이닝 및 워크플로우 자동화

Context와 Retrieval: RAG의 활용

RAG(Retrieval-Augmented Generation)는 모델이 외부 데이터를 검색하여 통합할 수 있도록 돕는 기술입니다. 이 과정에는 임베딩(embedding)과 의미론적 검색(semantic search)에 대한 이해가 필요합니다.

여기에는 두 가지 종류의 벡터 DB가 있습니다:

전문 벡터 DB: Milvus, Pinecone, Qdrants, Chroma
확장형 벡터 DB: pgvector, Oracle 23AI 등

임베딩 관련 배워야 할 기술 스택 및 지식:

Hugging Face Transformers / SentenceTransformers: 최신 BERT 기반 임베딩 모델과 문장 임베딩 생성 도구를 활용하여, 문맥에 맞는 임베딩을 생성하는 방법
Gensim: Word2Vec, FastText 등 다양한 단어 및 문서 임베딩 기법을 활용하여 텍스트 데이터를 벡터로 표현하는 기술
Cosine Similarity & Metric Learning: 임베딩 간 유사도를 측정하고 평가하는 기법(예: Scipy, NumPy 활용)
KNN, ANN, HNSW, IVF, ANNOY, FAISS

AI 시스템의 오케스트레이션

실제 프로젝트에서는 여러 AI 모델과 API를 결합해 하나의 복잡한 시스템을 구성해야 합니다. 예를 들어, 대화형 에이전트를 구성하거나 데이터 파이프라인을 구축할 때, 각 구성 요소 간의 인터페이스와 데이터 흐름을 신중하게 설계하는 것이 중요합니다.

배워야 할 기술 스택:

Docker / Kubernetes: 컨테이너 기반 배포 및 클러스터 오케스트레이션
Airflow / Prefect: 데이터 파이프라인 자동화 및 스케줄링
REST API / GraphQL: 서비스 간 인터페이스 설계

평가와 관측: AI 시스템의 성능 관리

영상에서는 AI 시스템의 성능 평가와 관측의 중요성을 강조합니다.
모델의 성능을 평가하기 위해 단위 테스트(unit tests), 트레이싱, 비용 관리 도구 등을 활용하는 것이 중요하며, 이는 지속적인 모니터링과 피드백을 통해 시스템의 신뢰성과 효율성을 보장하기 위한 필수 과정입니다.

배워야 할 기술 스택:

Prometheus / Grafana: 시스템 모니터링 및 시각화
ELK Stack (Elasticsearch, Logstash, Kibana): 로그 관리 및 분석

AI 엔지니어를 위한 마인드셋과 지속적인 학습

마지막으로, AI 엔지니어에게 요구되는 마인드셋은 빠르게 구축하고 피드백을 통해 개선하며, 새로운 도구와 전략을 끊임없이 학습하는 자세입니다. 불확실성과 빠르게 변화하는 기술 환경 속에서도 유연하게 대응하는 성장 마인드셋이 AI 엔지니어의 성공 열쇠라고 생각합니다.

학습 도구 및 플랫폼:

Coursera / Udacity / edX: 온라인 AI 및 데이터 사이언스 강좌
Fast.ai
Kaggle: 오픈소스 프로젝트 및 데이터셋을 통한 실습 경험

결론

해당 영상은 이론적인 내용에 머무르지 않고 실제 프로젝트에 적용 가능한 다양한 기술적 요소들을 담고 있습니다. 각 단계마다 필요한 기술과 사고방식을 체득하면서, AI 엔지니어로서의 역량을 키워나갈 수 있다고 생각합니다. 저는 지금은 취미 수준으로 접근하고 있지만, 앞으로의 경험이 큰 자산이 될 것이라 믿습니다.

예를 들어, 최근 ollama와 deepseek을 이용해 로컬 컴퓨터에서, 인터넷 없이, GPU 없이 CPU만으로도 간단한 1.5B 모델을 구동해 본 경험을 했는데요, 설치 과정이 쉽고 시스템에 큰 부하가 없으면서도 상당히 괜찮은 성능의 파운데이션 모델을 직접 체험할 수 있어 매우 고무적이었습니다. Embedding만 좀 더 제대로 할 수 있다면, 로컬에서 돌아가는 저에게 최적화된 코딩 인공지능 비서를 만들 수 있을 것 같네요. Foundation Model의 발전을 좀 더 기대합니다.