NIPA-ORACLE #2. AI Agent 개론 및 시나리오 설계

1.AI 이모저모

1. Cloud AI Server 간 차이

• 비슷해 보이는 Generative AI 모델간에도 차이가 존재한다.
• Grok이 자유도가 높은데.. 사장 따라가는 듯 하다.

2. 온프레미스 모델들

• 온프레미스 모델간에도 차이가 존재한다.

3. 이력서 작성할때, 내가 프로젝트에 작성한 AI model을 선택하기까지의 과정(비교, 분석) 을 넣으면 좋다고 하심

4. 최근 AI 모델의 완성도가 높아짐에따라, 원본과 대조하여 AI로 만든것임을 표현하는 문구를 넣는게 좋다.

5. AI-Agent를 설계할때 목표값을 설정하는게 좋다. 이것으로 해결하고하는 문제가 있다면 문제 해결의 기준치를 설정하는 것이다.

6. trackingAi.org 에서 AI 간 비교 데이터 확인이 가능하다.

7. AI는 개발자에게 가장 많은 영향을 주었다. 그러나, 내년부터는 점차 그 영향력의 범위나 분야가 넓어질 것이다. 영등포의 한 회계법인은 신입 회계사 채용계획을 취소 했다..

https://weekly.donga.com/economy/article/all/11/5708662/1

8. AI 생태계에 대한 역학관계가 정립되었다. 작년와 올해(2024 ~2025까지 기업들은 AI 간을 보고 있다. 그리고 그 역학관계가 정립되어가고 있다고 생각한다.

9. 테슬라 로봇 가격은 대당 2500만원이다. 이것(?)들을 20시간일한다. 충전도 알아서 자동으로 한다. 파업도 안한다. 졌다.. 현대차는 자회사인 보스턴다이나믹스에 로봇 10만대를 주문했다.

10. AI-Agent는 peak of Inflated Expectations을 받고 있다

2. healthcare , AI 이모저모

1. 생성형 AI에는 Data가 많이 필요한가? 아닐수 있다. 30B보다 70B가 무조건 뛰어날까? 아닐 수 있다. 데이터가 적어도 거대모델에 필적하는 모델을 만드는 예시가 나오고 있다. 양자화를 잘 시키고 최적화 시킨 모델이 더 나을수 있다.

2. 빅데이터의 빅데이터는 많았으나, 비정형데이터의 전처리의 어려움때문에 사실상 많은 프로젝트들이 잘 안됐다.

3. 데이터사이언티스트는 10%만 남을 것이다. 사람중심의 데이터업무가 AI 중심 데이터 업무로 옮겨가고 있다.

4. 많은 기업의 DB에는 수많은 빅데이터가 쌓여있고, 이를 써먹고 싶어한다.

5. 비정형 데이터를 벡터로 바꿔 Vector DB에 저장하고, RAG에서 적절히 chunk된 데이터를 검색해 프롬프트에 주입하는 게 핵심이며, 여기서 “청크 전략”이 서비스 성능을 좌우하기 때문에 컨설팅 수요가 많은 상황

6. 기존의 인덱스 search 방식의 검색 → Vector 기반의 의미/유사도 검색 방식으로 변화

7. RAG vs LLM FineTuning

• Retrieval-Augmented Generation
• 정확한 정보를 주지 않아도 유사한 정보를 여럿 넣어주면 유사도 검색을 통해 알아낼수 있음
• 할루시네이션 이유 → 정보가 너무 없다/ 자유도가 너무 높다.
• RAG는 자유도를 한정시킴/

8. COT/TOT → AI Agent 의 핵심이 되어가고 있음

COT (Chain of Thought)

• 개념: 모델이 단순히 답을 내놓는 것이 아니라, 중간 추론 과정을 단계적으로 생성·표현하는 방식.
• 효과: 문제 해결 과정이 투명해지고, 복잡한 수학·논리 문제나 다단계 추론 문제에서 성능이 크게 향상.
• 활용 예시: 수학 풀이, 코딩 테스트, 단계별 의사결정이 필요한 경우.

TOT (Tree of Thought) - 앙상블 트리 느낌쓰..

• 개념: 단일 선형 추론(Chain)이 아니라 여러 경로(branch)를 트리 형태로 탐색하며 최적의 해를 찾는 방법.
• 효과: 복잡한 문제에서 다양한 가능성을 동시에 고려 → 잘못된 단일 경로로 빠지는 것을 줄임.
• 활용 예시: 창의적 문제 해결(브레인스토밍), 계획 수립, 게임 전략, 탐색 기반 의사결정

9. [xAI]

• explainable
• 블랙박스를 극복?
• 의사결정 판단의 근거를 알 수 있다.
• AI기본법
• AI 사용시 AI로 만들었다는 워터마크
• / AI를 사용함에 있어 영향도를 구분하고 고영향 AI 이면 대비책 만들어야 함
  • ex) 의료시스템, 신용평가시스템
  • 전통적 AI와 생성형 AI의 협업이 요구됨
• 2022년 이후로 xAI에 대한 관심도 많이 줄어듬

10.[AI 해킹사례]

• 개인정보 snap
• LLM 반론 들으면 자신감 잃고 쉽게 마음 바꿈
• 학습데이터가 오염되었는지 scanning 하는 서비스 필요