서른세번째 수업 | AI Agents

김승준 강사님

Intro

Gartner Hype Cycle

신기술이 등장한 후 사회적으로 어떻게 수용되고 성숙해지는지를 시각적으로 표현하는 그래프.

1. Innovation Trigger: 새로운 기술이 등장하여 주목받는 단계.
2. Peak of Inflated Expectations: 기술에 대한 기대가 최고조에 이르는 시점.
3. Trough of Disillusionment: 초기의 기대에 미치지 못해 관심이 감소하고, 일부 조직이 기술을 포기하는 단계.
4. Slope of Enlightenment: 기술에 대한 이해가 깊어지고 현실적인 기대가 형성되는 시점.
5. Plateau of Productivity: 기술이 안정적으로 사용되고 실질적인 비즈니스 가치가 창출되는 단계.

What is Agentic AI?

에이전트형 인공지능 (Agentic AI)

독립적으로 작업을 수행할 수 있는 에이전트로 구성되어 있으며, 단순히 응답만 제공하는 기존 AI와 달리 목표를 설정하고 스스로 작업을 조정하며 필요한 도구를 활용하는 특징을 가진다.

1. 목표 지향적인 행동: 특정 작업을 수행하기 위해 목표를 설정하고 계획을 세우며, 그에 따라 필요한 조치를 취한다.
2. 반복적인 자기 개선: 작업 중 피드백을 받아들여 스스로 개선하는 과정을 거쳐 더욱 효율적으로 문제를 해결할 수 있게 된다.
3. 도구 사용: 다양한 외부 도구를 능동적으로 활용하며 복잡한 작업을 해결한다.
4. 다중 에이전트 협업: 복수의 AI 에이전트가 협력하여 더 복잡하고 큰 목표를 달성할 수 있는 구조를 지원한다.

Autogen

마이크로소프트가 개발한 다중 에이전트 대화 프레임워크로서, 차세대 대규모 언어 모델(LLM) 애플리케이션을 지원하는 오픈 소스 라이브러리.

1. 모듈화 및 재사용성: 개발자가 손쉽게 다양한 에이전트를 생성하고 조합하여 새로운 AI 워크플로우를 구성할 수 있다. 이 모듈화 덕분에 프로그래밍 효율성이 향상되고 다양한 응용 사례에 적용이 가능하다.
2. Human Proxy Agent: 사용자 피드백을 즉각 반영하는 특별한 에이전트로, 인간의 피드백과 참여를 쉽게 통합하여 더욱 직관적인 사용자 경험을 제공한다.
3. 코드 생성 및 실행 지원: Autogen은 코드 생성과 실행을 통한 도구 사용을 기본적으로 지원하여 복잡한 작업을 자동화하는 데 유리하다.
4. 다양한 LLM 구성: 여러 종류의 LLM을 지원하는 에이전트 구성을 통해 다양한 작업에 맞춰 유연하게 사용할 수 있다.

Computer Use by Anthropic

AI가 마치 사람처럼 실제 컴퓨터를 조작할 수 있도록 설계된 기술. Claude 3.5 Sonnet 모델에 새롭게 추가되었다.

1. 화면 인식 및 조작: AI가 컴퓨터 화면을 스크린샷으로 캡처하여 객체를 인식하고 분류한 뒤, 마우스 커서를 이동시키거나 버튼을 클릭하는 등의 실제 컴퓨터 조작이 가능하다.
2. 키보드 입력: 사용자 지시에 따라 AI가 특정 텍스트를 입력할 수 있다. 이를 통해 문서 작성, 폼 입력 등 다양한 작업을 자동화할 수 있다.
3. 복잡한 작업 수행: 여행 예약, 온라인 쇼핑, 계좌 이체와 같은 다단계의 복잡한 작업도 수행할 수 있어, 다양한 실생활 응용에 유리하다.

Omni Parser by Microsoft

사용자 인터페이스(UI) 스크린샷을 분석하여 구조화된 요소로 변환하는 AI 기반의 도구.

1. UI 요소 인식: OmniParser는 UI 스크린샷에서 버튼, 메뉴, 텍스트 필드 등의 요소를 자동으로 인식하고 구조화된 데이터로 변환한다. 이를 통해 에이전트는 UI의 구성 요소를 이해하고 특정 작업을 수행할 수 있다.
2. 비전-언어 모델 활용: 대규모 비전-언어 모델을 기반으로 UI를 파싱하며, 정확한 객체 인식과 상호작용이 가능하다. 이는 Microsoft가 개발한 인공지능 기술을 통합하여 UI 분석의 정확성을 높인다.
3. 사용 편의성: OmniParser는 허깅페이스(Hugging Face) 와 같은 플랫폼에서도 다운로드 할 수 있어 개발자들이 쉽게 사용할 수 있으며, 다양한 애플리케이션에서 UI 자동화 기능을 구현할 수 있다.

Personal Insight

프로젝트 제출이 끝나고 (아직 발표가 남았지만) 일상의 고요함이 찾아오니, 나 자신을 다시 돌아보게 되는 것 같다.
세상은 점점 발전하고 유망하다 여겨졌던 직업들도 점점 발전하는 세상에 맞춰 변하고 사라져가는 듯 하다. '어떤 사람이 될 것인가?' 단순히 직업이나 사회적 지위를 넘어, 나는 어떤 가치를 중요하게 여기고 어떻게 살아갈 것인지에 대한 본질적인 질문을 던지게 된다. 나의 행동과 결정, 관계를 형성하는 나의 가치관. 나의 신념. 나의 근간.
익숙하지 않은 프로젝트 주제를 만났고, 익숙하지 않은 사람들을 만났다. 이 시간을 그저 포트폴리오를 만드는 시간으로 여길 수 있으나, 직업적 기술의 습득을 넘어 나라는 사람의 인격적 성숙과 지혜를 쌓아가는 시간으로 가져가고 싶었다. 새로운 경험에 열린 자세를 가지고, 실패를 두려워하지 않으며, 끊임없이 나의 한계를 넓혀가는 시간.
나는 혼자 있는 것을 좋아하지만 인간이란 본디 홀로 존재하지 않는 법. 다양한 관계와 공동체 속에서 살아간다. '어떤 사람이 될 것인가?' 필연적으로 타인과의 관계, 사회에 대한 기여를 포함할 수밖에 없다. 그러면서도 나 자신을 잃지 않으며 건강한 관계를 형성하고 유지하는 능력, 동시에 공동체에 긍정적인 영향을 미치는 능력.
빠르게 변화하는 오늘날의 사회에서 '되고자 하는 사람'의 모습은 유동적일 수밖에 없을 것 같다. 고정된 목표에 집착하기보단, 변화에 유연하게 대응하고 새로운 가능성을 발견할 수 있는 창의성과 적응력을 가진 사람이 되고 싶다. Azure가 막히면 Python으로 하자. 그리하여 예상치 못한 상황에서도 나의 가치를 잃지 않고 성장하는 사람이고 싶다.
성공이나 성취에 대한 외부의 기준에 얽매이지 않고 나 자신의 마음을 돌아보며, 외부 환경의 변화에 흔들리지 않고 나를 지켜내는 사람이고 싶다.
함께 소중한 시간을 만들어준 팀원들에게 감사의 마음을 다시 한 번 표하며. :)

각자마다의 독특한 아이디어와 열정으로 프로젝트를 완성할 수 있도록 이끌어주셔서 고맙습니다. 멈춰서게 되는 순간들에 서로를 격려하고 다시시 새로운 방향을 모색하며 나아가게 해주셔서 감사합니다. 서로 다른 배경과 경험으로 만났지만, 하나의 팀으로써 한 곳을 바라보며 나아갈 수 있어 든든하고 기뻤고, 부족했을 저에 대해 인내와 이해해주셨을 모든 순간에 감사합니다. 한 분 한 분 보여주신 열정과 헌신이 인상적이었고, 동기부여가 되는 시간이었습니다. 함께함이 기쁨이었습니다! 우리 마지막까지 파이팅해봐요 :D
To. 1차 프로젝트 (M*팀) 권*민, 원*은, 이*형, 정*현, 홍*원 동기님