Microsoft
oceanLigntAI 후원
세션 1 : Colab을 넘어, Azure와 Power BI로 완성하는 데이터 시각화
https://www.microsoft.com/ko-kr/power-platform/products/power-bi/getting-started-with-power-bi
신정빈 님
- colab 런타임 종료 & 데이터 증발
- 해결책 : Azure Blob Storage와 Power BI의 만남
- Demo
- MS Learn 학습 경로 공유
파이썬 + colab 조합 으로 분석 -> 큰 데이터를 다루면서 한계를 느낌(plt.show() 정적인 이미지만 출력, 상호작용이 불가) -> Azure SQL & Power BI
- Azure Blob Storage (단순 저장소) : 속도가 느리고 데이터를 통째로 불러와야함
- Azure SQL Database(지능형 엔진) : 쿼리를 통해 필요한 데이터만 고속으로 추출
DEMO
Source(기상청데이터) --Ingest(Azure Data Studio) --> Store(Azure SQL Database) ---> Power BI
1. 카드 시각화
요약본 , 가장 직관적이게 배치
2. 지도 시각화
Power BI에서는 주소 텍스트만 있으면 지도 시각화 기능에 넣게 되면 텍스트 속 지역들이 시각화되게 나옴. 동적인 대시보드 연결이 가능함.
3. 꺾은선 그래프
상호작용함. 기존의 코랩은 멈춰있는 그래프라면 지도에서 원하는 지역을 누르게 되면 실시간으로 맞게 변화함.
4. AI 원인 분석 기능
파이썬을 통해 통계 모델링 코드를 칠 필요 x.
내장된 모델을 사용해 가능.
과정
-
데이터 수집 (기상청 → Azure)
공공데이터포털에서 기상청 API(단기예보, 관측 데이터 등)를 신청 -
데이터 저장 (Azure SQL)
수집한 원천 데이터를 표(Table) 형태로 차곡차곡 저장하는 창고
Power BI가 접근할 수 있도록 Azure SQL의 방화벽 설정에서 'Azure 서비스 액세스 허용'을 반드시 체크 -
데이터 연결 및 시각화 (Power BI)
Power BI에서 'Azure SQL 데이터베이스'를 선택하고 서버 주소를 입력
실시간 감시가 목적이라면 DirectQuery 모드.
DB의 데이터가 변하면 보고서에 즉각 반영됨.
세션 2 : Azure 기반 이미지 분석 기술 이해하기
MSA 여지빈 님
- Pixel to Data
- 3 Key Question
- Azure Vision API
- Demo
이미지 분석
Tags
이미지 분석을 할 때 태그 기능을 키면 "이게 뭔지" 태그를 붙여 분류를 해줌.
Object
"어디에 있는지" 정확한 좌표(x,y) 데이터로 위치를 알려줌.
바운딩 박스 -> 물체의 정확한 경계를 표시하는 형태로 발전
Caption
"무슨 상황인지" 맥락을 설명해줌. 멀티모달.
이미지 분석 과정
Azure Computer Vision ---(API 호출)----> 사용자
챗 지피티한테 물어보면 되지 않느냐?
실제 산업에서 이미지를 활용하기위해서는 텍스트보단 좀 더 명확한 데이터 포맷, 즉 json과 같은 포맷이 필요함.
픽셀 -> 데이터로 변환 -> tag,object,caption 추출하는 함수 생성 -> 이미지 분석 완료 -> json 데이터로 반환됨.
이미지 분석이 끝나면 json형태로 tag,object,caption이 반환됨. 이때 인덱스 구조로 반환되게 해야됨.(데이터 구조화)
다 같은 고양이 일까?
ai모델에게 지식을 좀 더 불어넣어주는 객체 탐지를 해볼것이다.
https://learn.microsoft.com/ko-kr/azure/ai-services/computer-vision/?WT.mc_id=studentamb_479499
예를 들어 고양이를 태그화했을때, 페르시안 고양이와 코리안 숏헤어 고양이가 다 같이 고양이라고 뜬다. 커스텀을 통해 좀 더 세부화 시킬 수 있다.
세션 3 : Microsoft Agent Framework
코파일럿과 에이전트
- Copilot : AI를 위한 UI
- Agent : Copilot 을 통해 입력받은 사용자의 요구사항을 자동으로 알아서 처리하는 개체
Automatically, Autonomously
How ?
어떻게 알아서 하게 만들까
Input ( System events , user messages , agent messages) ---> Agent ( LLM, Instructions , Tools ) ----> output ( Agent Messages, Tool results)
Agent와 Tool calls(Retrieval , Actions, Memory)가 상호작용함.
멀티 에이전트에서 Agent가 Agent를 호출하는 등 서로 상호작용을 한다.
AI 에이전트 도입 이전
-
- 사용자는 데이터 구조화에 시간낭비 -> 양식이 변할 경우( 데이터 스트럭쳐가 바뀔경우) 기존 데이터는 ?
데이터 스트럭쳐를 어떻게 효율적이게 작성을 할까. 이런 부분에서 개발자가 고민하게 됨.
form이 바뀔 경우 기존 데이터를 처리하는 방식이 복잡해짐
- 사용자는 데이터 구조화에 시간낭비 -> 양식이 변할 경우( 데이터 스트럭쳐가 바뀔경우) 기존 데이터는 ?
-
- RPA(자동화)는 UI 업데이트에 민감/ 오작동 -> UI 업데이트에 신속 대응할 수 있도록 상시 모니터링
계속 수시로 업데이트 되는데 UI가 바뀌면 RPA가 오류가 남. 그럴땐 상시 대응 팀이 있어서 바로 대응함.
- RPA(자동화)는 UI 업데이트에 민감/ 오작동 -> UI 업데이트에 신속 대응할 수 있도록 상시 모니터링
-
- 자동화는 문제 상황 발생 시 자체 대응 불가 -> 엣지 케이스에도 대응할 수 있는 복잡한 자동화 로직 필요
A라는 사람이 휴가를 갔을때 자체적으로 바로 대응이 안되기 떄문에, A가 휴가를 갔다면 B가 대응하는 구조로 복잡한 자동화 로직 필요.
- 자동화는 문제 상황 발생 시 자체 대응 불가 -> 엣지 케이스에도 대응할 수 있는 복잡한 자동화 로직 필요
AI 에이전트 도입 이후
- LLM을 통해 데이터 구조화 진행
- UI 변경 확인 시 LLM이 RPA 업데이트 후 진행
- 에러 상황 발생 시 LLM이 스스로 상황 파악 후 진행
MAKE AGENT
IaaS = Containers and framworks OSS LLMs and frameworks
PaaS = Microsoft Foundry Aggent Service
SaaS = Copilot Studio
IaaS방식으로 갈수록 커스터마이징이 쉬움, SaaS 는 솔루션 자체가 다 해주기 때문에 어려움.
어떤 방법을 사용하든 사용자는 LLM, 지시 사항, 도구를 제공함.
IaaS, Containers and framworks OSS LLMs and frameworks방식으로 에이전트 개발
Microsoft Agent Framework : 지능형 AI 에이전트를 개발하고 오케스트레이션 할 수 있는 오픈소스 엔진
: 확장성이 높음, 커뮤니티 주도 확장성 염두 설계, 엔터프라이즈 레디, 개방형 표준 및 상호운용성, 리서치 파이프라인
회사입장에서는 프레임워크가 발전함에 따라 자꾸 따라가다 보면 적자가 나기 때문에, 엔터프라이즈버전을 선호, 엔터프라이즈는 하위호환성이 있기때문에 강력한 엔터프라이즈 레디를 가지고 있음.
직접 코드 로 개발해야하는 상황이 있을때, Agent Framework를 쓰면됨.
= 1. 내가 짜기때문에, 제어권 확보 및 커스터마이징( 어떤 모델, 어떤 툴링, 어떤 데이터소스 사용 가능)
-
로컬 디버깅 및 테스트 ( 클라우드 의존성 없음. 선호하는 IDE에 따라 개발 가능)
-
이식성 ( 로컬 개발 환경에서 클라우드 종속성 없이 어느 클라우드 서비스로든 배포가능)
= SaaS, PaaS는 클라우드 종속성이 있을 수 밖에 없음.
Semantic Kernel + AutoGen
Microsoft Agent Framework
python,C#, java 지원
Semantic Kernel입장
하나의 SDK로 다양한 LLM 연결 가능
다양한 에이전트 시나리오 구현 가능(내부적으로 빌트인으로 구성되어있음.메소드 호출 방식으로)
다양한 Tooling 지원(MCP,A2A, AG-UI 등 다른 AI 프레임워크 지원)
DEMO:
step 6 : Arsfire를 통해 GUI로 프론트 백엔드 ui를 볼 수 있음.
