어디? 무엇?

Oct 27, 2020 ~ Oct 29, 2020
코엑스에서 사흘동안 진행되는 국제인공지능대전.

지난 12일부터 코엑스에서 사회적 거리두기 완화로 오프라인 행사가 재개되었다.
이에 괜찮은 IT행사가 있을까 살펴 보았고 두어 개 정도 건질 수 있었다.
AI분야의 동향을 살필 겸 친구들과 함께 AIEXPO에 참여하기로 했다.

// 시작은 두 명이었으나 여섯 명이 되었다!
// 어렴풋이 PyConKr2020 티셔츠가 보이는 것 같ㄷ....

부스 탐방

우리는 점심쯤 만나 식사 후 부스 탐방을 시작했다.
11시 10분쯤 끝나는 부대행사를 신청해놓아 그것이 끝난 후 11시 30분쯤 모였고
12시 ~ 13시 정도에 본격적인 관람을 시작하였다.

전체적으로 둘러보기에 앞서, 우리는 지인이 있는 부스에 인사를 하러 갔다.
@아띠미에게 박람회 관람 제의를 했을 때
그 친구가 속해있고, 나도 한 때 몸담았던 동아리의 회원 한 명이
이번 AIEXPO에 기업 참가로 부스를 운영한다는 것을 알게 되었다.
해당 부스에 인사 차 들려 제품에 대한 설명을 들었다.
...멋있었다. IoT 크으..☆ 나도 멋있고 싶다

우리는 몇 명씩 흥미에 따라 부스를 돌아다녔다.
돌아다니다 마주치면 또 subset이 달라진 채 헤어지기도 하고,
합병되었다 분할되었다 하며 시간을 보냈다.

곳곳에 흥미로운 체험 부스도 있었다.
선별된 데이터로 학습된 인공지능-바름이와 무분별한 데이터로 학습된 인공지능-다름이에게
각각 질문을 던져보며 어떤 답변을 하는지 들어보는 솔트룩스 부스가 기억에 남는다.
다름이에게 인사했다가 아줌마(...) 소리를 들은 친구의 반응이 참 재밌었다ㅋㅋ
바름이와 다름이에게 같은 질문을 던져도 그 학습 데이터 차이로
완전히 다른 성향의 대답을 하는 것을 보며
동일하게 학습시킨다고 해도 데이터 선별에 따라 시스템이 완전히 달라질 수 있음을 느끼고
한 편으로는 교육학을 공부하고 있는 한 학생으로서
아동 교육에 대해서도 생각해보는 계기가 되었다.

퓨처로봇 부스에서는 안내 로봇에게 간단한 질문을 던져 보았는데
부스를 돌다가 지나가는 길에 다시 보니 Windows 화면이 보이고 있었다..ㅋ...ㅋㅋ
컴공이거나 컴공과 유관한 이들로 구성된 우리 파티원들은 그것을 보며
"오... 이거 C언어로 구현했어......" 같은 소리나 하고 있었다.
...그래, 인정한다. 그런 소리나 하고 있던 건 @피터다.
로봇 카페도 잠시 가동을 멈추고 관계자 분들이 분주하게 무언가 처리하는 모습이 보였는데
역시 '시연하려고 하면 잘 안됨'은 비단 학교 수업에서만 있는 건 아닌 것 같다...ㅋ

퓨처로봇은 울주군청 안내로봇 납품업체라는데,
그래서인지 고 옆에 사진 부스에 울주군과 유관한 사진 프레임들이 있었다.
부스를 돌다가 그 언저리에서 마주친 우리 파티원들은
사진 부스가 있으니 사진 찍고 가자☆를 시전하였다ㅋ

// 거기 니들은 카메라 안보고 화면만 보는거야?

부대행사

코엑스 3층 D홀에서 진행되는 부스행사 외에도 E홀에서 진행되는 SUMMIT 부대행사도 참여했다.
나는 일단 부대행사 목록을 전체적으로 훑어본 뒤 요일과 관계 없이 흥미로운 부대행사를 탐색했다.
화요일 오전의 〈데이터 가치 중심 인공지능〉, 오후의 〈인공지능을 적용한 공정 자동제어 모델 개발 사례〉,
그리고 목요일 점심의 〈IT 운영 지능화를 위한 AI기술과 엑셈 “싸이옵스(XAIOps)”〉가 내 흥미를 끌었다.
〈인공지능을 적용한 공정 자동제어 모델 개발 사례〉는 주최측 사정으로 취소되어서 많이 아쉬웠다.
친구들과의 디코방에서 화요일에 참가하기로 결정하여
화요일에 부대행사 참여 후 부스를 돌고, 목요일에는 점심 때 들려서 부대행사만 참여하기로 했다.
// 이것이 서울살이의 매리트다. 서울에서 열리는 행사 참여 부담이 적다.
// 누구는 인천이나 춘천이나 수원 같은데서 박람회 하나 참여하러 오는데...

Day 1: 데이터 가치 중심 인공지능

오전에 〈데이터 가치 중심 인공지능〉이라는 주제의 SUMMIT을 신청해 놓아
@하찌와 함께 강연을 들었다.
참가 기업 중 하나인 씨에스리의 이춘식 대표님이 발표를 하셨다.

데이터 가치 중심 인공지능이 왜 필요한지, 무엇인지, 어떻게 할 수 있는지
Why, What, How의 관점에서 차례대로 발표해주셨다.

인공지능은 사람과 데이터가 중요하다는 이야기로 시작하여
적절한 데이터가 부족하여 제대로 된 AI 모델을 구축하기 어려운 상황,
bias가 심한 데이터로 인해 시스템 편향이 야기되는 상황,
적은 양의 input으로 많은 output을 기대하는 overfitting과 같은 상황을 근거로
왜 "Data Value Driven"이 필요한지 설명해주셨다.

그리고 기존 활용 데이터만을 사용하기 보다는
기존에 데이터로 존재하지만 처리/활용하지 못한 데이터나
더 나아가 수집하지 못한 데이터에 관심을 가질 필요성을 이야기했다.

어떻게 데이터 가치 중심 인공지능을 개발할 수 있는가에 대해서는
몇 가지 key point를 제시해주셨다.

• '계획 - 분석 - 설계 - 구축 - 테스트'의 기존의 방법론이 아닌
  '데이터 확보 및 검증 - 데이터 학습 - 서비스 개발'의 데이터 기반 방법론을 제시한다.
  '서비스 개발'은 기존의 방법론을 사용할 수 있지만 그 앞은 데이터 기반으로 진행할 필요가 있다.
• 데이터 구축 비용이 더 맣이 소요될 수 있음을 인지하고 데이터에 투자해야 한다.
  외부 유료 데이터라면 당연히 구입 비용이 들 것이고
  외부 무료 데이터 및 내부 데이터는 데이터 선택 및 개선 비용이 들 것이며
  외부와 내부 모두 존재하지 않는 데이터의 경우 신규 구축 비용이 들 것이다.
  이와 같은 데이터 구축 비용을 배제하지 말고 적절히 투자해할 필요가 있다.
• 임의로 handling하지 않은 raw 데이터로 신뢰성을 확보해야 한다.
  인위적으로 조작된 데이터의 학습은 왜곡된 AI 시스템을 야기할 수 있어
  가공되지 않은 날것의 데이터야말로 양질의 학습 데이터가 될 수 있다.
• 데이터는 채집부터 시작해야 한다.
  데이터 채집이란 데이터를 분석·설계·수집하고 시뮬레이션을 통해 검증하는 기술을 말한다.
  데이터가 표본으로서 적절한가,
  학습하기에 충분한 데이터가 채집되었는가,
  상호배타적이면서 MECE관점에서 채집되었는가 등을 고려하여
  전략적으로 데이터를 수집해야 한다.
• 데이터 감별이 핵심직업임을 인식해야 한다.
  데이터 감별이란 AI 학습을 위해 가치 있는 진짜 데이터를 판단하는 기술로,
  필요한 데이터의 특징을 정의하고 감별해야 한다.
• 데이터 생성 방식을 다양화해야 한다.
  시스템이 스스로 부지런히 데이터를 생성하도록 장치한다거나
  데이터 생성 인력을 적정수준으로 훈련시켜 단순화된 프로세스로 데이터를 채집한다거나
  신뢰성 있는 데이터로부터 파생 데이터를 자동 생성하여 학습 데이터를 확장하는 등
  시스템에만 의존하지 않고 적극적으로 데이터를 생성해내 경쟁력을 강화해야 한다.
• AI 팀에서 누구를 먼저 뽑을 것인가.
  연사는 data insight를 가진 데이터 과학자,
  그것을 handling하는 데이터 엔지니어,
  그리고 그것을 서비스로 만드는 모델링 및 알고리즘 개발자 순으로 우선순위를 설정하였다.

흔히 프로젝트를 마친 사람들이 후기에서 자주 하는 말이
데이터를 많이 확보했다면, 데이터가 좀 더 완벽했다면, 데이터를 처리할 시간을 더 확보했다면,
이런 'IF'에 대한 아쉬움과 한계점에 대한 이야기라고 한다.
마지막에 'IF'를 논하지 말고 처음부터 'IF'를 뗀 그것을 적용하길 바란다...라는 이야기ㅎ

연사님이 대표직으로 일하고 계신 기업 제품으로,
블록코딩으로 데이터 분석 탬플릿을 제공하는 bigzami에 대한 소개도 있었는데
how는 숨기고 what에 집중하는 솔루션으로,
"요즘은 인공지능도 블록코딩으로 개발할 수 있다" 같은 이야기를 종종 듣긴 했지만
실제로 블록코딩 기반의 데이터 분석 시연을 본 건 이번이 처음이라 꽤나 흥미로웠다.

Day 3: IT 운영 지능화를 위한 AI기술과 엑셈 “싸이옵스(XAIOps)”

부스는 화요일에 돌았고, 단지 이 SUMMIT 하나 참여하고자 코엑스에 들렸다.
AIOps란, Artificial Intelligence for IT Operations의 줄임말로,
IT 운영에 AI를 도입함으로써 운영을 보다 지능화·효율화하는 것이다.
jbyoo 교수님 수업을 들으며 DevOps라던가, 소프트웨어 운영 업무에 관심을 가지게 되었는데
운영 업무를 AI를 통해 자동화하는 AIOps에 대한 주제라 신청하게 되었다.
이 SUMMIT은 엑셈 신기술사업본부 AI팀의 김혜란 차장님이 발표를 하셨다.

시스템은 다양한 아키텍처를 이용하여 구현되며 점점 복잡해지고 있다.
이와 더불어 Event, Log, Metric 등의 운영 데이터도 폭증하고
이에 따라 이를 관리하기가 매우 복잡해지고 있다.
장애가 발생했을 때 어디에서 무엇 때문에 발생했는지 추적하는데 시간과 노력이 필요하다.
이런 상황에서 빠른 탐지, 빠른 조치를 하고
MTTRMean Time To Repair을 감소시키기 위해 AIOps가 필요한 것이다.

XAIOps는 엑셈Exem에서 개발한 AIOps 솔루션으로,
IT 인프라 환경에 Third-party solution이 구축되어 있다는 전제 하에
그 데이터를 끌어오는 것부터 시작해서
부하 예측, 장애 예측, 이상징후 탐지, 부하 패턴 분석 등의 작업을 수행한다.

그것의 핵심 기술은 다음과 같다.

• 실시간 부하 예측
  평소 데이터를 학습하여 현재 데이터로 미래 데이터를 예측한다.
• 미래 부하 예측
  수 개월에서 수 년치 일단위 수치 데이터와 특정 날짜의 데이터를 학습하여, 시스템 가용성 및 거래량을 예측한다.
• 부하 패턴 분석
  시스템이 매일 겪고 있는 부하 패턴을 파악하고 비슷한 유형으로 범주화하여 클러스터링 한다.
• 이상 탐지
  과거 데이터 기반으로 평소 데이터의 오차 범위를 벗어나는 경우 이상으로 간주한다.
  머신러닝을 통한 Dynamic Baseline 기반의 이상 탐지와
  딥러닝을 통한 Autoencoder 기반의 이상 탐지가 존재한다.
  전자는 날짜, 시간별로 정상 범위를 설정하여 이를 가이드라인 삼아 판단하고,
  후자는 입력과 유사한 출력을 내도록 학습시켜 현재 데이터가 과거에 비해 어느 정도 이상한지 판단한다.
• 이상 트랜잭션
  개별 트랜잭션 단위의 오류를 판단하고 이상 판단 기준이 되는 표준 통계 정보와 비교하여 시각화한다.
  (k-means clustering이 사용된다.)
• 상관/인과 관계 분석
  상호연관이 있는 유사지표를 자동으로 분석하여 추출함으로써 보다 빠른 원인 규명을 할 수 있도록 지원한다.
• 근본 원인 분석
  수행시간 지연 구간을 도출하여 연계된 시스템의 이상 지표를 분석하고 함께 추론하여 보고한다.
  기존의 운영 관리에서는 경험적으로 일일이 확인해야 했는데 그 시간과 노력을 줄일 수 있다.
• 희소 로그 분석
  평상시 대비 특이한 로그 패턴을 자동으로 추출한다.
• 이벤트 예측
  과거 장애 발생 시점 직전 이벤트 패턴을 학습하여 비슷한 패턴이 나타나면 장애가 있을 수 있다고 추론한다.

XAIOps는 정상 시와 장애 발생 시를 구분하여
장애 발생 시 빠르게 인지 가능하도록 근본 원인 분석 알림창을 연관 시스템 정보와 함께 띄워주는
AI기반 실시간 대시보드를 지원한다.
또한 사용자 정의형 대시보드를 통해 원하는 정보를 받아 볼 수도 있다.
실시간 모니터링뷰를 사용하면 현재 시스템 상태를 실시간으로 확인할 수 있다.

연사님은 기업과 금융권에서 XAIOps가 도입된 사례를 각각 소개해주셨다.
가장 큰 도입 효과는 신속한 원인 분석이 가능해졌다는 것이다.
기존에 오래 걸리던 장애 탐지 및 원인 분석을 보다 적은 리소스로 수행할 수 있게 된 것이다.

XAIOps를 통해 신속한 대응이 가능했다는 실제 사례처럼
이와 같은 AIOps 솔루션을 이용하면 프로젝트의 생산성이 눈에 띄게 높아질 것으로 보인다.

마치며...

너무너무 오랜만에 코엑스에 왔고, 너무너무 오랜만에 오프라인 행사에 참여했다.
오프라인 행사라고 해봤자 컨트리뷰톤 교육 밖에 없었는데...ㅋ
빨리 이 시국에서 벗어날 수 있었으면 좋겠다.
// 근데 그러면 또 이런 데 놀러(?) 다닐 시간이 없ㅇ...

화요일에만 옆에서 진행되는 컨퍼런스도 있었는데,
컨퍼런스 참여하며 점심시간에 부스 구경하고 다시 컨퍼런스로 돌아가는 구성으로 참여했어도 좋았을 것 같다.
무엇보다, @피터는 박람회도 좋아하지만 컨퍼런스/세미나 류를 더 좋아하기에...ㅋㅋ

요즘 이 분야의 발전도에 감탄하지 않을 수 없던 시간이었다.
인공지능, 빅데이터, IoT, ... 요즘 트랜드에 비해 그것에 대해 아는 건 별로 없었는데
정말 많은 방면으로 다양한 기술 및 솔루션이 개발되고 있구나 싶다.
뭐, 사실 당연한 얘기겠지만?ㅋ

다음 사이드 프로젝트는 인공지능과 유관한 주제로 기획 중인데
우리가 만들어낼 산출물도 유의미한 서비스가 될 수 있으면 좋겠다.