2024 데이터야놀자 참석 후기

Yeolsim's logs·2024년 6월 9일

개발일기

작년에 이어 올해 또 데이터야놀자 행사에 참석했다.

타임테이블은 아래와 같이 구성되었다.
다 들어보고 싶었지만! 동시간대에 3개의 세션이 진행되는만큼 가장 흥미로운 세션을 하나씩 선택해서 들었다.

들었던 세션 중 흥미로웠던 내용을 간단하게 정리해보려고 한다.

1.금융데이터 및 AI산업의 현주소와 미래 전망:기술,비즈니스 및 규제 관점

강연자:박대영님
세션 내용:

금융관련 AI&데이터 산업트랜드와 전망에 대한 전망적인 이야기를 나누어주셨다.

최근 금융권에서 AI와 데이터 산업은 지속적으로 성장하고 있으며, 이를 뒷받침하는 여러 법과 플랫폼들이 도입되고있다.

데이터 3법 개정 (2020년 8월)
2020년 8월에 개정된 데이터 3법은 '가명정보' 개념을 도입하였습니다. 해당 법 개정으로 인해 과거엔 기업이 데이터를 활용하기 위해 일일히 당사자의 동의를 받아야했다면, 이제 원본데이터를 가명처리한 후 당사자 동의 없이 바로 활용할 수 있어졌다. 금융회사들이 과거보다 유연하게 데이터를 분석하고 활용할 수 있는 계기가 되었다.
금융 데이터 거래소 (finDX)를 통한 데이터 사고팔기
금융 데이터 거래소(finDX)는 다양한 데이터 소유자와 데이터 분석에 대한 수요를 가진 사람들이 모이는 공적 플랫폼이다. 이 플랫폼을 통해 데이터를 기업간에 사고 파는 행위가 수월해졌다고 한다. 또한, 거래된 데이터의 송수신을 편리하게 하기 위해 데이터 허브 네트워크를 구축했다고 한다.
데이터 결합
데이터를 결합하여 새로운 시너지를 내려는 움직임이 많이 보이고 있다.
동일한 금융권 내 데이터결합보다 타 산업과의 데이터 결합이 늘어나고 있는데, 이는 데이터를 활용한 새로운 비즈니스 모델을 발굴하고자 하는 움직임으로 보인다.

익명 처리 기술 연구 개발
데이터 활용도를 높이기 위해 익명 처리 기술의 연구 개발이 활발하게 이루어지고 있다. 특히, 합성 데이터가 주목받고 있습니다. 합성 데이터는 원본 데이터의 통계적 특성 및 분포와 표본을 이용하여 만들어진 원본과 유사한 인공 데이터를 말하는데, 원본 데이터의 통계적 특성을 유지하면서도 원본 데이터를 보호할 수 있는 방법이다. 앞서 언급한 가명처리보다 한단계 더 높은 수준의 처리를 거친 데이터를 말한다.
이렇게 생성된 합성 데이터는 양질의 금융 빅데이터를 수집하여 비즈니스에 활용할 수 있도록 해준다.
금융권 AI도입 붐
chatgpt 이후 금융회사에서 핵심 업무에 AI를 활용하고자 자체적으로 개발하려는 시도가 증가하고 있다.
과거에는 단순 머신러닝 기능 탑재된 솔루션 도입 후 AI 키워드로 포장하는 식이 많았는데, 최근엔 실제로 핵심업무에 AI를 도입하려는 움직임이 많아지고 있다.
오픈소스 AI(라마,solar 등)
-망분리 없이 금융회사 내부망에 생성형AI를 구축할 수 있음
-대신 성능이 잘 안나옴,한국어 임베딩 모델 성능이 별로임
상용 생성형AI(네이버-하이퍼클로바, gpt4 등)
-성능이 오픈소스 AI보다 성능이 월등히 좋음
-서버가 미국에 있기 때문에 데이터가 국외로 반출됨(데이터 규제 쪽으로 문제 발생)

금융권에서 AI와 데이터 산업은 빠르게 발전하고 있으며,LLM을 시작으로 본격적으로 핵심기술에 AI기술을 적용하려는 움직임이 많이 보이고 있다고 한다.

2. 0원으로 시작하는 aws 마이그레이션

강연자:데이트팝 CTO`
세션 내용:
500만 서비스의 클라우드 비용을 0원으로 운영한 경험담을 풀어주셨다.

google cloud에서 AWS로의 마이그레이션 및 AWS에서 다양한 인프라를 구축하여 사용하면서 비용절약을 할 수 있는 여러 팁을 공유해주셨다.

1.최적화하기 (비용,인스턴스,네트워크)

비용최적화
-아래 두가지 비용 할인 모델 적극 활용하기

특징	약정 할인 모델 (Reversed Instance)	Saving Plan
약정 양도 가능 여부	가능	불가능
가용 영역 (Availability Zone)	특정 가용 영역에 지정해야 함	특정 리전 내 컴퓨팅 파워 사용량 약정
제품 클래스 (Product Class)	특정 제품 클래스 지정 필요	AWS Compute: 컴퓨팅 파워 사용량 약정 EC2 Instance: 특정 리전 내 특정 인스턴스 패밀리 선택 가능, 사이즈 및 OS 변경 가능 SageMaker: 머신러닝 사용량 약정
인스턴스 타입 (Instance Type)	지정한 인스턴스 타입과 일치해야만 할인 적용 가능	인스턴스 패밀리 내에서 사이즈와 OS 변경 가능
중도 철회 가능 여부	가능	불가능
추천 사용 사례	특정 가용 영역과 인스턴스 타입을 고정적으로 사용하는 경우	다양한 컴퓨팅 파워 사용량을 커버하고, 유연한 인스턴스 타입, 사이즈, OS 변경이 필요한 경우

인스턴스 최적화
-인스턴스 타입 선택시 g가 들어간걸 선택(ex.T4g)하는것이 유리함
-해당하는 인스턴스들은 AWS Graviton 프로세서를 사용하는데, 동일한 성능을 제공하는 다른 인스턴스보다 비용이 저렴하고 에너지 효율성이 높다고 한다.
네트워크 최적화
-aws는 인바운드 트래픽(클라우드로 들어오는)은 거의 무료지만 아웃바운드 트래픽은 매우 비싸기 때문에 아웃바운드 트래픽 최적화를 하면 비용절감에 도움이 될 수 있다.
-aws 서비스 내에서의 데이터 이동도 아웃바운드 비용을 청구하기 때문에 이 부분 주의하기!

2)비용 지원 프로그램 활용하기

managed service provider(msp업체)
-aws와 사용자를 연결해주는 벤더업체를 말한다
-기술 컨설팅,운영관리,클라우드 아키텍처 설계 지원 등 계약 내용에 따라 다양한 서비스를 지원해준다.
-기업의 클라우드 의존도를 높여 클라우드 사용비율을 높이기 위한 목적으로(?)비용 할인 프로모션도 진행한다.
startup migration
-타 클라우드 서비스에서 aws로 마이그레이션 할 경우 지원해주는 프로그램
poc프로그램:
-테스트해보고 싶은 aws기술이 있을 경우 poc프로그램을 통해 크레딧 지원받고 프로덕트에 적용해볼 수 있다.
https://pages.awscloud.com/hk-aiml-poc-program.html