안녕하세요! 오늘은 데보션영의 지원을 받아 참여한 제 37회 IT 인프라 & 네트워크 전문가 따라잡기 'N.EX.T' [정기 기술 세미나] 후기에 대해 간략히 써보려합니다!
일정상 앞 세션은 듣지 못해서 뒤 2세션에 대해서 간단히 남겨볼게요!
1. 한눈에 보이는 하이브리드 클라우드(메가존클라우드 김동균님)
첫 세션은 요즘 제일 핫한 클라우드에 대한 이야기 였습니다.
저도 이번 프로젝트를 진행하면서 클라우드 서비스를 처음써보았는데 신기하고 효율적이더라고요!
우리가 클라우드를 쓰는 이유는 로컬에 모든것을 저장하지 않고, 탄력적으로 사용할 수 있기 때문이죠~
세션의 핵심 내용은 하이브리드와 멀티 클라우드는 다르다! 였습니다.
하이브리드 클라우드의 핵심은 운영 방법(동일 워크로드)의 변형이 없어야 한다.
멀티는 두개 환경이 달라서 속도를 보장 할 수없다. (운영자, 운영방식이 다르기 때문..!)
그리고 하이브리드 클라우드는 다음과 같이 구성 / 사용된 답니다!(저는 아직 초심자여서 하나도 ^^ 모르겠지만..ㅠ)
하이브리드 클라우드를 사용하는 법 → VM과 컨테이너
VM으로 모든것을 동일하게~
container을 마이그레이션을 편하게~
확장도 다음과 같이 이루어 진다고 합니다!
우리는 다음과 같은 자세로 준비 해야겠죠?😉
2.엔터프라이즈 LLM을 위한 최적의 인프라스트럭쳐와 데이터(한국 오라클 김태완님)
마지막 세션은 오라클이 어떻게 LLM을 대하는지 말씀해 주셨습니다. 앞 세션들과는 다르게 제 분야여서 가장 집중해서 듣고, 그만큼 많이 이해할 수 있었던것 같습니다.
오라클은 LLM 후발주자이며 이때 우리는 어떻게 대처해야할지 고민을 많이 했다고 하셨는데요.!
"우리는 관계형 디비, 클라우드 업체이다. 선택과 집중을 통해서 선두 주자와 협업할것!"이라고 하시며 다음 세가지를 말씀해 주셨습니다.
- 오라클은 자체 LLM을 개발하지 않습니다.
- Cohere, Meta를 활용한다.
- LLM&HUMAN을 위한 DataBase를 개발한다.
오라클은 늦은만큼 시중에 나와있는 모델을 활용하신다 했습니다. 그중에서도 커머셜 LLM, 엔터프라이즈를 위한 Generative AI에 적합한 가격, 비용, 성능 효율성 제공하는 Cohere과 오픈 LLM, 이미 널리 사용되는 Mete의 Llama를 사용해서 완전 관리형 LLM 서비스: Generative AI를 제공한다고 합니다.
또한 세션중에 흥미로웠던 또 다른 내용 : LLM과의 커뮤니케이션
파인튜닝과 평소 gpt를 사용하면서도 "어떻게 전달해야 잘 이해할까?"라는 프롬프트 고민을 많이 했는데 이에 본질적인 이야기를 해주셨습니다.
인간은 육하원칙에 기반해서 말한다면, LLM은 다음 6가지를 지켜야 한다고 하더군요.
다음 예시도 보여주셨습니다!
이번 프로젝트에서도 프롬프팅을 했는데 정말 어려웠는데,, 다 끝나고 나니 얻어가는 꿀팁 ^~^
다음이 아키텍쳐 입니다.
DB는 다음과 같은데 보통 Keyword, Vector 2가지를 운용한다고 해요. 하지만, 벡터는 고유명사에 대해서 약한 치명적인 오류가 있습니다.
ex) 삼성전자 (주)삼성전자 삼성 전자
뿐만 아니라 자연어 검색, hybrid 검색또한 할 수 있는 하나의 DB를 사용한다고 합니다.
(P.S. 참고로 마지막에 사람이 많이 빠진상태에서 경품추첨을 했는데,,, 분명 70명 계셨고 50개 정도 준비되어 있었는데,, 저는 못받았답니다 ㅠ)
