최근 나타나는 새로운 기술 'Prompt Engineering'을 따라 'LMOps'도 주목받기 시작했습니다. 'LangChain'이란 무엇일까요? 그리고 LangChain을 사용하면 어떤 기능을 할 수 있을까요? 이러한 궁금증을 해결해 줄 몇몇 글들을 시리즈로 준비하

마지막 네번째 세션은 ChatGPT 어플리케이션을 직접 만들어 보는 내용으로, 업스테이지의 김성훈 님이 진행하셨습니다. 이전엔 OpenAI API가 있다는 것 정도는 알고 있었지만, 이걸 이용해서 뭘 만들겠다는 생각은 못했네요 ㅠㅜ 이번에 챗봇, 플러그인 만드는 것도

세번째 세션은 AutoGPT에 대한 내용으로, 업스테이지의 김상훈 님이 진행하셨습니다. AutoGPT는 개인적으로 테스트용으로 잠깐 사용해 보았습니다. 간단한 목표로 'Fast API 프레임워크를 이용하여 API 서버를 만들어주세요'라는 요청을 전달했을 때, 무한루프가

Intro 이번 회차는 MS의 Copilot 개발팀에서 일하고 계신 Hanna님이 진행해주셨습니다. ChatGPT의 프롬프트에 대해 알아보고, 실습 코드와 함께 ChatGPT API부터 LangChain까지 설명해주셨습니다. 1. Prompt Engineering 프

저번에는 GPT-3가 더 커짐에 따라 few-shot learners 능력을 가지게 된다는 것까지 내용을 옮겨적었다. GPT-3에 대해 더 적자면, In-context learning능력으로 이전에는 fine-tuning이 필요했기 때문에 태스크 마다 학습해야하는 번거

요즘 ChatGPT가 유행하고 있다! 또한 GPT를 이용한 재밌고 신기한 기술들이 정말 많이 발표되고 있다. 여러 분야의 상담 서비스를 위한 챗봇, Copilot, AutoGPT, k8sgpt, ChatGPT Plugin까지... (성경을 학습한 BibleGPT도 있

Intro ES - values.yaml Kibana - values.yaml 배포하기 테스트 Outro

회사 팀 내에서 쿠버네티스를 사용하고 있지만, 많이 뒤쳐지고 있다는 생각이 들었다. helm을 이용하여 쿠버네티스 상에 플랫폼을 배포한다는 것만 알고 있고, helm이 어떤 것이고 왜 쓰는지, 어떻게 쓰는지 간략하게라도 써볼 필요가 있을 것 같다.chatGTP에 물

linux에서는 ZIP CLI를 이용해서 데이터 압축이 가능하다. 하지만, 대용량의 경우 시간이 오래 걸릴 수밖에 없다. (1TB의 데이터를 압축하려는 데에 예상시간이 12시간 이상이었던 걸로 기억한다...) 이렇게 하나의 작업 과정이 오래 걸리게 되면, 쉽게 전후 과

0. Intro 회사 내에서 쿠버네티스를 이용한 자동화 프로젝트를 다루면서, Linux를 사용할 기회가 많이 생겼다. 아무래도 내가 Linux를 얉게 알고 있다보니, 프로젝트를 진행하면서 막히는 경우가 많이 생겼다. 특히, 도커 이미지가 쿠버네티스(with kube

방향을 정한 상태로 확신을 가지고 달리다보니, 지친다는 느낌은 눈에 띄게 줄어들게 되었다. 요즘은 혹여나 방향이 조금 틀어지지 않았나 걱정만 조금 되는 편이다. 또한 방향을 설정했다면, 이제는 나아가는 속도 또한 개선이 필요하다고 생각한다.다시 한번 더 회고글을 쓰면서

기술 면접에서 이러한 질문을 받은 적이 있다. "API 제작해본 경험이 있을까요?"백엔드 경험이 거의 없던 나는 역시 '아니오'라고 대답할 수 밖에 없었다.(Elasticsearch의 CRUD API를 이용한 데이터 조회 경험이라도 말해볼 걸 그랬다...)간단한 API

DataBase DB(Database)란? 일정한 규칙을 통해 구조화되어 저장되는 데이터 모음이다. 여기서 말하는 구조를 Schema라고 하며, DB를 관리하는 시스템을 DBMS(Database Management System)라고 한다. DBMS 내에서는 정의된 Qu

데이터는 네트워크 속에서 어떻게 요청하고 받는 것일까? 대부분의 네트워크는 TCP/IP 프로토콜을 따른다. 프로토콜(Protocol)이란 일종의 약속, 규약이다. 즉, 데이터가 어떻게 처리되고 어떤 형식으로 보내질 지에 대해 사회에서 정한 규칙이라고 봐도 될 것 같다.

0. Intro 지난번에는 Ray를 이용하여 컴퓨터 한대(4개의 CPU)로 병렬 처리를 해보았다. 속도는 빨라졌다고 하지만, 수만개의 데이터를 처리하는 데에 턱없이 부족해보인다. 그래서 이번에는 GCP 내에서 Ray의 Cluster 분산 처리를 해보기로 하였다. 1.

0. Intro 이전 회사에 있었을 때, 몇 만 장의 이미지와 그에 대한 라벨링 데이터를 처리하면서 속도가 너무 낮아 애를 쓴 적이 있다. 이때부터 파이썬의 성능 개선 필요성을 느끼고 있었다. 그리고 앞으로 AI Engineer로 일하면서 python을 많이 사용하게

0. Intro 이전까지 Vision 관련 데이터 및 모델만 다뤄왔다. NLP에 대해서도 궁금한 점이 많이 있었지만, 공부해볼 기회가 따로 없었기에 미루고만 있었다. 그리고 얼마 전에 관심 있는 회사에서 NLP관련 과제 테스트를 요청했고, 드디어 NLP 공부할 기회가

대중 교통을 타거나 또는 오랜 시간 기다려야할 때, 시간이 아깝다는 생각을 많이 한다. 그래서 책을 사서 공부해보기로 하였다.어떤 책을 읽는 게 좋을까? 어느 회사 면접에서 '\~~데이터를 위한 파이프라인은 어떻게 설계해야할까요?' 라는 질문을 받았었다. 지금까지는 기

udemy hadoop 강의에서는 Virtual Machine에 Linux 이미지를 올려 실습한다. 여기에 필요한 건 8GB 이상의 RAM 이라는 점이다... 하지만 내 노트북은 딱 8GB짜리라 돌아가진 않고, Mac의 경우엔 M1을 지원하지 않는다.강의를 그냥 들어볼

이전 시간에 Spark에 대해서 알아보았고, Spark의 데이터 구조로 RDD, Dataframe, Dataset이 있다는 것을 배웠다. 각각은 어떤 형태로 되어 있으며 어떻게 조작하는 것일까?RDD의 의미 Resillient Distributed Data를 해석하자면