🔗 AI가 인간을 대체한다고? 🤖 뇌과학자가 분석한 ChatGPT의 모든 것'조승연의 탐구생활' 채널에서 ChatGPT에 대해 '어떻게 잘 사용할 것인가?', '앞으로 어떻게 대처해야하는가?'라는 철학적인 접근으로 이야기를 나눴는데, 한번쯤 생각해봐야할 주제가 아닐

ChatGPT와 유사한 chat기반의 오픈소스 모델들이 최근 속속 공개되고 있다. (Dall-E 유료 공개 후, Stable Diffusion이라는 오픈소스가 등장한 것과 유사한 맥락인 듯)최근 LLaMA 65B를 4비트 양자화해서 개인 랩탑에서도 돌리던데(https&

ChatGPT, BARD, LLaMa 등과 같은 LLM은 다재다능합니다. In-context learning(ICL)의 성능을 증명한 GPT 모델의 등장으로 인해, 데이터 라벨링이 필요한 fine-tuning 방법론은 시간과 비용 측면에서 비효율적인 방법론이 되어버렸습

KoELECTRA로 유명하신 박장원님, EleutherAI에서 활동하시면서 Polyglot, olso등 개발하신 튜닙의  고현웅님, 토스의 고석현님, 이루다를 개발중이신 스캐터랩 이주홍님 등 NLP업계에서 오픈 소스 및 커뮤니티에 많은 기여를 해주고 계시는 분들이 스피

지난 글에서 RedisAI가 무엇인지 그리고 RedisAI와 FastAPI를 활용한 간단한 추론 서버를 구성해보았습니다. 하지만 운영환경에서 언제 늘어날지 모를(정말 언제 늘어날지 모른다고 한다..🥹) 트래픽을 감당하기 위해서는 확장성을 고려한 스케일 인/아웃이 가능

최근 팀에서 자체 NLU 모델을 개발하며 Multi-model Serving에 대한 수요가 생겨났습니다. 각 고객(에이전트)마다

NLP 업계를 보고 있자면 우리가 모두 알만한 내놓라 하는 기업들은 서로 앞다투어 거대언어모델(LLM)을 발표하기 바쁜 것 같습니다. 얼마 전 구글에서 공개된 PaLM(Pathways Language Model)은 GPT-3(1,750억개)보다 약 3배나 큰 파라미터(

Intro 이전 포스트에서 소개한 SentenceBERT를 어떻게 학습하는지 논문 및 sentence-transformers 공식 깃헙을 기준으로 몇 가지 방법을 알아보고 어떤 방법이 가장 좋은 성능을 내었느지 소개하고자 한다. 1. SBERT 학습 데이터 SBERT

그 동안 윈도우를 사용하며 맥으로 갈아탈까 고민하다가 남이있던 이유가 바로 WSL(Windows Subsystem for Linux) 때문이었다.사실 윈도우에서 개발을 한다는 것은 시간적, 정신적 에너지 소모가 크다고 생각했다. 윈도우에서 개발 후 개발서버에 테스트 및

Intro 문장 간(혹은 문서 간) 유사도 분석에서 좋은 성능을 내고 있는 Sentence-BERT에 대해 알아보려고 한다. 논문 원제는 Sentence-BERT: Sentence Embedding using Siamese BERT-Networks이며, 최근 성능이

지난 포스트(Transformers와 Tensorflow를 활용한 BERT Fine-tuning)에 이어, 이번에는 HuggingFace Model Hub에 학습된 모델을 포팅하는 방법에 소개하고자 한다.HuggingFace Model Hub는 코드 공유 저장소인 gi

이번 포스트에서는 🤗HuggingFace의 Transformers 라이브러리와 Tensorflow를 통해 사전 학습된 BERT모델을 Fine-tuning하여 Multi-Class Text Classification을 수행하는 방법에 대해 알아보고자 한다. 특히 이번

docker service 시작sudo service docker start동작중인 컨테이너 확인docker ps정지된 컨테이너 확인docker ps -a컨테이너 삭제docker rm \[container id]복수의 컨테이너 삭제docker rm \[container

기존 링크드인의 데이터 처리 시스템은 각 파이프라인이 파편화되고 시스템 복잡도가 높아 새로운 시스템을 확장하기 어려운 상황이였음기존 메시징 큐 시스템인 ActiveMQ를 사용했지만, 링크드인의 수많은 트래픽과 데이터를 처리하기에는 한계가 있었음이로 인해 새로운 시스템의

Intro지난 포스트인 Sequence-to-Sequence with Attention에서 sequence-to-sequence 모델의 경우 RNN 계열의 순환 신경망을 사용함으로 인해 입력 시퀀스가 길어질 수 록 하나의 Context Vector에 모든 정보를 담기

Intro최근 몇 년간 Transformer 모델의 등장 이후 BERT, GPT, RoBERTa, XLNet, ELECTRA, BART 등과 같은 언어 모델(Language Model)이 매해 새로운 SOTA를 달성하며 등장하고 있다. 특히 언어모델의 경우 self-s

Intro최근 NLP의 downstream tasks 중 하나인 Summarization분야에 "PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization"이라는 새로운 논문(멋진 이

IntroInflearn의 딥러닝 컴퓨터 비전 완벽 가이드를 수강하며 공부 목적으로 정리한 글입니다.Classification(분류) : 이미지에 있는 object가 무엇인지만 판별, 위치 고려 xLocalization(발견) : object 판별 및 단 하나의 obj

Intro지난 포스팅(Autoencoder와 LSTM Autoencoder)에 이어 LSTM Autoencoder를 통해 Anomaly Detection하는 방안에 대해 소개하고자 한다. Autoencoder의 경우 보통 이미지의 생성이나 복원에 많이 사용되며 이러한

Intro대표적인 자기 지도 학습인 Autoencoder와 Autoencoder에 LSTM cell을 적용해 시퀀스 학습이 가능한 LSTM Autoencoder에 대해 소개한다. 이후 다음 포스팅에는 LSTM Autoencoder를 통해 미래에 발생 할 고장이나 이상신