GPT

'23년 ChatGPT 광풍과 함께, 작년부터 진행하던 Vision 프로젝트들이 엎어지고 GPT 관련 보고와 시장조사를 주로 하게 되었습니다. 보고서와 시장조사만 보다 끝내기보다는 GPT fine tuning 을 진행해보고 이에대한 기록을 남겨보자 합니다.

OpenAI 는 GPT 모델에 대한 fine-tuning 을 PaaS 형태로 제공해줍니다. 기본적으로 공식 Documentation 에서 사용방법에 대해 상세히 소개하고 있으며, 본 기록은 이를 따라하면서 경험한 내용입니다.OpenAI Official Documenta

앞선 포스트에 이어 준비된 데이터를 가지고 fine-tuning 을 진행합니다.fine-tuning 은 다음의 명령어로 수행 가능합니다openai api fine_tunes.create -t "./데이터.jsonl" -m 모델이름 --n_epochs 에폭수외에도 lea

뉴런을 모사한 인공뉴런으로 구성된 딥러닝 모델에 있어서의 "기억" 은, 어쩌면 인간의 뇌에서 기억하는것보다도 더 추상적일지도 모르겠습니다. 인간의 기억과 딥러닝의 기억을 비교해서 주관적으로 해석해본다면 다음과 같습니다.

GPT는 trainsformers 의 decoder 를 사용한 autoregressive model 로서, 그 학습은 unsupervised learning, 즉 비지도 학습을 통해 수행됩니다. Transformer decoder 는 입력된 정보로 부터 sequence

in-context learning 프롬프트의 내용만으로 하고자 하는 task 를 수행하는 작업입니다. 말 그대로 prompt 내 맥락적 의미(in-context)를 모델이 이해하고(learning), 이에 대한 답변을 생성하는것을 의미합니다. 즉 in-context

GPT 의 in-context learning 은 HMM 모델로서 모델의 weight update 가 없음에도 그 inference 과정 자체를 하나의 학습 과정으로 볼 수 있었습니다. 즉 prompt 행위 자체가 어쩌면 GPT 모델에 대한 optimizaiton 을

🐰 Dongyoung:gpt 학습에 있어 pre-train, fine-tuning, in-context learning 을 설명해줘🦄 ChatGPT:GPT (Generative Pre-trained Transformer)는 대표적인 언어 모델 중 하나로, 전체적인

최근 저희 팀에서는 GPT 의 fine tuning 에 앞서 GPT 의 In-context learning 을 활용하여 별도의 fine tuning 없이 활용하는 방법도 시도해보고 있습니다. 이러한 방법은 여러모로 장점도 많고, 실제로 잘 동작하는것으로 평가하고 있습니

여러 매체를 통해 GPT 의 성능이 그 크기에서 유래한다고 알려진것과는 상당해 다른 결과입니다. 1B 이 결코 작은 모델이 아니지만, 국내외적으로 많은 기업들이 거대모델의 기준을 175B 으로 잡고 홍보합니다. 위 그래프의 내용을 반영한다면, 홍보하는 그 모델이 위 그

OpenAI를 창립하고, 지금의 ChatGPT 를 만든 IIya Sutskever 의 인터뷰 내용 요약입니다. 내용이 좋아서 요약해보았습니다. GPT 개발자라 그런지 내용도 좋지만 언어적 표현도 상당히 좋은것 같아 한번 보시는것 추천드립니다.

지난 Chatbot (https://velog.io/@dongyoungkim/GPT-in-action-1.-chatbot) 에 이어 검색엔진에 대해 이야기해보고자 합니다.이번 포스트에서는 OpenAI 의 GPT-4 를 사용하는 Microsoft Bing ...