혼공 11기를 돌아보며
2년 전 아이에게 보여주려고 사둔 책을 펼쳐보지도 않다가
혼공 11기를 신청하고 열어보았다.
초보용 책은 어떻게 쓰면 될까 구상도 할겸
시작한 11기 학습단과 혼공R이.
초보용이라서 쉬운 게임하듯 매주 미션을 완성하며,
어느새 6주 미션을 마무리하게 되었다.
2024년 첫 한 달이 휘리릭 지나갔다.
첫 달에 큰 프로젝트도 하나 끝나서
올 한해 좋은 일이 많이 생길 듯 하다.
올 여름 혼공학습단 12기에는 뭘 해볼까?와
한빛 미디어 책을 살 수 있는 포인트를 받으면 어떤 책을 살까? 하는 즐거운 고민 중이다.
혼공분석단 9기와 10기에 구매한 책들을
조카에게 선물로 보냈더니,
좋은 이모가 되었다는 것은 덤.
11기 회고의 시간
유종의 미 거두고 간식까지 덤으로 받읍시다.
11기 활동 회고 남기기 관련 구글 폼
혼공학습단 11기 활동 회고 ✍️
✅회고 기간: 2024년 2월 5일 월요일부터 2월 18일 일요일까지
6주차 학습을 마치고 회고를 시작해 보세요.
✅이벤트 참여 방법
1️⃣미션을 진행했던 SNS 또는 온라인 서점(도서 구매처)에 혼공학습단 11기 활동 회고를 올려주세요.
2️⃣아래 양식에 맞게 개인정보와 작성한 회고 링크를 제출해 주세요.
3️⃣2월 넷째 주, 참여하신 모든 분께 소정의 선물을 보내드립니다.
✅ 이벤트 관련 문의는 event@hanbit.co.kr로 보내주세요.
(페이스북 DM은 확인이 조금 늦을 수 있습니다.)
혼공족장님과 11기 여러분 수고 많으셨어요!
아프지 마세요!
아직 우리에게는 프로젝트 챕터들이 남아 있습니다~
혼공족장님의 댓글 펌:
🫶혼공학습단 11기 완주 대성공🫶
설 연휴는 잘 보내셨나요? 5주차 확인하고, 연휴 끝나고 왔더니 열흘이 훌쩍 지나가 있네요. 이번 11기는 약간 쉬어가는(?) 타임이었지만 그래도 끝까지 함께 해주셔서 감사합니다! 다음 기수에 희정님께서 하실만한 난이도 있는 책이 있을까 모르겠지만, 곧 네트워크 책두 나오니까요. 한 번 더 뵐 수 있었음 좋겠습니다 ㅎㅎ
사전에 공지 드린대로 마일리지 2만 점 적립을 위한 ID 제출을 요청드립니다. 두근두근 어떤 책으로 바꿔먹을지 고민하며, 족장이 준비한 작은 설문에두 답해주시면 감사하겠습니다. https://forms.gle/iPo3oTrCWtyahYoe8
<더 뜨겁게 사랑할 여름에 만나요>라는 노래를 들으며, 12기에서 또 만나요!
AI 관련 정보 업데이트하기
fine tuning / LoRA 실습으로 나온 노트북
RAG에 관한 X포스팅
Some free trial models here:
https://beta.dreamstudio.ai/generate
https://www.midjourneyai.ai/free-trial
But feel free to use anything you have access to!
A fun alternative tool for trying out various different artistic styles in image generation (doesn’t work very well but it’s fun for brainstorming): https://huggingface.co/spaces/multimodalart/LoraTheExplorer
GPT-2, nano-gpt, and GPT-3 are models of varying sizes and capabilities. GPT-2 is a large-scale language model, nano-gpt is a lighter version of GPT-2 aimed at devices with limited computational resources, and GPT-3 is a massive and highly advanced language model with superior performance and comprehension abilities
https://becominghuman.ai/gpt-2-gpt2-vs-gpt-3-gpt3-the-openai-showdown-71bce28fd431?gi=7225fc82fb83
The output of the final transformer block is passed through a layer normalization.
A linear transformation (matrix multiplication) is applied without a bias.
This transformation converts the column vectors from length C to length nvocab, producing scores for each word in the vocabulary. These scores are referred to as "logits," which are the logarithm of the odds for each token.
To convert logits into probabilities, a softmax operation is applied. This assigns a probability to each word in the vocabulary for each column.
In this model, the probabilities heavily favor the correct answer since it has effectively learned how to sort three letters.
During the model's time stepping process, the last column's probabilities are used to determine the next token to add to the sequence.
The next token is chosen by sampling from the distribution, randomly selecting a token based on its probability. Alternatively, the token with the highest probability can be chosen.
The "smoothness" of the distribution can be controlled using a temperature parameter. Higher temperatures make the distribution more uniform, while lower temperatures concentrate it on the highest probability tokens.
To adjust the temperature, the logits are divided by the temperature parameter before applying the softmax, ensuring that larger numbers are closer together and reducing the impact of exponentiation in the softmax.
These details provide insights into the inner workings of the model and the process of generating probabilities for token selection in sequence generation tasks.
https://bbycroft.net/llm
