읽은거 간단하게 정리중 (너무 추워서 손시려워서 타자가 안쳐짐)deepseek R1deepseekmath (grpo만)deepseek v3 (학습만 간단히)여기선 학습 파이프라인을 소개하면서 자기네들이 reasoning 학습시킬때 적용한 여러 가지에 대해 설명함o1,

신년목표로 1\. 면허따기2\. 일본어 자격증 따기를 잡았다. 공부하다보니 재밌기도 하고...근데 생각보다 쓰면서 하자니 지하철 타면서 하기에 좀 한계가 있다. 원체 디지털 인간이기도 하고, 겸사겸사 agent 공부도 하고, 기타등등으로 신년 프로젝트 달성일단 필요한

아무리 집에서 언어모델을 써 보고 싶어도 GPU가 없다! 이래저래 해 보고 싶은 것은 많지만 서버가 없어서 aws를 뭐 어떻게 해야 하나 생각하던 차에 좋은 게 나왔다.공개 모델을 pc에서 실행할 수 있도록 하게 한다! (이 컴퓨터 지금 롤도 제대로 안돌아간다는 걸 감

모델의 자신감 올려주는 방법 (실제로 confidence라는 단어를 사용했다)학습 프레임워크"자신감이 없다(확신이 없다)"를 "...때문에 자신감이 떨어졌습니다.." 라고 자연어로 표현한다이 논문에서 말하는 모델의 자신감이란 응답의 정확성에 대한 모델의 신뢰도를 뜻한다

숨겨진 의미를 뜻하는 노드의 연결인 '네트워크' 사용. 각각 노드값과 노드 사이의 연결 상태 등을 통해 값을 도출한다.숨겨진 패턴 인식에 능하다정보가 네트워크상에 퍼져있다. = 네트워크를 아무리 쳐다봐도 각각의 요소가 뭘 뜻하는 지 이해할 수 없음.학습을 통해 노드값과

data contamination: 학습데이터에 테스트 데이터가 꼈음LLM의 경우 수없이 많은 공개데이터를 가지고 학습을 한다(특히 PLM때). 보통 테스트 데이터는 학습에 쓰지 않는 것이 정석이지만, PLM같은 경우 최대한 그 언어에 대한 정보를 많이 넣어야 하기 때

이 논문에서는 한 번에 여러 토큰을 생성하게 해서 모델이 로컬 패턴을 더 잘 볼 수 있게 함과 동시에 생성 가속화를 할 수 있게 한다.기존의 메두사와 상당히 유사한데, 메두사에 있던 tree-based attention을 없애고 더 간단하게 구현되었으며, 생성 코스트도

이 논문은 코드를 수정하거나 새로운 기능을 추가하는 등의 작업을 자동화하는 모델에 대한 내용이다.일반적으로 코드 작성 시 llm을 사용할 때 보통 코드를 짜주거나 단순 개선 등에 이용되는데, 이 논문은 그와 다르게 소프트웨어 유지보수 / 업데이트에 필요한 개선 자동화를

애플에서 드디어 숨겨뒀던 LM을 공개했다(아직은 모델 말고 논문만) 무려 데이터 및 실험정보가 담긴 논문을! 신나서 헐레벌떡 들어왔습니다이 논문에 나오는 LM은 사실 시리를 위한 모델이라고 생각된다. 첫 인트로덕션부터 Human speech에서는 대명사를 사용하는데 이

퇴근하고 전화하면서 이런 얘기가 나왔다. 챗지피티한테 욕을 시킬 수 있어?ChatGPT는 강력한 sanitizer가 붙어서 욕을 잘 하지 못한다고 알려져 있다. 그러나 과연 진짜로 불가능할까? 언어모델이라 이리저리 우회시키면 할 가능성이 높다. 모델은 가장 성능이 높은

작년 말쯤에 영어권 llm leaderboard에서 인기를 엄청 끌었던 방법이 있었는데, 바로 model merge이다. 앙상블이랑 다른 점은, 앙상블은 큰 패러미터를 가지면서 실제 실행하는 패러미터를 기존 모델만큼 유지하지만 merge는 애초에 패러미터를 하나로 합쳐

디컴파일이란 기계어를 사람의 코드로 번역하는 과정이다.예전에 학부 시절에 잠시 어셈블리를 배웠던 적이 있는데, 이 어셈블리 코드로부터 고수준 코드(파이썬, C, C++같은)로 변환하는 과정을 디컴파일이라고 한다.예-전 학부때 배웠던 것을 떠올려 보자면 원래 코드는 다음

def encode(code: str): code = code.replace('B return codedef solution(m, musicinfos): answers = \[] m = encode(m) for idx, musicinfo in

block merge 시 병합을 위한 전송 속도 딜레이를 없애기 위해 ring형태의 아키텍쳐 사용자기가 가지고 있던 local block의 key value값을 자기 다음 device에게로 넘긴다.name: Ring Attention with Blockwise Tran

현재 long context에 쓰이고 있는 RoPE - flexible context enlarging벡터 회전을 활용한 position encodingname: RoFormer: Enhanced Transformer with Rotary Position Embeddi

해야 할 것은 두 가지. 1. K진수로 변환하기 2. 소수 구하기.따라서 다음과 같이 큰 골자를 짠다.여기서 각각 convert와 is_prime을 짜 준다.K진수 변환의 로직은 간단하다. n이 0이 될 때까지 계속해서 k로 나누며, 그 몫을 str에 붙이면 된다.최종

문제 설명 In Pascal's triangle, each number is the sum of the two numbers directly above it as shown:   Example 1: Input: rowIndex = 3 Output: [1,3,

name: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arenadate: 23.06code: https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judgehttps

단순하게 계속 연산해 나가면 된다. 만약 N번째 row의 파스칼 삼각형 row를 계산하라고 하고 메모리 제한을 빡빡하게 뒀으면 조금 더 방법을 고민해야했을수도...직전 row의 값을 copy한 다음 앞에 0을 붙여 주면, prev\[i] + prev\[i+1] 값을 인

종류를 가장 줄이기 위해서는 최대한 많은 귤이 속해 있는 종류를 먼저 없애면 된다. 따라서 간단하게 그냥 정렬한 뒤 하나씩 없애주면 된다.처음에는 단순히 pop을 썼는데, 이렇게 하니 실행 시간이 오래 나온다. 리스트 left pop을 하게 되면 파이썬 리스트 구조상