네이버 부스트캠프 AI NLP

올해(2024년) 2월, 졸업하고 지난 상반기에는 적극적으로 구직 활동을 했다.대략 60개 회사에 지원하고, 서류 통과는 3개, 면접은 1번 봤다.구직 활동을 하면서 실제 프로젝트 경험이 부족하다고 느꼈다.특히 나는 음성, 특히 음악 AI 모델을 위주로 공부해 수요가

torch.stack(): torch.cat()은 dim에 따라서 텐서를 이어붙이는(concatenate) 반면, torch.stack()은 같은 크기의 텐서를 쌓아 고차원의 텐서를 만든다.torch.empty(): 초기화 되지 않은 텐서 생성 → 초기화 시 리소스를

배운 점 새로운 키워드 torch.Tensor.expand() 인사이트 view 메소드는 메모리가 연속적으로 할당된 경우에만 사용이 가능함 → 슬라이싱을 한 이후에는 메모리 연속성(contiguous)이 깨진다. reshape은 유연하지만 성능 저하됨 \*

최대(최소) 가능도 추정: 최대 가능도 함수(Maximum Likelyhood Function)를 베이즈 정리로 통해 구하고, 각 모수에서 가능도(조건부 확률)을 구하는 과정 → 로그 가능도 함수를 통해 엔트로피 함수를 유도할 수 있다.개발자에게 '앎'이란?: 개발자(

Kaiming Initialization: 논문 리뷰해볼 것GPU 가속 코드를 작성할 때, GPU에 넣을 객체와 아닌 객체를 잘 분리해야 한다.torch.nn.parameter.Parameter는 제네레이터 반환한다. .item()은 스칼라 값을 가져오고 .data는

피셔 정보량: 표본이 모수를 추정하는데 기여하는 정도. score function의 분산 혹은 negative log likelihood의 expected Hessian으로 정의된다.ReLU를 사용한 레이어에서 다음 특징을 만족한다.원래 논문에 소개된 카이밍 초기화는

기존 소프트웨어 배포 과정과 유사배포 내용에 따라 모델 매개변수 배포, 직렬화 객체 배포, 브라우저 배포 등으로 나눌 수 있다.배포 위치에 따라 사용자 기기 배포, 서버에 동적 배포, 컨테이너 배포, 서버리스 배포, 모델 스트리밍 등으로 나눌 수 있다.사용자 요청에 따

closed-form 최소 제곱법KL 분산: 크로스 엔트로피와 유사함, asymmetric, 분포에 따른 가중치를 제거한 개념(보완 필요)Define-and-Run vs Define-by-Run: 계산 그래프와 관련됨. 전자가 클래식한 컴파일 패러다임, 후자가 동적 생

Ridge Regression은 <span style="color:- 빠르게 여러 번 훑어보는 것도 좋은 방법일 수도?github에서 브랜치 생성 후 파일을 옮기는 작업은 <span style="color:- RNN/LSTM/GRU/seq2seqseq2seq

ViT는 진짜 무겁다. 처음 돌리는데 epoch 1번 반복하는데 10분이 넘게 걸린다... AI는 하드웨어 혹은 인프라 싸움...?트랜스포머 리뷰! 인코더: 셀프-어텐션(Q=K=V) + 피드포워드(렐루), 디코더는 미래 정보를 반영하지 않기 위해 look-ahead 마

쿠버네티스: 독립적이고 조합 가능한 프로세스들의 집합오케스트레이션: 프로세스들이 플로우를 생성오늘은 여유롭게 지낼 수 있었다.오후에 다른 사람들과 이야기를 하며 스터디 운영 방안 인사이트를 얻었다.스스로 할 일을 찾지 않았다.

효율적인 시각화 원칙(Separability): 위치 + 색상(Fully separable), 크기 + 색상(Some interference), 길이/너비(significant interference), 빨강 + 초록(major interference) 등...범주형

시계열 데이터의 성분 분석 방법Additive model: 추세 + 계절성 + 주기 + 노이즈 → 데이터들이 독립적일 때 유리Multiplicative model: 추세 계절성 주기 + 노이즈 → 데이터들이 서로 종속적일 때 유리시계열 데이터 전처리Smoothing

두런두런 시간에 영감을 받아 앞으로 회고를 일기 방식으로 적으려고 한다.어제부터 오늘 아침까지 곰곰히 조에서 내 역할을 돌아봤다. 이제까지 분위기 메이커에 가까웠던 것 같다. 부산에 있을 때는 중심이 되는 가치관을 가지고 말하고 행동했는데, 아마 외로움이 커서 그런 것

청계천에서 다른 캠퍼 분이랑 만났다. 이제 할 일이 없어져서 집중이 떨어지던 찰나에 여러 인사이트를 교환할 수 있기를 기대한다. 1시간 반 동안 오면서 체력이 깎이는 느낌이 들었다. 지속 가능한 발전을 위해서는 역시 체력이 중요한 것 같다.이번 주차 강의를 마쳤다. m