LLM은 사람의 선호를 어떻게 배우는가 LLM이 문장을 자연스럽게 생성하는 것과 사람이 원하는 답변을 만드는 것은 다른 문제다. 사람의 선호를 반영하려면, 어떤 답변이 더 좋은지 학습하는 과정이 필요하다. 대표적인 방법으로 보상 모델과 PPO를 사용하는 RLHF,

DiT(Diffusion Transformer)는 확산 모델에서 기존 U-Net 대신 Transformer를 사용하는 구조다.확산 모델은 원본 이미지에 노이즈를 추가하고, 모델이 그 노이즈를 예측하도록 학습한다.학습 손실은 보통 실제 노이즈와 예측 노이즈의 MSE를 사

배경: 2015년 Olaf Ronneberger 연구팀이 제안.특징: 적은 양의 데이터로도 매우 정교한 세그멘테이션이 가능함.용도: 의료 영상(세포/장기 검출), 자율 주행, 위성 이미지 분석, 심박 그래프 추출 등.이미지의 전체적인 맥락(Context)을 파악하는 단

Qwen3-VL은 기존 VLM(Vision Language Model)의 한계를 넘어서기 위해 두 가지 핵심 전략을 취하고 있습니다. 바로 Native Resolution Input과 DeepStack Decoder 구조입니다.대부분의 VLM은 입력 이미지를 고정된 해

LLM(Large Language Model)의 추론(Inference) 효율성은 대규모 서비스 운영의 핵심입니다. 특히 KV 캐시(Key-Value Cache) 관리의 비효율성은 GPU 메모리 부족과 처리량(Throughput) 저하의 주된 원인이 됩니다. vLLM은

Vision Transformer(ViT) 구현

딥러닝에서 “Transformer” 는 단순한 모델이 아닙니다.CNN과 RNN이 구축한 수많은 규칙을 뒤집고,“Attention만으로 언어를 이해하고 생성할 수 있다”는 걸 처음으로 증명했죠.이 글에서는 Transformer의 구조를 단계별로 시각적으로 해석해봅니다.T

CUDA