[논문 리뷰] Listen, Attend and Spell (LAS) (https://arxiv.org/pdf/1508.01211) 발음 사전 없이 소리를 문자로 번역하는 종단간 음성 인식의 탄생 > 수천 프레임의 오디오를 피라미드로 압축하고, 어텐션으로 한 글자씩 집중해서 읽어내는 > 단일 신경망 하나로 전통적 음성 인식 파이프라인 전체를 대체한 혁명적...

Connectionist Temporal Classification (CTC) (https://www.cs.toronto.edu/~graves/icml_2006.pdf) 정답의 시간표 없이 스스로 학습하는 음성 인식의 혁명 > "안녕"을 0.5초에 말하든 2초에 말하든, 사람이 시간 짝을 맞춰주지 않아도 인공지능이 스스로 패턴을 찾아내는 수학적 마법. ...

― 둘 다 “역방향”인데 뭐가 다를까? 논문 리뷰(https://aclanthology.org/P19-1580.pdf)를 하며, LRP와 BackPropagation의 차이가 뭔지 너무 궁금하여 작성하게되었다. > LRP도 뒤로 전파하고, Backpropagati

Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned(https://aclanthology.org/P19-1580.pdf) 트랜스포머 속 엘리트

Rethinking Attention with Performers(https://arxiv.org/pdf/2009.14794) 메모리 폭발 없이 무한히 긴 문맥을 처리하는 트랜스포머 > 복잡한 어텐션 연산량을 선형 시간(Linear-Time)으로 확 줄이면서도 정보 손실이 전혀 없는 FAVOR+ 의 수학적 원리를 파헤쳐 봅니다. 목차 서론 Backg...

온디바이스 실시간 AI를 위한 직진하는 어텐션 > 데이터를 끝까지 기다리지 않고, 한 방향으로 스캔하며 즉각 결과를 뱉어내는 단조 어텐션(Monotonic Attention) 을 파헤쳐 봅니다. (https://arxiv.org/pdf/1704.00784) 목차

최근 업무에서 RAG(검색 증강 생성) 시스템의 검색 성능을 높이는 작업을 하고 있습니다. 또한 다양한 거대 언어 모델(LLM)을 활용해 프롬프트를 최적화하는 일도 병행하고 있습니다. 이 과정에서 항상 비슷한 벽에 부딪혔습니다. "왜 모델은 입력 길이가 길어지면 앞부분

📝 AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration 한 줄 요약: 대규모 언어 모델(LLM)의 가중치를 4비트로 양자화할 때, 활성화(activation) 분포에 기반하여 중요한 가중치 채널을 보호함으로써 정확도 손실 없이 3배 이상의 추론 속...

🚀 도입: 이 논문을 주목해야 하는 이유 최근 MMLU(Massive Multitask Language Understanding) 같은 영어 기반 평가표준이 대형언어모델(LLM) 능력을 가늠하는 척도로 널리 쓰이고 있지만, 한국어·한국문화권 환경에서는 번역 기반 데

🚀 도입: 이 논문을 주목해야 하는 이유 오늘날 대형 언어모델(LLM: Large Language Model)은 놀라운 성능을 보여주지만, 대부분이 클라우드 연산에 의존하고 있습니다. 그로 인해 지연(latency), 비용, 에너지 소비, 모바일·엣지 단말에서의

싱글톤: “프로그램에서 딱 1개만 있어야 하는 객체” 만들기. (설정/로거/커넥션 등) 추상 메서드: “자식이 반드시 구현해야 할 메서드” 강제(팀 규약 만들기). 파이썬은 모듈 전역 객체가 사실상 싱글톤처럼 동작. 필요하면 new+Lock, 또는 메타클래스로 확장. 1) 싱글톤: 진짜로 한 개만 만들기 1-1. 제일 쉬운 방법: 모듈 전역 객체 파이...

이번 포스팅에서는 SII(Score Indicator Index)를 성별 및 나이대와 관련하여 분석한 과정을 정리합니다.데이터 전처리 및 탐색적 데이터 분석(EDA)에 사용한 방법과 코드를 함께 다룹니다.나이 데이터를 나이대(Age Group)로 변환하여 분석의 편의성

이번에는 GPU 하드웨어와 학습 방식에 대해 간단히 정리해보았습니다. 아직 초기 단계라 구체적인 사양과 최적화 방법은 더 알아볼 계획이며, 추후 하드웨어 구성과 학습 전략도 세부적으로 정리할 예정입니다.현재 메인보드(마더보드)는 PCI 슬롯 4개를 사용하여 GPU 4장

이번 EDA 과정에서는 PCIAT 데이터의 결측치 처리 및 SII 점수 재계산을 수행하였습니다. 이후 결과를 바탕으로 데이터의 이상값을 분석하고 시각화하는 과정까지 진행했습니다.결측치를 포함한 최대 점수를 계산하여 SII 카테고리를 재분류합니다.apply()를 통해 각

이번 게시물의 주제는 추천 시스템입니다. 😊추천 시스템은 특정 시점에 특정 고객에게 특정한 상품을 추천하는 시스템입니다.E-commerce, OTT 등 다양한 서비스에서 상품 구매 및 선호도에 대한 사용자의 피드백(예: 평점, 후기 등)을 바탕으로 아이템을 추천하는

이번에는 꾸준하게 일주일에 하나씩 작성하는 걸 목표로 Velog를 시작해보려고 합니다!첫 게시물의 주제는 Kaggle의 Child Mind Institute 데이터를 이용한 예측 모델 개발입니다. 😊본 캐글 Competition의 주 목적은 아동 및 청소년의 신체 활