Paper
1.[LLM] Searching for Best Practices in Retrieval-Augmented Generation (대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 관련 논문) 정리
RAG(검색-증강 생성)을 활용해서 서비스를 만들고 있는 와중에 여러 이슈에 봉착하고는 한다. 일단 나는 vectordb에 정제된 데이터들을 넣고 RAG를 활용해서 최대한 도메인 집약적이고, 할루시네이션을 줄이는 가장 간단한 방법을 사용하고 있다.LLM이 최전선에서 여
2.[LLM] AI agent - google agent whitepaper (구글 agent 백서)
ai agent를 구현하고 있어서 공부하고 최근 자료를 리서치하던 중에, 이번 년도 2일에 나온 구글의 AI agent whitepaper가 나와서 오후 시간을 할애해서 번역기 + chatgpt를 활용해서 전체 원문을 번역했다.뭔가 새롭게 알게된 사실은 없어서 아쉽다.
3.[LLM] Generative Agents: Interactive Simulacra of Human Behavior (생성적 에이전트 : 상호작용적인 가상 인간 행동 모델) 논문 (1)
논문 : https://arxiv.org/abs/2304.03442https://arxiv.org/abs/2304.03442 시뮬라크르 - 철학적 개념에서 나온 용어, 현실물의 복제물이나 가짜 이미지로, 인터랙티브한 가상 인간 행동 모델로 해석 가능
4.[LLM] Generative Agents: Interactive Simulacra of Human Behavior (생성적 에이전트 : 상호작용적인 가상 인간 행동 모델) 논문 (2)
생성형 에이전트는 개별 에이전트로서, 그리고 그룹으로서, 환경과 경험을 바탕으로 믿을 수 있는 행동을 생성하는 것을 목표로 한다. 우리의 평가는 생성형 에이전트의 능력과 한계를 조사하는 데 중점을 둔다. 개별 에이전트가 과거 경험을 제대로 회수하고, 믿을 수 있는 계획
5.[LLM] Agentic Systems : A Guide to Transforming Industries with Vertical AI Agents(에이전트 시스템 : 산업을 혁신하는 Vertical AI 에이전트 가이드)
논문 https://arxiv.org/pdf/2501.00881 Vertical AI : 특정 산업이나 도메인(예: 의료, 금융, 법률, 교육 등)에 특화된 인공지능 에이전트를 의미. 일반적으로, 특정한 "수직적(vertical)" 시장이나 영역의 요구와 과제에 맞
6.[LLM] Laying the Foundation First? Investigating the Generalization from Atomic Skills to Complex Reasoning Tasks (기초를 먼저 다지는 가? 기본 기술에서 복합 추론 과제로의 일반화 조사)
주요 연구 결과기본 기술(산술 연산, 단위 변환 등)은 복합 추론 과제로 자발적으로 일반화되지 않는다는 것을 실험을 통해 확인계층적 커리큘럼 학습(hierarchical curriculum learning)을 통해 기술 일반화를 성공적으로 유도할 수 있음기본 기술 학습
7.[LLM] DeepSeek-R1 논문 분석 (DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning)
순수 강화학습(RL) 기반 추론 모델 개발DeepSeek-R1-Zero는 초기 감독 학습(SFT) 없이 순수 강화학습을 통해 추론 능력을 습득한 첫 번째 모델모델이 자체적으로 Chain of Thought (CoT) 패턴을 학습하여 문제 해결 능력을 발전시키는 과정을
8.Self-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION (2023)
SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION (2023) > 자가 성찰을 통한 검색, 생성 및 비판 학습 : 이 논문은 LLM이 검색하고 생성하며 스스로 비판적으로 평가하
9.[LLM] SPREADSHEETLLM: Encoding Spreadsheets for Large Language Models
csv 파일외에 제멋대로 생긴 엑셀 파일들을 제대로 인코딩해서 LLM에게 전달해서 원하는 답을 얻기란 생각보다 어려운 일이다.이번에 기본적으로 생긴 엑셀 파일들에 대해서 LLM에게 어떻게 전달하면 좋을 지에 대한 방법론을 찾다가 마이크로소프트에서 나온 spreadshe
10.RAPTOR: RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL (계층적 트리 검색을 위한 재귀적 요약 처리 방법)
검색 증강 언어 모델(Retrieval-Augmented Language Models, RAG)는 world state의 변화에 더 잘 적응하고, 희소하거나 특수한(long-tail) 지식을 통합할 수 있다. 그러나 기존의 대부분의 방법은 검색 코퍼스(retrieval
11.[NLP] ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately) 모델
본 게시물은 개인적으로 공부하기 위해서 참조한 사이트에서 필요한 부분만 '쏘옥' ? 가져왔다기보다는 몽땅 가져왔다는 게 맞겠습니다. 자세한 정보는 아래 참조사이트에서 참고해주세요.kcElectra를 활용해서, Text Classification Model을 fine-t
12.[NLP] KoELECTRA/KcELECTRA : 한국어 ELECATRA 모델
KoElectra와 KcElectra는 ELECTRA의 한국어버전 language model 이다.ELECTRA에 대한 설명은 친절하고 아주 똑똑한 사람들이 정리한 ELECTRA 논문을 바탕으로 전 velog에 정리한 바 있다.ELECTRA는 간단히 말하면 기존의 BE
13.[Harness Engineering] Code as Agent Harness: Toward Executable, Verifiable, and Stateful Agent Systems (코드를 하네스 에이전트로 활용하기) Abstract + Introduction
이번에 나온 Harness 관련 이 paper가 Harness Engineering의 바이블이 될 것 같다는 다른 사람의 게시글을 읽고, 내일 하네스 엔지니어 관련 세미나 가기 전에 하네스 엔지니어링에 대해서 알아 보고 가기 위해서 해당 papper를 읽으면서 정리한다
14.[Harness Engineering] Code as Agent Harness: Toward Executable, Verifiable, and Stateful Agent Systems (코드를 하네스 엔지니어링으로 활용하기) - paper Contents
코드를 하네스 엔지니어링으로 활용하기 - 실행 가능하고 검증 가능하며, 상태를 유지하는 에이전트 시스템을 향하여이번에 읽기 시작한 Code as Agent Harness의 Content는크게 (1) Introduction, (2) Harness Interface: Co
15.Taxonomy of code as agent harness (코드를 에이전트 에이전트 하네스로 활용하는 개념의 분류 체계)
코드를 에이전트 하니스로 활용하기 전체 흐름을 상단에서 살펴보면 AI Agent와 External Environment(외부 환경) 사이와의 순환 구조이다.AI Agent ->Code (Generate) : 에이전트가 코드를 생성Code -> External Envir