Cui, Haotian et al. "scGPT: toward building a foundation model for single-cell multi-omics using generative AI." Nature methods vol. 21,8 (2024): 1470

이 논문은 언어 모델의 제로샷 학습 능력을 향상시키는 간단한 방법을 탐구한다.이 논문은 instruction tuning(지시문 튜닝) — 즉, 여러 데이터셋을지시문을 통해 파인튜닝하는 방식 — 이 보지 못한 과제들에 대한 제로샷 성능을 크게 향상시킨다는 것을 보여준다

논문 바로가기진화 알고리즘의 핵심은, 지시문을 진화시키는 방법을 여섯 가지 카테고리로 나누었다는 점인 것 같다.그리고 한 번에 너무 많은 진화를 시도하지 않고, 단계적으로 복잡도를 높이는 것이 순차적 진화의 핵심이라고 생각한다.LLM에게 한 번에 너무 많은 작업을 시키

논문 출처ARC -NCA는 Neural Celluar Automata(NCA) +EngramNCA(기억 기반 확장 모델) 활용함인간 수준의 추론을 요구하는 ARC-AGI 벤치마크 문제를 해결할려고함단순히 패턴 예측이 아닌 형태를 발달시킬려고함 GPT 기반 방식보다 훨씬

ResNet : Deep Residual Learning for Image Recognition 논문 링크심층 CNN은 이미지 분류에서 큰 성과를 내왔고, 16~30층 수준의 매우 깊은 모델이 선도 성능을 보여왔다. 그러나 초기화·BN으로 기울기 문제를 완화해도, 깊어

OverView https://arxiv.org/abs/1706.03762 > - 기존의 RNN이나 CNN 구조 없이 오직 attention 매커니즘만으로 시퀀스 간의 의존성을 학습하는 transformer 모델을 제안한 논문 Self-Attention을 통해 문장 내

전통적인 MLP/Conv 등 고정 길이 입력을 주로 다루는 DNN은 시퀀스처럼 가변 길이이고 순서·의존성이 중요한 데이터에 직접 적용하기 어렵다.RNN은 재귀적으로 은닉상태를 갱신하며 시퀀스를 처리하지만, 긴 의존성을 다룰 때 기울기 소실/폭주(vanishing/exp

논문 출처: https://arxiv.org/pdf/1810.04805Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding."

https://ieeexplore.ieee.org/document/9140234분류모델: 파산 확률 추정에는 초점 but 파산까지 걸리는 예상 시간은 명시적으로 고려X↔ 생존분석: 관심사건이 발생할 시점(관측 시간 동안 발생하지 않을 수도 있음)을 다루는 기법

논문 출처 Reinventing RNNs for the Transformer Era: RWKVRNN에 대한 간단 설명RNN과 Transformer의 장단점을 융합하는 RWKV=> RNN : 순차(재귀) 상태로 문맥을 기억하지만, 학습 시 시간축 비병렬성과 기울기 소실/

Modeling Relational Data with Graph Convolutional Networks 논문 링크

일반적으로 시계열 데이터는 텍스트 데이터에 비해 Local하고, 구체적이며, 구조화된 정보를 담음텍스트 데이터는 시계열 데이터에 비해 Global하고, 모호하며, 구조화되지 않은 정보가 가득. 따라서 두 데이터의 서로 다른 특성을 고려하지 않고 시계열, 텍스트 데이터를

MEDAGENTS : Large Language Models as Collaborators for Zero-shot Medical Reasoning 논문 바로가기 MedAgent는 역할극(role-playing) 환경에서 LLM 기반 에이전트들이 협업적 다중 라운드

요즘은 AI가 못하는 것이 없습니다. 그림을 그리는 화가이면서도, 단편 영화를 제작하기도 하고, 3D 애니메이터가 되기도 합니다. 특히 여러 AI 기능을 스스로 조합하고 실행하는 에이전트 AI(Agentic AI)가 대두되면서, AI는 마치 사용자의 모든 필요를 파악

Clinical knowledge-guided hybrid classification network for automatic periodontal disease diagnosis in X-ray image, Medical Image Analysis, 2025

1. Introduction LLM & Continual Learning 인간은 새로운 정보를 받아들이고 기존 지식과 통합하며 이를 상황에 맞게 활용할 수 있는 능력을 지님. LLM이 인간 수준의 지능에 도달하기 위해서는 이러한 지속적인 학습(Continual Le

Wiese, Magnus, et al. "Quant GANs: deep generation of financial time series." Quantitative Finance 20.9 (2020): 1419-1440.