kNN(k-Nearest Neighbor) 알고리즘은 k개의 가장 가까운 이웃 데이터를 찾고, 그 이웃들의 레이블을 기반으로 분류/회귀 문제를 해결하는 알고리즘을 의미한다. kNN 알고리즘은 새 데이터가 입력으로 들어오면, 이 포인트가 어떤 클래스에 속해있는지를 찾는

 차원의 저주(Curse of dimensionality)란, 학습 데이터에 비해 입력 차원의 수가 큰 경우 일정 차원을 기점으로 학습 능력이 급격히 감소하는 현상을 의미한다. 다시 말해, 특징 공간의 차원이 증가하면서 학습 데이터의 수가 특징 공간의 차원의 수보다 적

 앙상블 기법이란, 여러 개 분류기를 생성하고, 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법으로, Strong Classifier를 사용하는 대신 Weak Classifier를 조합하여 더 정확한 예측을 수행한다. 이는 단일 모델의 예측을 평가하는 것보다

서포트 벡터머신은 선형/비선형 분류, 회귀, 이상치 탐색 등 복잡한 분류 문제에 적합한 다목적 기계학습 모델로, 중간 이하 크기의 데이터셋에 적합한 방법이다. 이는 분류를 위한 최적의 결정 경계를 찾는 것을 목표로 하며, 최적의 결정 경계라는 것은 다수의 결정 경계

벡터 : 방향과 크기를 갖는 대상행렬 : 여러 벡터를 열로 담은 구조행렬은 교환법칙이 성립하지 않는다. ($AB ≠ BA$)행렬은 분배법칙과 결합법칙이 성립한다.$A(B + C) = AB + AC$ (분배법칙), $A(BC) = (AB)C$ (결합법칙)행렬의 곱셈을 위

모델 선택과 과대적합 선형 회귀 (Linear Regression)  선형 회귀란, 두 번수 x, y에 대한 n개의 측정 값(ex. $(x1, x1), (x2, y2), … (xn, yn)$)이 있을 때, 주어진 가설(Hypothesis)에 대한 비용(Co

 특징 공간(Feature Space)이란, 데이터의 각 샘플이 가진 여러 특징(feature)들을 좌표로 표현하는 다차원 공간이다. 쉽게 말해, 특징들이 수치회된 벡터 공간이라고 할 수 있다. 머신러닝에서는 데이터가 특징 공간 내의 점(벡터)으로 표현되며, 모델이 패

 Fuzzy라는 단어는, 흐릿한, 불분명한이라는 의미를 가진다. 여기서도 알 수 있듯, 퍼지 논리(Fuzzy Logic)는 명확하게 구분되지 않는 개념을 수학적으로 다루는 방법, 다시 말해 정확하지 않거나(imprecise) 불완전한(incomplete) 정보를 처리하

 지식 표현(Knowledge Representation, KR)은 현실 세계의 사실/규칙/관계를 기호적으로 기술하여 추론이 가능하도록 하는 방식을 의미한다. 다시 말해, 인간이나 컴퓨터가 지식을 어떻게 표현하는지, 그 방법에 관한 내용을 다룬다. 지식 표현의 대표적인

유전자 알고리즘 (Genetic Algorithm)  유전자 알고리즘이란, 인간의 유전 현상을 모델링하는 알고리즘으로, 자연 진화 과정을 모방하여 모델링하고, 최적해를 찾는다.  이때, 각 세대마다 선택(selection), 교차(crossover)

 전문가 시스템이란, 특정 분야 전문가의 지식을 모방하고, 이러한 지식을 컴퓨터 프로그램으로 구현한 것으로, 주어진 특정 문제를 해결하거나 조언을 제공하기 위해 사용된다. 전문가 시스템은 특정 영역 전문가 수준의 문제 해결 능력을 지닌 컴퓨터 프로그램이며, 이를 위해

 미니맥스 알고리즘이란, 최대 최소 전략을 사용해 최선의 의사결정을 하는 데 사용되는 알고리즘으로, 상대가 최선의 수를 둔다고 가정하고, 그 상황에서 내가 얻을 수 있는 최선의 결과를 선택하는 알고리즘이다. 다시 말해, 상대가 최선을 다할 것이라고 가정하고, 그 상황에

탐색 (Search) : 상태 공간에서 시작 상태(초기 상태)에서 목표 상태까지의 경로상태 공간 (State Space) : 상태들이 모여있는 공간연산자 : 다음 상태를 생성하는 것현재 상태에서 목표 상태까지의 Step 개수(Path Cost)를 모르는 것다시 말해,

배치 정규화(Batch Norm, BN) : (미니)배치 내에서 계산된 평균과 분산으로 특성 정규화배치 통계의 확률적 불확실성은 일반화를 향상시키는 정규화로 작용하기도 함.배치 차원에서 정규화하는 독특한 동작으로 인해 충분히 큰 크기의 배치가 필요(ex. 작업자당 32

기존 연구 : depth, width, resolution 중 하나를 확장해 정확도를 높이는 것이 일반적이고, 두 개 또는 세 개 차원을 임의로 확장할 수도 있으나, 수많은 수작업 조정 과정의 필요 & 최적이 아닌 성능이나 효율성을 낼 가능성이 존재함.핵심 질문 : “

기존에 작고 효율적인 신경망 구축 방법 → 사전 학습된 네트워크 압축 or distillation (큰 네트워크가 작은 네트워크를 가르치는 방식) → 후자의 방법은 MobileNet 접근과 상호보완적임.MobileNet → 모델 개발자가 직접 작은 네트워크 선택할 수

Inception 모듈 : 일반적인 합성곱 연산-Depthwise Separable Convolution의 중간 단계Depthwise Separable Convolution : 매우 많은 수의 tower를 가진 Inception 모듈tower : Inception에서

네트워크 내부의 컴퓨팅 자원 활용을 크게 개선한 모델성능 최적화를 위해 Hebbian principle와 multi-scale processing(여러 크기 필터 동시 적용)을 적용함.이 당시까지의 최신 트렌드는, 레이어 수를 늘리고, 레이어 크기를 키우는 방향으로 발

DenseNet은 각 층을 피드포워드 방식으로 다른 모든 층과 직접 연결함.일반적인 합성곱 신경망은 L개의 층이 존재할 때, N개의 연결(즉, 각 층이 그 다음 층과만 연결됨)만을 지니는 반면, DenseNet은 L(L+1)/2 개의 직접 연결을 지님. (즉, 각 층

 RAG는 각 질의에 대해 적절한 컨택스트를 구성하는 방법에 관한 것으로, 모델이 외부 데이터 소스에서 관련 정보를 검색하여 모델의 생성을 향상시키는 기술이다. RAG 시스템은 외부 메모리 소스에서 정보를 검색하는 검색기와 검색된 정보를 기반으로 응답을 생성하는 생성