딥러닝

함수값이 낮아지는 방향으로 독립 변수값을 이동하며 최솟값을 갖도록 하는 독립변수 값을 찾는 방법Q)그냥 미분값 = 0 찾으면 되는거 아니냐?A) 미분이 힘들수도 있고 경사하강법이 미분보다 쉬운 경우 사용한다.딥러닝 최적화란 손실함수 값을 최소화 하는 모델 파라미터를 구

한번도 본적없는 data로부터 의미있는 예측값을 생산하기 위해 입력값을 어떻게 조합할지 배우는 것label : 예측할 대상값 (단순 선형 회귀에선 y)feature : 입력 변수값 (단순 선형 회귀에선 x)example : data 예시(unlabeled, labele

data 형식이 뭐인가?데이터 범위, 차원, 기본적으로 확인 모든 데이터가 동일한 형식인가?압축등 노이즈 유발 요인이 없는가?데이터 수집 방식이 무엇인가?데이터 단위(cm, inch)데이터 편향 유발 요인데이터 통계최대/최소 비롯한 통계량 확인 산점도, 히스토그램 등

보편 함수 f의 근사 모델 F 를 경사하강을 통해 적당한 모델 parameter vi, wi, bi 구한다.입력층에서 은닉층 방향으로 이동하면서 각 입력에 해당하는 가중치가 곱해지고, 결과적으로 가중치 합으로 계산되어 은닉층 뉴런의 함수 값(일반적으로 시그모이드(Sig

신경망(Neural Network(NN))의 정의 입력 데이터와 출력 데이터 사이의 관계를 하나의 함수 관계로 연결해 표현해주는 인공지능 모델 모델 : 관찰한 데이터로부터 예측과 결정을 얻어내는 수학적 함수 신경망의 구조 입력 데이터와 출력 데이터 사이의 관계를 하나

이미지 jpg, png및 대부분의 이미지 파일은 비트맵 pixel은 digital image에서 격자를 구성하는 색조, 채도및 명도의 가장 작은 사각형으로 이미지 구성 convolution연산은 특성맵(feature map)인 랭크 3 텐서에 적용 *feature ma

segmentation은 이미지를 pixel레벨로 이해하는 접근픽셀 하나하나에 대해 분류, 탐지하는 task동일한 label을 가진 모든 픽셀이 동일한 object또는 class에 속하도록 이미지의 각 pixel에 label을 할당하는 프로세스를 의미이것은 image

image classification, Object Detection, Sementic segmentation 크게 3가지 분류image에서 feature를 뽑고 feature의 embadding space에서 decision boundary를 찾는 것이 목표featu

자연어 처리(NLP) 사람의 언어를 컴퓨터가 이해, 조작, 생성할 수 있게 해주는 인공지능(ex.챗봇, 번역기, AI상담사, 검색) 말뭉치(Corpus) 말뭉치 : 언어 연구를 위해 특정 목적을 가지고 언어의 표본을 추출한 집합 토큰화(Tokenization) 토큰

워드 임베딩1 희소 표현 대표적인 희소 표현 :

RNN(Recurrent Neural Network) '순환 신경망'으로 내부에서 순횐되는 구조를 가지고 있다. RNN 구조 일반적인 nn와 RNN구조 차이 RNN의 구조 Ht = A2 = tanh(X1·Wx + Ht-1·Wh + bn) Yt = f(A2·Wy +

seq2seq 특성상 hidden state에서 앞쪽 input token의 정보는 희미해진다.즉, input sequence의 길이가 길 경우에, 컨텍스트 벡터에서 input정보를 정확하게 압축하기가 어렵다.이를 해결한 것 Attention올바른 출력을 위해서는 어떤

Transformer 구글에서 공개한 "Attention is all you need" 논문에서 처음으로 공개된 구조 Attention 기반 순환구조 때문에 오래걸리는 RNN, seq2seq의 단점을 보완 BRET, GPT-3등의 언어 모형에서 사용 컴퓨터 비전 등 다

BERT(Bidirectional Encoder Representation from Transformers) Transformer기반 양방향 인코더 표현 BERT모델 구조 GPT(Generative Pre-trained Transformer) unidirection

딥러닝 구현에서 배열 또는 행렬 연산에 편리한 메서드들을 제공하고 있어 많이 이용한다.이중에서 신기한 브로드캐스트 기능에 대해서 설명해보고자 한다.넘파이 연산에서는 서로 형상이 다른 배열끼리의 연산을 가능하게 하는 브로드캐스트라는 기능이 존재한다.ex) 배열 \[1,2

퍼셉트론이란 다수의 신호를 입력으로 받아 하나의 신호를 출력(0(OFF),1(ON))y = 0 (if w1x1 + w2x2 <= Θ), 1 (if w1x1 + w2x2 > Θ) 해당 식 y는 출력신호(0과 1중 하나로 나옴)w 는 가중치값x는 입력값 Θ는 임계치일

앞서 퍼셉트론만을 이용했을 때 선형적인 표현만 할 수 있다는 문제점이 존재했다. 이를 해결하는 방법으로 신경망을 이용한다. 신경망은 입력층/ 은닉층 / 출력층이 존재한다. 참고로 입력층/ 출력층은 알겠는데 은닉층은 뭔가?은닉층은 간단히 말해서 사용자가 볼 수 없는 층이

순전파 순전파라는 것은 입력 데이터를 기반으로 은닉층을 거쳐 출력층으로 차례대로 변수들을 계산하고 추론한 결과를 의미한다. 단순한 구현