1. LoRA의 기본 개념과 원리 기본 개념 Low-Rank Adaptation: LoRA는 이름 그대로 기존 모델의 가중치를 수정하지 않고, 그 업데이트 분을 저차원(저랭크) 행렬 두 개의 곱으로 표현. 가중치 고정: 사전학습된 거대 모델의 파라미터 대부분을 동결(f

Docker 컨테이너는 기본적으로 외부 네트워크와 격리되어 실행되지만, 포트 매핑을 통해 호스트와 통신할 수 있음.두 가지 옵션이 있는데, 그 차이는 다음과 같음.형식: -p 호스트포트:컨테이너포트특징: 원하는 포트를 직접 지정해서 매핑할 수 있음예시:이제 브라우저에서

엔트리포인트: 컨테이너가 실행될 때 맨 처음 실행되는 스크립트/프로그램Nginx 등의 공식 이미지는 docker-entrypoint.sh 같은 스크립트가 엔트리포인트로 등록되어 있음재지정하기복잡한 명령어를 전달할 때\-it → -i(표준 입력 연결) + -t(TTY 할

1. 도커 설치 도커 가입 및 Docker Desktop 설치 도커 공식 홈페이지에서 가입 후 Docker Desktop 다운로드 Docker Desktop 다운로드 링크 Mac 사용자는 인텔칩(amd64)과 애플칩(ARM) 구분해서 다운로드 BIOS 가상화 관련 참

엘라스틱 서치는 방대한 양의 문서들 중 사용자가 입력한 검색어에 대해 빠르고 정확한 검색 결과를 제공하기 위해 두 가지 주요 단계를 지남. 이 두 단계는 검색의 성능과 정확도를 결정짓는 핵심 요소문서를 기반으로 인덱스 생성 (Indexing)생성된 인덱스를 바탕으로 검

정의공격자가 악의적인 JavaScript 코드를 피해자의 웹 페이지에 삽입하여, 피해자의 브라우저에서 실행되도록 만드는 공격.흔히 code injection attack이라고도 함.공격 방식예를 들어, 입력값에 대한 충분한 검증 없이 HTML에 그대로 출력될 경우, 공

서버 저장 방식사용자의 상태 정보(예: 로그인 정보, 장바구니 등)를 서버의 메모리나 데이터베이스에 저장.세션 ID각 사용자마다 고유의 세션 ID를 발급하고, 이 ID를 통해 서버에서 해당 사용자의 데이터를 조회.Stateful:서버가 상태 정보를 유지하므로, 클라이언

사용자가 로그인 폼에서 username과 password를 입력한 뒤, 서버로 요청을 보냄.이때, AuthenticationFilter(예: UsernamePasswordAuthenticationFilter)가 이 요청을 처리할 준비를 함.Spring Security는

WAS(Web Application Server)에 등록된 서블릿 필터로, 클라이언트의 요청을 애플리케이션 진입 시점에서 가장 먼저 가로 챔.주요 기능: 실제 보안 처리는 스프링 컨테이너 내부에 정의된 빈(보통 springSecurityFilterChain 이름)을 위

JAVA Program에서 데이터베이스를 표준화된 방법으로 접속할 수 있도록 만든 API 규격개발자는 DB 종류에 무관하게 표준화된 API를 이용해 프로그램 개발 가능DB 종류 변경시 프로글매 수정 최소화 데이터베이스 드라이버를 관리하고 연결을 생성하는 데 사용.데이터

SW 개발 방법론 중 하나로, 테스트를 먼저 작성하고 이를 통과시키기 위해 코드를 작성하는 과정을 반복하는 개발 방식개발 과정에서의 오류를 사전에 방지하고, 코드의 품질과 유지 보수성을 향상시키는데 큰 도움.Red-Green-Refactor 라는 3단계를 반복하면서 개

Spark는 JVM(Java Virtual Machine) 위에서 동작Spark의 메모리 관리 구조는 주로 Spark Memory, Memory inside of JVM 및 Memory outside JVM 으로 나눌 수 있음 JVM 내부 메모리는 Spark appli

Schema Information, table name 등이 확정 되지 않았기 때문에 참조하는 Data Structure, Column name 등이 제대로 확인 되지 않은 상태Spark는 Catalog를 사용하여 Database, Table, View, functio

ML Algorithm 활용하여 처치 효과를 추정하는 간단하면서도 강력한 방법론조건부 평균 처치 효과(CATE, Conditional Average Treatment Effect)를 추정하는 데 주로 사용실험 대상이 어떻게 처치에 따라 다르게 반응하는지를 식별하는 데

T는 M의 원인M은 Y의 원인중간 노드는 T와 Y 사이의 관계를 연결하므로 매개체 인과관계는 화살표 방향으로만 흐릅니다.예: 인과추론 지식 → 문제 해결력 향상 → 승진 가능성 증가연관관계는 양방향으로 흐를 수 있습니다.예: 인과추론 지식 ↔ 승진 가능성인과관계:인과추

연관관계두 개의 수치나 확률변수가 같이 움직이는 것인과관계한 변수의 변화가 다른 변수의 변화를 일으키는 것즉, 인과추론은 연관관계로부터 인과관계를 추론하고 언제, 그리고 왜 서로 다른지 이해하는 것현실을 이해하는 것일반적으로 원인과 결과의 관계를 알아야만 원인에 개입하

기존의 딥러닝에서는 Domain에 맞게 파인튜닝하는 과정을 거쳤다. GPT-1 또한 파인튜닝하는 과정을 거쳤어야 하며 그 후에 나온 BERT 모델 또한 Layer를 수정하며 파인튜닝을 진행해야한다. - - 이는 전체적인 딥러닝의 일반화를 제한한다고 주장하며 보다 광범위

Abstract Labeled data에 비해 Unlabeled text 말뭉치의 양은 방대하여 모델 훈련과 수행에 어려움이 있음 따라서 Unlabeled text를 활용한 language model의 Generative Pre-Training과 각 task에 맞

Apache Spark module으로 구조적으로 만들어진 데이터구조적으로 만들어진 데이터는 테이블에서 사용할 수 있고, 쿼리를 할 수 있음어떤 규칙이 있는 데이터가 구조적 데이터구조적 데이터는 기존의 rdd에서 확장된 개념 데이터프레임이라는 오브젝트 사용데이터프레임은

Spark 는 in memory data 처리 HADOOP은 disk 기반의 데이터 처리RDD ( Resilient Distributed Dataset) 스파크에서 사용되는 기본 데이터 구조스파크에서 내부적으로 연산하는 데이터들을 모두 RDD 타입으로 처리RDD 의 다