데이터 저장, 관리, 검색안정성 접근성 확장성 보장종류클라우드 스터리지분산 파일 시스템데이터 웨어하우스데이터 레이크데이터 처리, 분석, 모델 트레이닝성능, 유연성, 확장성GPU 활용종류클라우드 기반 컴퓨팅GPU/TPU서버리스 컴퓨팅컨테이너화된 컴퓨팅프로젝트별 독립적인
Monitoring : IT시스템에서 GPU사용량 메모리 사용량등 데이터를 수집, 분석해서 동작을 파악하여 시스템에 문제가 있는것으로 추정되는 동작 및 조건을 감지 메트릭이나 로그에 의존Observability : 관측가능성이란 시스템에서 외부로 출력되는 값만을 사용하
Dockerfile : 원하는 환경의 Docker Image개발에 필요한 instruction을 포함한 텍스트 파일Dcoker build : Dockerfile을 사용한 docker image 생성 과정을 트리거하는 Docker CLIImage registry : 생
모니터링은 시간의 흐름에 따른 시스템 및 여러 구성 요소의 동작과 출력을 관찰하고 확인하는 작업CadvisorMonitoringLoggingTracingVisualization컨테이너 애플리케이션에서 생성되고 사용되는 데이터의 보존하기 위한 메커니즘을 제공방식bind
Docker network 아키텍처는 CMM이라고 하는 인터페이스 집합 위에 구축linux bridgeNetwork namespaceCMMveth : 두 네트워크 네임스페이스 사이의 연결선으로 동작하는 리눅스 네트워킹 인터페이스사용자 정의 네트워크의 컨테이너 이름으로
머신러닝을 훈련시켜 예측이나 분류 등 작업을 수행하는 모델 생성회귀분류클러스터링생성형Batch Training : 전체 훈련데이터를 한번에 사용하여 모델을 학습online Training : 데이터를 작은 묶음으로 나누어 순차적으로 모델을 학습Transfer Lear
Noise Data 식별Anomaly Data 식별 : 편향된 데이터누락 Data 식별입력 데이터의 특성중에서 가장 관련성이 높거나 유용한 특성을 선택 및 불필요한 특성을 제거하는 과정ANOVAChi-squared test피어슨 상관계수두 변수 간의 선형 관계의 강도와
chroot : 프로세스의 루트 디렉토리를 변경, 격상하여 가상의 루트 디렉터리를 생성Pivot_root : 루트 파일시스템 자체를 바꿔 컨테이너가 전용 루트 파일 시스템을 가지도록 함Mount namespace : 파일 시스템 트리 구성UTS namespace :
registry : Dockerfile을 통해 생성된 이미지을 통해 생성된 이미지를 저장하는곳 tag : 주소 tar : 묶음 rmi : 삭제psuh : 업그레이드docker pull httpd:2.4 : pull 이미지 다운로드docker image inspect h
정형 데이터 : 표의 형태로 고정된 스키마를 가지고 있음SQL 쿼리 사용고정된 스키마비정형 데이터 : 구조가 없는 데이터 및 이미지, 오디오구조가 없음고도의 전처리가 필요반정형 데이터 : 일부만 구조화된 정보(마크업, 태그)일부 구조화된 정보데이터 파싱 필요유연성실시간
애플리케이션을 언제든지 실행가능하도록 필요한 모든 요소를 하나의 런타임으로 패키징한 논리적 공간 → Dockerfile build를 통해 구현가상화한 경량의 격리된 프로세스 → 독립된최소한의 이미지 → Docker file애플리케이션 환경에 대한 권리만 요구되므로 비용
구성요소파이프라인 구성요소메모리 데이터 로드RAGRAG 평가AgentLangGraph서비스배포총 72시간으로 되어있으며, RAG의 기초부터 응용까지 배울수 있음여러가지 작은 프로젝트를 함으로써 여러가지 기능을 실습할 수있음주주총회라고 매달마다 새로운 업데이트내용으로 라
Vector 형태의 Embedding을 사용하여 데이터를 저장 인덱싱하는 데이터 베이스빠른 검색 및 대량의 데이터를 처리할 수있는 확장성복잡한 데이터에 특히 적합한 고차원 백터를 저장하고 처리하느데 중점을 둠Pinecone - API를 통해 사용자가 관리하는 클라우드
논문 제목:Guiding Large Language Models via Directional Stimulus Prompting 저자 : Zekun Li, Baolin Peng, Pengcheng He, Michel Galley, Jianfeng Gao, Xifeng Y
AI가 잘하는 것 : Semantics(단일성)사람이 잘하는 것 : Pragmatics(다의성),맥락파악 A : 지시문 + 출력문 항생제에 대해서 설명해줘B : 지시문 + 맥락 + 출력문 항생제를 주제로 대학교 생물학 수업 1장 짤리 레포터 를 제출해줘 C : 지시문
LLM은 안전성과 인간의 가치에 대한 정렬(alignment)이라는 중요한 질적 특성을 충족해야한다. 그래서 DeepSeek-R1(70B 버전)과 OpenAI의 o3-mini(베타 버전)의 안전성 수준을 비교하기 위해서 ASTRAL이라는 자동화된 안전성 테스트 도구활
HyDE는 사용자의 질문을 토대로 가상문서를 생성하여, 이를 검색의 입력으로 사용함으로써 유사도 검색의 정확도를 높이는 방법가상의 문서는 질문의 의도를 명확히 반영하고 단순한 질문보다 더 많은 패턴을 제공여러개의 가상 문서를 생성한 뒤 평균화하여, 검색에 활용하기때문에
쉬운 문제에서 어려운 문제로 일반화"를 가능과정Decomposition (문제 분해)과정: 주어진 문제를 여러 개의 하위 문제(subproblems)로 쪼개는 방법에 대한 예시를 프롬프트로 제시모델은 이러한 예시를 참고하여 복잡한 문제를 작고 해결 가능한 하위 문제들로