자연어처리(NLP)

<span style = 'background-color: 시계열 데이터: 시간 순서에 따라 관측된 데이터예) 음성 인식, 음악 생성기, DNA 염기서열 분석, 번역기, 감정 분석CNN이 이미지 구역별로 같은 weight(가중치)를 공유한다면, RNN은 시간 별로

✅자연어 처리란? 자연어 : 우리가 일상 생활에서 사용하는 언어 자연어 처리 : 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일 활용되는 곳 : 음성 인식, 내용 요약, 번역, 감성 분석, 텍스트 분류 작업, 질의 응답 시스템, 챗봇 등 ✅텍스트 전처리

✅왜 영어와 한국어 토큰화 방법이 다를까?✅한국어에서의 토큰화의 어려움✅KoNLPy를 이용한 토큰화 실습✅정리

✅자연어처리의 전처리 개요

LangChain 하면 초록 앵무새와 체인으로 많이 표현하던데 그 이모티콘을 찾지 못해서 제목처럼 쓰니 뭔가 짭 같지만 여러분이 아시는 그 랭체인 맞습니다,,보통 LangChain의 개념을 <span style = 'background-color: 사실 LangC

Hugging Face Community에서는 다양한 Learning Course를 제공하는데, 한국어로 제공되는 코스 중 자연어 처리 코스를 요약해 보았다. Huggingface에서는 예제 코드도 제공한다.

자연어 처리 쪽으로 아주 괜찮은 위키독스를 발견하여 쭉 읽어보고 있다. 나중에도 두고두고 볼 것 같아서 정리해 두는 글.딥 러닝을 이용한 자연어 처리 입문주어진 코퍼스에서 용도에 맞게 토큰이라 불리는 단위로 나누는 작업토큰의 기준 : 단어다음의 경우를 고려하여 토큰화를

기계의 문서 유사도 측정 성능에 영향을 미치는 두 요소는 다음과 같다. ✅ 각 문서의 단어들을 어떤 방법으로 수치화하여 표현했는가 ✅ 문서 간의 단어들의 차이를 어떤 방법으로 계산했는가 ✅ 각 문서의 단어들을 어떤 방법으로 수치화하여 표현했는가 텍스트를 컴퓨터가 이해

~공부할수록 공부할 게 많은 LLM~

고오급 RAG 기법

LoRA!

간단 유사도 학습 챗봇 만들기 두둥

앙상블 모델로 유사도 기반 챗봇 만들기

39개 검색기 테스트 해보기 💯

한글 형태소 분석기 Kiwi + BM25 + FAISS 유사도 챗봇도 괜찮은 것 같기도....?

업데이트 되는 지식 검색 성능 향상을 위한 두 가지 방법

📢 4월 업데이트 내용 반영 OpenAI의 Assistants API 정리

Agent와 기존 AI 모델의 차이는 무엇이길래 2025 핫토픽인 걸까? 에이전트는 사용할 수 있을까?