# TF-IDF

22개의 포스트
post-thumbnail

[KT AIVLE School]언어지능 미니미니 프로젝트: 전처리부터 모델링까지

안녕하세요! 어느덧 시간이 흐르고 흘러.. KT AILVE School 과정을 수강한 지도 벌써 석 달 째가 되어갑니다. 가장 최근에는 언어지능 딥러닝(자연어 처리), AI 모델 해석 및 평가 과정을 수강하여, 미니 프로젝트 4차까지 마무리 하였습니다. 미니 프

2023년 10월 23일
·
0개의 댓글
·
post-thumbnail

Retrieval을 위한 BM25와 TF-IDF 비교

질문(Query)에 대해 적합한 문서를 찾는 시스템Retrieval을 위한 방법으로 Dense vector와 Sparse vector방법이 존재 (faiss 같은 scaling up 방법도 존재)Sparse vector를 이용하는 대표적인 방법 2개 (TF-IDF, B

2023년 8월 30일
·
0개의 댓글
·
post-thumbnail

[NLP] DTM과 TF-IDF

본 포스트에서는 카운트 기반 단어 표현법인 BoW와 DTM에 대하여 알아보고, 이를 통해 구할 수 있는 가중치인 TF-IDF애 대해 알아본다.

2023년 7월 17일
·
1개의 댓글
·

[논문 소개]마이크로서비스의 자동 식별을 위한 효과적인 재사용 기반 접근 방법

Software Engineering 랩실에서 생활을 하면서 2022년 7월부터 내가 구상한 아이디어로 실험을 진행했다. 바로 TF-IDF(Text Mining 기법 중 하나)를 사용하여 모노리식 애플리케이션의 마이크로서비스를 식별하는 연구이다. 최근 소프트웨어 아키텍

2023년 7월 10일
·
0개의 댓글
·
post-thumbnail

TF-IDF를 이용한 영화 추천 웹 앱 개발 프로젝트 🎥

이 프로젝트는 Kaggle에서 제공하는 영화 제목, 줄거리, 장르 데이터셋을 활용하여 사용자의 입력에 기반한 영화 추천 웹 앱(streamlit)을 구축하였습니다. https://movie-recommend-ggwoop.streamlit.app/

2023년 7월 4일
·
0개의 댓글
·
post-thumbnail

[Konlpy / TF-IDF] 한글 문장 유사도 측정

한글 문장 사이의 유사도는 어떻게 계산할까? 비슷한 문장은 어떻게 찾지?? 인공지능 없이도 아주 간단하게 만들 수 있습니다😎

2022년 11월 21일
·
3개의 댓글
·
post-thumbnail

파이썬 머신러닝 완벽 가이드 - 9. Text Analytics(1) (Encoding, Vectorize)

TA(Text Analytics or Text Mining)비정형 텍스트에서 의미있는 정보를 추출하는 것에 좀 더 중점을 두고 발전머신러닝, 언어 이해, 통계 등을 활용해 모델을 수립하고 정보를 추출해 비즈니스 인텔리전스나 예측 분석 등의 분석 작업을 주로 수행한다.텍

2022년 10월 26일
·
0개의 댓글
·

[논문요약]Towards Migrating Legacy Software Systems to Microservice-based Architectures: a Data-Centric Process for Microservice Identification을 읽고,,

TF-IDF와 관련한 학술 논문을 작성중에 관련연구 논문을 찾아보면서 읽게 되었습니다. 마찬가지로 본 논문은 모놀리식 웹 앱에 대하여 마이크로서비스를 식별하는 방식에 대하여 설명하고 있습니다.마이크로서비스 식별과 관련한 설명을 하기 전에 논문이 주장하고 있는 바는 다음

2022년 10월 23일
·
0개의 댓글
·

딥러닝 텐서플로 교과서 - 10장

10장 자연어 처리를 위한 임베딩

2022년 10월 13일
·
0개의 댓글
·

[ElasticSearch] 검색 기능 개요

컨텍스트, Uri Search/QueryDSL, TF-IDF, BM25

2022년 8월 10일
·
0개의 댓글
·
post-thumbnail

Ch 04-5. TF-IDF란?

본 포스팅은 Fastcampus 강의를 수강하며 일부 내용을 정리한 글임을 밝힙니다. 보다 자세한 내용은 아래 강의를 통해 확인해주세요.참고 : Fastcampus 딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online

2022년 7월 27일
·
0개의 댓글
·

[2주차_데이터분석] 개발일지 (영화 줄거리로 장르 분류하기-3 벡터화 )

영화 줄거리로 장르 분류하기1\. 머신러닝이란?2\. 데이터 전처리👉3. 벡터화👈4\. 머신러닝5\. 모델 사용하기 및 불용어 제거DTMTF-IDFDTM, TF-IDF 만들기ex)7, 3, 2, 5, 4, 17, 3, 2, 1, 2, 31, 2, 5, 1, 2, 5

2022년 7월 6일
·
0개의 댓글
·
post-thumbnail

[자연어 처리] TF-IDF + Word2Vec을 활용한 사전 구축

TF-IDF와 Word2Vec을 사용하여 사전 구축하기

2022년 6월 19일
·
0개의 댓글
·
post-thumbnail

[DL] NLP를 위한 준비

BoW, DTM, TF-IDF, 단어 전처리

2022년 3월 12일
·
0개의 댓글
·
post-thumbnail

[Boostcamp AI Tech] 추천 시스템 Basic (2)

[Boostcamp AI Tech] 추천 시스템 Basic (2)

2022년 3월 10일
·
0개의 댓글
·
post-thumbnail

[Research] 리뷰에서 Aspect word가 될 만한 후보군을 통계적으로 추출해보기

Khaiii로 토크나이즈하고 TF-IDF와 유사한 형태의 함수를 커스터마이징 하여 리뷰 속 주요 단어(aspect seed)를 뽑아내는 작업을 해보았다.

2021년 8월 18일
·
0개의 댓글
·
post-thumbnail

[Text Analytics] 4-1강: Count-based Text Representation

[Text Analytics] 4-1강: Bow, TF-IDF, n-grams

2021년 8월 4일
·
0개의 댓글
·

NLP(Count-Based-Representation)

Natural Language Processing / Vector Representations

2021년 6월 15일
·
0개의 댓글
·