AI

나는 HuggingFace의 transformers를 사용할 예정 이때 transformers는 모델 본체이고, 이 모델이 사용할 수 있게 텍스트를 토큰으로 쪼개는 과정이 필요했는데, 이에 라이브러리 sentencepiece를 사용했다. ** 반드시 transform

들어가며 AI교육 2주차에는 naver 검색 API를 사용하는 방법, gpt를 활용하여 문서 요약, 검색 등을 하는 걸 배웠다. 이에 과제를 하며 배운 내용을 정리해보고자 한다. 오늘의 실습 내용 네이버 검색 api를 이용하여 뉴스 검색, gpt api를 활용해 검색

AI교육 3주차에는 PyPDF2를 활용하여 pdf에 있는 텍스트를 읽어오는 방법과 easyocr로 이미지에 있는 텍스트를 읽어오는 방법을 배웠다.이에 배운 내용과 과제를 하면서 추가적으로 배운 것들을 정리해보려고 한다.PyPDF2를 활용하여 PDF의 text를 가져와

이번주에는 RAG에 대해서 배웠다. 이에 관한 프로젝트도 진행했는데 이번 과제는 지난주에 배운 PyPDF2로 pdf문서를 읽어오기 -> 임베딩 후 벡터값으로 유사도 측정 -> 검색하기 였는데, 처음보는 개념이 많다보니 여전히 어려워서 기초적인 개념들을 정리해보려고 한다

들어가며AI Agent 프로젝트를 진행하며, 나는 돈이 없기에 무료 LLM 실행 엔진을 사용하고 싶었는데, 그에 적합한 엔진이 ollama였다! ollama에 대해 간단히 정리해보고 실행방법을 정리한다.Llama, Mistral, Gemma와 같은 LLM 모델을 로컬

들어가며 AI 교육을 들으며, 멘토님이 요즘 핫한 openClaw에 대해서 설명해주시며 본인도 직접 AI Agent를 만들어봤다라며 직접 만들고 배포까지 된 서비스를 소개해주셨다. 오 ㅏ진짜 저게 가능하다고 ???? 싶었고, 충격받아서 나도 만들어보고 있는 AI Age

ngrok을 사용한 이유는 Discord 서버의 경우 인터넷을 통해 내 서버의 "HTTPS" 엔드포인트로 POST요청을 보낸다. 즉, "공개된 HTTPS 주소"로만 요청을 보낸다. 나의 경우에는 로컬에서만 테스트중이었기때문에, 공개되지도않았고 https도 아니고,,

이번주 AI교육 7주차에는 Langchain에 대해 배웠다. 이에 실습으로 Langchain 활용 및 FAISS vetor db 등을 활용하여 pdf문서를 기반으로 질의응답을 하는 시스템을 만들어봤다. 이에 대한 코드와 내가 langchain에 대해 이해한 바를 정리하

이번주 AI 교육 과제는 저번주까지 했던 내용이 많았어서, 오늘은 agent와 tool에 대해서 간단하게 정리해보려고 한다.RAG는 "문서 기반 답변"에 강한 특징을 갖고 있는데, "최신 뉴스 또는 외부정보"의 경우 문서에는 없다는 한계가 있다.따라서 LLM이 필요할

들어가며 개인 프로젝트 앱 메인화면에 매일 아침마다 (또는 하루에 한번) 오늘의 해외주식 뉴스 top 10을 가져와서 보여주고, 이를 LLM을 활용해 요약한 텍스트를 보여주도록 구현했다. 이에 n8n의 개념과 워크플로 구성방법에 대해서 정리해보려고 한다. n8n이란

내 개인기록어플을 개발하며, LLM이 이미지 기반 표정과 분위기를 분석하여 그 날의 감정을 추론해주는 기능을 구현하였다.초기에는 로컬로 비용없이 사용하기 위해 로컬 LLM인 Ollama를 선택했고, 이미지분석 역시 ollama vision model을 사용하고자 했다.