비상사태 매뉴얼 챗봇 기능 구현을 팀 프로젝트의 주제로 정했다. GIT-HUB를 통한 협업의 과정은 제대로 경험하지 못했던 것 같다. 그래서 이번에는 프로젝트에 본격적으로 돌입하기 전에, 협업 방식을 명확히 정하고 가야겠다.

Conda vs Pip Python 가상환경과 패키지 관리 비교 참조conda환경에서 가상환경을 다루는 것은 조금 익숙해졌고, django 프레임워크를 배우기 앞서서 python가상환경을 다루는 것에 익숙해 져야한다.

데이터 과학 분야에서 웹 애플리케이션의 필요성이 증가했다. 하지만 기존 웹 개발 프레임워크는 복잡하고 학습이 어렵다. 이러한 문제를 해결하기 위해 Streamlit이 등장했다.Streamlit은 파이썬으로 간단하게 웹 애플리케이션을 만들 수 있게 해주는 라이러리이다.

최근 비상사태 발생 시 가장 가까운 대피소를 세 곳 찾는 기능을 구현하기 위해 카카오맵 API를 활용해보았다. 이번엔 카카오 API를 활용해서 원하는 데이터를 확인해보자.

재난안전플랫폼에서 API Key를 발급받고 실습을 해봤다. 처음에 response.status_code 오류 400이 떠서 무슨 일인가 했는데, 다른 분이 홈페이지에 문의글을 작성한 것을 참고하고 servicekey의 k를 대문자로 입력해야 한다는 것을 알았다...

API 활용 사이트 - 재난안전데이터공유플랫폼(https://www.safetydata.go.kr/disaster-data/view?dataSn=184해당 사이트에서 민방위 대피소 관련 데이터셋을 불러와 활용해 보도록 하자.

네이버는 다양한 서비스와 함께 개발자를 위한 다양한 API를 제공합니다.

PDF 파일을 로드시켜 langchain을 활용한 RAG 구축을 해 봤다. 외부 폴더에서 불러온 다양한 (3개) 프롬프트를 활용했을때, RAG를 통해 나오는 출력값들을 파일로 저장해 확인해 보는 실습을 가졌다.

RAG 실습을 해 봤다.Langchain의 PyPDFLoader를 통해 PDF파일을 불러왔다.PyPDF는 평균적으로 한글 인코딩 처리와 속도, metadata 들이 우수한 Loader다LangChain 의 기본 문서 객체다.

네이버페이 증권에서 삼성전자 주가 정보 url를 찾아서 크롤링하는 실습을 해 봤다.튜터님이 작성하신 정답코드와 어떤점이 다른지 비교분석 해보자...

크롤링이란 ? 웹 사이트에서 자동화된 방법으로 데이터를 수집하는 과정이다. 주요절차 URL 분석 HTTP GET 요청 송신 및 응답 수신 HTML 파싱 (원하는 정보 추출)

출처 : 모두의 AI, LangChain 공식문서 Documet_loders 참고

전에, 간단하게 LLM을 활용하여, 소설 시놉시스 만들기를 해 봤다. 다양한 라이브러리를 활용해 보지 못해서 아쉬웠는데 오늘 FAQ 챗봇 만들기를 통해 간단하게나마 활용 할 수 있었다.

파이썬에서 Langchain을 활용한 소설 시놉시스 생성용 챗봇 만들기. (LLM)

[System, User, Assistant] 역할의 이해

LLM(Large Language Model)은 인간의 언어를 이해하고 생성하는 데 특화된 인공지능 모델입니다. LLM과 RAG의 개념에 대해서 알아보겠습니다.

다른 라이브러리들을 사용하지 않고 경사하강법을 이용한 선형회귀모델 코드를 작성해보자. 다른 라이브러리를 이용해서 머신러닝 모델을 만들면, 편리하지만 그 속의 코드는 알 수가 없다.

미분은 머신러닝에서 모델을 학습시키는 핵심 도구 중 하나입니다. 특히 딥러닝과 같은 모델에서 미분을 통해 파라미터(가중치)를 조정함으로써 모델의 예측 성능을 향상시킵니다. 미분은 함수의 변화를 측정하는 도구입니다.

정의: 회귀 분석은 연속적인 값을 예측하는 데 사용되는 머신러닝 모델로, 특정 변수(독립 변수)에 따라 타겟 변수(종속 변수)를 예측합니다

ElevenLabs에서 API 를 받고 음성 출력 AI 활용 실습하기. feat. ffmpeg(설치하기)