최근동향

결정론적 인간 정의 워크플로우에서 에이전트 기반 워크플로우로 전환

LLM-enhanced app

사용자 입력 - 생성형 AI LLM - 전통적 AI - API - 자동화

LLM Agents

LLM Agent - 계획 생성/변경 - 도구 A - 지식 검색 - 도구 B - 자가 피드백 & 인간 피드백

Multi Agent orchestration

LLM Agent1 - 계획 생성/변경 - LLM Agent2(UX 설계자) - LLM Agent3(Software 개발자) - LLM Agent4(테스터)

watsonx

IBM watsonx는 2023.7월에 정식 출시되었으며, 기존 AI 워크로드는 물론 Foundation model 및 생성형 AI를 지원합니다.

watsonx 사용해보기

메인 IBM 클라우드 사이트

리소스 목록

watsonx.ai studio 사이트

launch 버튼 눌러서 이동

좌측 프로젝트로 이동

우측 new project

이름 확인 후 스토리지 선택

유저 키 생성

새 프로젝트 생성중

새로운 프로젝트 화면

Manage 탭에서 Controls Enable forders

Access Control 에서 사용자 추가도 가능함

옆에 token 탭에서 토큰 생성가능

서버 환경 목록도 확인 가능

템플릿 에서 사용하면 확인 가능

연관 서비스 확인

기본 프로젝트 세팅 끝

Asset 탭으로 이동 New asset 클릭

prompt 검색

프롬프트 랩 시작

기본화면

우측 상단 모델 파라미터 설정

우측 상단 세번째 코드 crul , Node.js, Python 추출 가능

맨왼쪽 프롬프트 변수

좌측 상단 샘플 prompt, 저장된 prompt

샘플 프로젝트 선택하고 저장해보기

저장된것 확인

저장된 prompt 선택하면 편집 가능

히스토리도 살펴볼 수 있음

우측 상단에서 여러 모델도 확인할 수 있음 vision 모델 같은 경우에는 이미지를 확인함

모델 클릭 시 자세한 내용 볼 수 있음

왼쪽에서 필터로 모델별 볼 수 있음

우측 상단에 AI 가드레일도 볼 수 있음

Prompt Engineering 사용하기

자유형식의 프롬프트 쓰고 생성 눌러보기

요약을 못한 모습

추가 지문 추가

아직까지도 지시를 따르지 않음

모델 변경 이후 지시사항을 잘 따르는 모습

구조화 데이터 사용해보기

예제 추가 이후 전에 쓴 프롬프트 사용해서 결과 보기

생성이 잘 된 모습

잘나왔기 때문에 나온 답변은 우측 버튼을 통해 예제로 다시 올리고 새로운 질문

나온 답변

아까 답변을 하지 못했던 모델 사용해보기

발전한 모습

마케팅 이메일 생성 샘플 해보기

우측상단 다른이름 저장 표준 노트북 설정 후 이름 과 체크

에디트 눌러서 사용 (이제부터 과금)

실행을 눌러서 API 키 눌러주기

이후 밑에까지 코드 전부 실행

데이터 읽기 이후 csv 파일 실행

셀에 코드 삽입으로 코드 삽입된 모습

실행된 모습

다음 실행

추가 나온 자료들 csv로 저장하는 코드

우측 상단 프로젝트 토큰 삽입

asset 탭에서 생성된거 확인

번역 모델 만들어보기

지시사항과 예제 입력

변수 설정

배포용으로는 프롬프트 템플리트로 저장 개발용은 프롬프트 세션으로 저장 배포용이기때문에 템플리트 선택하고 이름 설정

저장 후 확인

배포 공간 확인

deploymet 탭에서 new deployment space 로 생성하기

잘 생성된거 확인

Asset 탭에서 배포할거 우측 눌러서 promote to space

deployment space 정하고 우측 아래 프로모트 클릭

프로모트 된거 확인

본인 배포 에서 asset 에서 배포된거 클릭

new deployment 클릭

이름 입력 후 create

완료 화면

테스트 탭으로 이동 해서 테스트해보기

결과물

asset 탭에서 다시 new notebook url 선택 후

깃헙 url 복사후 우측 하단 notebook url 에 붙여넣기 이후 생성

생성중인 모습

생성 완료

택스트 엔드포인트를 복사해서 <IBM_AI_SERVICE_UR> 여기로 복사 클라우드 api 키도 입력후 실행

완료 결과물 😉

RAG 솔루션 이용하기

new asset 에서 auto 검색

RAG 솔루션 빌드 선택 후 작성 클릭

프로젝트에서 선택하고 데이터 자산에서 선택

중앙 하단에 세팅 가능

색인화도 설정가능

실험 실행

새탭 실행 후 new asset

동일하게 RAG 선택후

머신러닝 모델 선택

왼쪽 샘플에서 은행 마케팅 샘플 데이터 선택 디폴트로 설정하고 실행

진행되고 있는 상황 확인

추천한 파이프라인 들어가서 모델 평가 확인

다른이름으로 저장 하고 모델 배포 가능

나와서 파이프라인 비교도 가능

완료된 RAG 확인

추천 RAG 클릭해서 지표보기

우측 하단으로 배포 확인

agent 이용해보기

new asset agent 검색

지시사항 적용

도구 추가로 도구 선택

우측에서 에이전트 미리보기로 에이전트 과정을 볼 수 있음

대화형 프롬프트 사용해보기

기본화면

우측 상단에 톱니바퀴로 시스템 프롬프트 입력가능

문서 업로드로 문서 안의 내용 저장 가능

벡터 인덱스 내부 사항

테스트 실행 해보기

검색 설정 조정 가능

나와서 테스트

이미지 모델도 테스트해보기