직역하면 "호출하다", "실행하다"라는 의미이다. LLM에서는 AI 모델에게 질문을 하고 응답을 받는 메서드를 의미한다. invoke는 AI와 대화하는 "말 걸기" 버튼이라고 생각하면 된다
일반적으로 질의응답을 실행하면 아래처럼 토큰 사용량과 메타데이터 같은 추가 정보가 어지럽게한다.질문에 대한 응답만 보고싶을 경우에는 아래처럼 구성하면 된다.출력된 답변 :print(f"답변: {response.content}")result = response.conte
AI 모델의 생각과 답변 과정을 실시간으로 볼 수 있게 해주는 메서드이다. 마치 내가 카톡을 보내는 것처럼 AI가 답변하는 단어가 실시간으로 나타난다.
AI의 stream 답변을 받을 때에 청크별로 줄바꿈을 하는 모습 :AI가 chunk(조각) 단위로 나눈 단어를 기준으로 줄바꿈이 된다.사람이 말할 때 호흡을 나누는 것처럼 자연스러운 언어 단위로 chunk가 나뉘는 것이다.\\r은 커서를 현재 줄의 맨 앞으로 이동시킨
token은 chunk보다 더 작은 단위이다. chunk : 의미 있는 문장이나 구절 단위 token : 더 작은 단위 (단어나 문자 단위)
기본 구문입력 형식프롬프트 템플릿실행 예시출력값옵션 설정에러 처리기본적인 사용 팁병렬 처리를 통해 시간을 단축할 수 있다.기본적인 for문 구조enumerate를 사용한 for문출력값zip을 사용한 for문출력값range를 사용한 for문출력값중첩 for문출력값단일 처
config 딕셔너리 : max_concurrency를 포함하는 설정 객체max_concurrency 값 : 양의 정수여야 한다.inputs : 리스트 형태의 입력 데이터기본 값config를 지정하지 않으면 제한 없이 모든 작업이 동시 실행된다.값에 따른 동작시스템 메
AsyncIterator 프로토콜을 기반으로 작동토큰 단위의 청크(chunk) 스트림 처리콜백 함수를 통한 실시간 데이터 핸들링비동기 컨텍스트 매니저 지원for chunk in llm.stream (동기 스트리밍)블로킹 방식으로 동작한 번에 하나의 요청만 처리 가능다른
await는 반드시 async 함수 내부에서만 사용 가능하다즉 async로 정의된 비동기 함수 내부에서만 사용할 수 있다.await 뒤에는 "awaitable" 객체만 올 수 있다. (coroutine, Task, Future)awaitable의 coroutine은 자
병렬 실행 : 여러 작업을 동시에 시작하고 실행한다대기 시간 최소화 : I/O 바운드 작업의 경우, 한 작업이 대기 중일 때 다른 작업을 진행할 수 있다전체 실행 시간 단축 : 모든 작업을 순차적으로 실행하는 것보다 훨씬 빠르다
async / awit 선언입력은 반드시 딕셔너리 형태 (키 : 값)실행을 위한 이벤트 루프async 함수 안에서만 await 사용 가능ainvoke는 반드시 await와 함께 사용입력 딕셔너리의 'input' 키는 필수비동기 함수는 반드시 이벤트 루프 내에서 실행웹
# abatch란 여러 개의 작업을 비동기적으로 동시에 처리하는 방식이다. # 기본 구조 ![](https://velog.velcdn.com/images/qkrtjdans/post/a187ce6f-e543-493b-9ac8-3ca61605b9cb/image.