엘라스틱 with LLM

엘라스틱의 LLM 연동 설정.

맥락이 유지되는 질답 작업을 하려면 chat_completion 옵션이 필요하다는데, 제미나이(Google AI Studio) 설정 화면에서는 보이지 않는다. 

Ollama를 써보고 싶은데, 얘는 아예 서비스 리스트에 포함되어 있지도 않음. 어쩌지? 제미나이한테 물어봤다. Ollama를 OpenAI로 속이면 된다고(..)

Ollama는 로컬 서비스라 API 키는 필요 없다. 아무 값이나 입력 후, chat_completion 옵션 선택.

등록 완료.

스플렁크에 비해 토큰을 많이 쓰는 느낌?

관련 글

• Splunk with LLM