엘라스틱 with LLM

엘라스틱의 LLM 연동 설정.

일단 제미나이(Google AI Studio)는 맥락이 유지되는 질답 작업을 위한 chat_completion 옵션을 제공하지 않느다. 왜 없지?

원래 목적은 Ollama 활용이니까 패스. 그런데 Ollama는 아예 서비스 리스트에 포함되어 있지도 않음. 어쩌지? 제미나이한테 물어봤다. Ollama를 OpenAI로 속이면 된다고(..)

Ollama는 로컬 서비스라 API 키는 필요 없다. 아무 값이나 입력 후, chat_completion 옵션 선택.

등록 완료.

스플렁크에 비해 토큰을 많이 쓰는 느낌?

관련 글

• Splunk with LLM