엘라스틱 노드 에러(low disk watermark)

엘라스틱은 디스크 사용 현황을 모니터링 한다. 사용량이 85%를 넘어서면 경고 발생.

노드 하나면 복제본 할당 안 하는데?

경고는 발생하지만 데이터 저장도 잘 되고, 키나나 인덱스 등록 및 조회도 이상 없다. 90%를 넘어서도 마찬가지. 하지만 95%를 넘어서면 모든 인덱스가 읽기 모드로 바뀌면서 데이터 저장을 거부한다.

elasticsearch.log

로그스태시 연동 에러

모니터링 설정을 꺼보자.

elasticsearch.yml

디스크 사용량이 95%를 넘어선 상황에서도 에러 없이 로그스태시 연동은 잘 됨.

하지만 엘라스틱서치는 연동 내내 에러 발생.

elasticsearch.log

저장이 안 됐나 싶어 검색해보면 데이터 검색은 잘 된다. 키워드 검색도 잘 되는 걸 보면 인덱싱 처리까지 잘 됐다는 얘긴데?

하지만 키바나는 무한 로딩 창만 뜨고 인덱스 등록이 안 된다. 모니터링 꺼도 95% 넘어서면 본능적(?)으로 비상사태로 인식하나 봄. 뭐 용량 관리 잘 하면 될 일.

문제는 기본 모니터링 상태에서는 85%만 넘어가도 같은 증상이 발생할 때가 있다. (6.8 버전) 일단 오동작하기 시작하면 모니터링 끄고, 용량 확보하고 별짓 다 해도 해결이 안 되더라. 버그겠지? 버그일거야(..)

관련 글

• 엘라스틱 노드 에러(bootstrap.memory_lock)
• 엘라스틱 노드 에러(node.max_local_storage_nodes)