Filebeat system 모듈

filebeat는 system 모듈을 이용해서 리눅스 계열의 데이터 전처리 자동화를 지원한다. 다음은 secure 로그의 사용자 고유개수 발생 추이.

다음은 로그스태시로 한땀 한땀 만든 테이블 구조를 이용한 secure 로그의 사용자 고유개수 발생 추이.

filebeat의 system 모듈을 이용하면 결과값이 거의 2배. 왜 이러지?

사용자 ID 집계 결과를 보자

이미 집계된 ID가 다시 집계되고 있다. 사람이 보기엔 같지만 컴퓨터는 다른 문자열로 인식한다는 얘긴데?

결과를 CSV로 저장해서 열어봤다. 거의 모든 ID에 공백으로 시작하는 버전이 추가로 존재함. 그래서 2배가 됐구나.

system 모듈 어딘가에 문제가 있는 모양.

관련 글

• Filebeat system 모듈 - 2nd