2021년 9월 26일 일요일

Filebeat 웹 로그 모듈 버그?

대략 20만 개의 iis 웹 로그 중 실제 변수를 포함한 로그는 7,757개. (로그 헤더 제외)


그런데 filebeat iis 모듈(7.14.1 버전)을 이용해서 엘라스틱에 저장하면 7,735개만 조회된다. 22개 사라짐.


아파치 웹 로그 백만 개를 이용한 테스트도 마찬가지. 실제 변수가 포함된 로그는 371,942개인데


아파치 모듈로 연동하면 371,648개만 확인된다. 294개 어디 감?


엘라스틱측에 문의해봤는데 내 영어가 엉터리라 그런지 답은 없고, 정상 동작하는 7.12 버전 이후 5개의 프로세서가 추가됐는데 이중 uri_parts에 문제가 있는 듯?


참고로 스플렁크는 누수 없음(..)


22.02.28
v8에서도 해결 안 됨.

23.06.05
v8.8에서도 해결 안 됨.

24.05.06
v8.13에서도 해결 안 됨.

댓글 없음:

댓글 쓰기

크리에이티브 커먼즈 라이선스