Filebeat 웹 로그 모듈 버그?

대략 20만 개의 iis 웹 로그 중 실제 변수를 포함한 로그는 7,757개. (로그 헤더 제외)

그런데 filebeat iis 모듈(7.14.1 버전)을 이용해서 엘라스틱에 저장하면 7,735개만 조회된다. 22개 사라짐.

아파치 웹 로그 백만 개를 이용한 테스트도 마찬가지. 실제 변수가 포함된 로그는 371,942개인데

아파치 모듈로 연동하면 371,648개만 확인된다. 294개 어디 감?

엘라스틱측에 문의해봤는데 내 영어가 엉터리라 그런지 답은 없고, 정상 동작하는 7.12 버전 이후 5개의 프로세서가 추가됐는데 이중 uri_parts에 문제가 있는 듯?

참고로 스플렁크는 누수 없음(..)

22.02.28

v8에서도 해결 안 됨.

23.06.05

v8.8에서도 해결 안 됨.

관련 글

• Filebeat 경로
• Filebeat의 processors
• Splunk의 데이터 전처리 자동화
• Filebeat: mapper_parsing_exception